CarbonCall potrebbe sembrare una parola sconosciuta e, per certi versi, lo è. I ricercatori della Southern Illinois University e dell’Università del Texas ad Austin stanno cercando di rispondere al crescente fabbisogno energetico dei modelli linguistici di grandi dimensioni (LLM) sui dispositivi, rendendo i modelli consapevoli del loro impatto ambientale.

“I modelli linguistici di grandi dimensioni (LLM) consentono la chiamata di funzioni in tempo reale nei sistemi di intelligenza artificiale edge, ma introducono un sovraccarico computazionale significativo, con conseguenti elevati consumi energetici ed emissioni di carbonio”, spiega il team a proposito del problema che si propone di risolvere. “I metodi esistenti ottimizzano le prestazioni trascurando la sostenibilità, il che li rende inefficienti per gli ambienti con vincoli energetici. Presentiamo CarbonCall, un framework di chiamata di funzioni attento alla sostenibilità che integra la selezione dinamica degli strumenti, l’esecuzione attenta alle emissioni di carbonio e l’adattamento quantizzato dei LLM.”

L’attuale boom dell’intelligenza artificiale è guidato quasi interamente dalla tecnologia dei modelli linguistici di grandi dimensioni (LLM), in cui gli input vengono convertiti in token e utilizzati per generare una stringa di token di output statisticamente più probabili in risposta – in genere presentata all’utente come una “conversazione” con un chatbot, sebbene applicabile anche a input audio, immagini e video. È un trucco impressionante, ma che si basa sull’uso improprio di enormi quantità di dati protetti da copyright per l’addestramento, produce qualcosa che sembra una risposta piuttosto che una risposta realmente affidabile e – forse il più importante di tutti – è spaventosamente costoso dal punto di vista computazionale e quindi dannoso per l’ambiente.

 

 

CarbonCall è il tentativo del team di affrontare quest’ultimo problema, senza peggiorare nessuno degli altri. Basato su hardware edge-AI esistente, testato sul computer-on-module NVIDIA Jetson AGX Orin, progettato per l’edge computing embedded ad alte prestazioni, CarbonCall regola dinamicamente il consumo energetico dell’hardware su cui viene fatto girare e passa da una variante all’altra del modello attuale, tra cui versioni quantizzate che richiedono meno risorse, in base alle previsioni in tempo reale dell’intensità di carbonio dell’attuale fonte di alimentazione del dispositivo.

I ricercatori affermano che questa “strategia di esecuzione basata sulle emissioni di carbonio” offre miglioramenti significativi: nei test, le emissioni di carbonio di un ampio modello linguistico in esecuzione sul Jetson AGX Orin sono state ridotte fino al 52%, il consumo energetico complessivo è sceso al 30% e il tempo di esecuzione complessivo è migliorato di un ulteriore 30%, senza compromettere l’efficienza del modello.

“Combinando la selezione dinamica degli strumenti, l’esecuzione basata sulle emissioni di carbonio e l’adattamento quantizzato dell’LLM, CarbonCall riduce al minimo il consumo energetico e le emissioni, preservando al contempo la velocità di risposta”, affermano i ricercatori. “Rispetto ai metodi esistenti, CarbonCall raggiunge una maggiore efficienza energetica, rendendolo una soluzione pratica per un’intelligenza artificiale agentica sostenibile in ambito edge.”

Il lavoro del team è disponibile in preprint sul server arXiv della Cornell University, con accesso libero.

 

Iscriviti ai nostri gruppi Telegram

• Gruppo Maker Italia
• Canale Offerte per prodotti maker

Link utili

• Arduino UNO R3
• Elegoo UNO R3
• Arduino Starter Kit per principianti
• Elegoo Advanced Starter Kit
• Arduino Nano
• Raspberry PI 5
• Raspberry PI 400
• Raspberry PI Pico
• Programmiamo il Pico