Raspberry Pi AI HAT+ 2: GenAI finalmente on-device

Raspberry Pi AI HAT

Con il Raspberry Pi AI HAT+ 2, la piattaforma Raspberry Pi compie un passo decisivo verso l’intelligenza artificiale generativa eseguita interamente in locale. Dopo il successo della prima AI HAT+ basata su Hailo-8, fortemente orientata alla computer vision, arriva una soluzione pensata esplicitamente per colmare una lacuna ormai evidente: l’esecuzione di modelli LLM e VLM direttamente “on the edge”, senza dipendenza dal cloud.
Per il pubblico di Moreware, composto da maker evoluti, system integrator, sviluppatori embedded e professionisti dell’IoT industriale, questo nuovo HAT rappresenta un’evoluzione tecnica concreta e non un semplice upgrade incrementale.

Cos’è il Raspberry Pi AI HAT+ 2

Il Raspberry Pi AI HAT+ 2 è una scheda di espansione HAT+ compatibile esclusivamente con Raspberry Pi 5. Il cuore del sistema è l’acceleratore neurale Hailo-10H, capace di fornire fino a 40 TOPS (INT4) di potenza di inferenza, affiancato da 8 GB di RAM dedicata on-board.
Questa combinazione hardware è fondamentale: a differenza della generazione precedente, non si tratta solo di maggiore potenza computazionale, ma di un’architettura progettata per gestire modelli generativi complessi, con requisiti di memoria e latenza molto più stringenti.

Il collegamento avviene tramite PCIe Gen3 x1, sfruttando l’interfaccia nativa del Raspberry Pi 5. Questo aspetto chiarisce definitivamente un dubbio ricorrente: non è possibile utilizzare l’AI HAT+ 2 con Raspberry Pi 4 o modelli precedenti.

Differenze chiave rispetto all’AI HAT+ originale

Dal punto di vista funzionale, l’AI HAT+ originale con Hailo-8 eccelleva nella computer vision classica: object detection, pose estimation, scene segmentation. Tuttavia, la sua architettura e la quantità di memoria disponibile non erano adatte ai carichi tipici della generative AI.

Con Hailo-10H cambiano diversi elementi fondamentali:

  • Supporto nativo a LLM e VLM, inclusi modelli multimodali.

  • RAM dedicata da 8 GB, che libera il Raspberry Pi dal peso della gestione diretta dei tensori.

  • Prestazioni CV comparabili al modello Hailo-8 da 26 TOPS, nonostante l’attenzione sia ora rivolta ai modelli generativi.

  • Compatibilità software elevata: le applicazioni esistenti continuano a funzionare, a patto di ricompilare i modelli per la nuova NPU.

Dal punto di vista dell’ecosistema, l’integrazione con libcamera, rpicam-apps e Picamera2 rimane un punto di forza, rendendo il passaggio alla nuova piattaforma relativamente indolore.

Modelli generativi supportati e casi d’uso reali

Al lancio sono disponibili diversi modelli LLM ottimizzati per Hailo-10H, con dimensioni comprese tra 1 e 1,5 miliardi di parametri:

  • DeepSeek-R1-Distill

  • Llama 3.2

  • Qwen 2

  • Qwen 2.5-Instruct

  • Qwen 2.5-Coder

Questi modelli non competono con i colossi cloud da centinaia di miliardi di parametri, ma risultano estremamente efficaci in contesti verticali. Esempi concreti includono:

  • Assistenti vocali offline, con speech-to-text e text-to-speech locali.

  • Analisi visiva contestuale, dove una VLM descrive o interpreta una scena ripresa da una camera.

  • Supporto alla programmazione embedded, sfruttando modelli “coder” per generazione e revisione di codice.

  • Automazione industriale e robotica, dove privacy e latenza sono fattori critici.

L’utilizzo combinato di hailo-ollama come backend e Open WebUI come frontend consente di avere un’interfaccia di chat familiare, completamente locale, accessibile via browser.

Fine-tuning e personalizzazione dei modelli

Uno degli aspetti più interessanti dell’AI HAT+ 2 è il supporto al fine-tuning tramite LoRA (Low-Rank Adaptation).
In pratica, è possibile adattare modelli pre-addestrati a compiti specifici senza dover riaddestrare l’intero network. Questo approccio è ideale per l’edge computing, dove risorse e dataset sono limitati.

Il processo passa attraverso l’uso del Hailo Dataflow Compiler, che consente di compilare adapter LoRA ottimizzati per Hailo-10H. Il risultato è un modello specializzato, eseguibile localmente, con consumi e tempi di risposta compatibili con applicazioni real-time.

Raspberry Pi AI HAT

Aspetti pratici: compatibilità, consumi e form factor

Dalle discussioni tecniche emerge chiaramente che:

  • la compatibilità software è elevata, ma i modelli devono essere ricompilati per Hailo-10H;

  • il consumo energetico è un tema rilevante, soprattutto per applicazioni always-on, anche se i dati dettagliati dipendono dal carico di inferenza;

  • l’assenza, per ora, di un form factor M.2 limita alcune possibilità di integrazione meccanica e termica, soprattutto in case custom o sistemi con raffreddamento avanzato.

Esiste già un modulo Hailo-10H in formato M.2, ma non è attualmente parte dell’offerta ufficiale Raspberry Pi HAT+.

Disponibilità, supporto e risorse utili

Il Raspberry Pi AI HAT+ 2 è disponibile al prezzo indicativo di 130 dollari, esclusi tasse e spedizione, presso i rivenditori ufficiali.
Per iniziare, sono fondamentali alcune risorse:

Per un’analisi indipendente iniziale dell’hardware è disponibile anche una prova tecnica pubblicata da Jeff Geerling:
https://www.jeffgeerling.com/blog/2026/raspberry-pi-ai-hat-2/

Conclusione

Il Raspberry Pi AI HAT+ 2 non è semplicemente “più potente” del suo predecessore: è progettato per un paradigma diverso. Porta la generative AI nel mondo Raspberry Pi in modo credibile, locale e tecnicamente solido.
Per chi lavora su sistemi embedded avanzati, robotica, automazione o soluzioni AI privacy-centriche, rappresenta una piattaforma estremamente interessante, soprattutto se abbinata a modelli ottimizzati e a un’attenta fase di fine-tuning.

Non sostituisce il cloud, ma ridefinisce cosa è possibile fare senza di esso.

Iscriviti ai nostri gruppi Telegram

Link utili

Seguici per non perdere le prossime novità!

Simone Candido è un ragazzo appassionato del mondo tech nella sua totalità. Simone ama immedesimarsi in nuove esperienze, la sua filosofia si basa sulla irrefrenabile voglia di ampliare a 360° le sue conoscenze abbracciando tutti i campi del sapere, in quanto ritiene che il sapere umano sia il connubio perfetto tra cultura umanistica e scientifica.

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.