Raspberry Pi 5 kan lokaal llm's draaien via AI HAT+ 2-module met 8GB geheugen

Raspberry Pi brengt een nieuwe AI-module uit om grote taalmodellen lokaal te draaien. De Raspberry Pi AI HAT+ 2 geeft minicomputer Raspberry Pi 5 een rekenvermogen van 40Tops. De eerste generatie HAT, die vorig jaar uitkwam, haalde maximaal 26Tops.

Het nieuwe add-onboard, de HAT+ 2, haalt 40Tops (met INT4-precisie) en heeft 8GB geheugen. Het hogere prestatieniveau is te danken aan dat geheugen en aan de nieuwe AI-versneller Hailo-10H. De HAT+ 2 is nu te koop voor 130 dollar; europrijzen zijn nog niet bekend.

De eerste HAT+ heeft een Hailo-8 of Hailo-8L voor respectievelijk 26 en 13Tops en heeft geen eigen geheugen. Volgens Raspberry Pi schiet hij daarmee tekort voor de steeds populairdere modellen voor generatieve AI. Deze eerste uitvoering van het add-onboard voor Raspberry Pi-computers biedt versnelling van neurale netwerken voor het uitvoeren van visuele AI-taken als objectdetectie en inschatting van menselijke houdingen.

De Raspberry Pi 5 met een HAT+ 2 draait AI-modellen lokaal en indien gewenst ook offline. Daardoor blijft de gebruikte data in handen van gebruikers. Volgens Raspberry Pi geeft dit dataprivacy en -beveiliging, terwijl het de noodzaak wegneemt voor betaalde abonnementen op cloudgebaseerde AI-diensten.

De HAT+ 2 draait onder meer het AI-model Qwen2, dat hierop eenvoudige vragen kan beantwoorden:

Reacties (33)

[vDorst]

Jeff Geerling review https://www.jeffgeerling.com/blog/2026/raspberry-pi-ai-hat-2/

[_eLMo_]

TL;dr: De Pi zelf is sneller, een Pi is € 100 en de hat is €130, dus je kan beter gewoon een 2e RPi 5 kopen...

[opblaashaas]

Al wel beschikbaar bij de oosterburen: https://www.berrybase.de/detail/019b8e2a756e70be8996dd4b8bcb2ada?src=raspberrypi

Geen idee wat het verschil in btw is, maar zou je wel een educated guess mee kunnen maken.

[kars noordhuis]

19% rekenen die duitsers geloof ik al hoort een duitse webwinkel 21% te rekenen voor nederlandse klanten geloof ik. Lang verhaal kort, veel zal het niet schelen

[IStealYourGun]

Kan je technisch gezien niet ook een llm draaien zonder zo een hat op rpi?

[Mike2k]

Dat kan zeker maar dan hang je dus alle cpu tijd op aan je llm. Met deze hat offload je de llm taken waardoor je cpu beschikbaar blijft voor andere zaken.

[Yarisken]

Ja maar het moet werkbaar zijn. Ik draaie via ollama lokaal wat kleine llm's maar ik haal misschien 15 tokens per minuut ofzo. Leuk om mee te spelen maar niet leuk om te gebruiken.

Als je bij de modellen van pak em beet 7-8GB al 60 tokens per minuut kan halen wordt het bruikbaarder.

[i-chat]

wat heeft ollama te maken met deze npu? zijn dit niet gewoon tegenhangers van google coral TPU's (die eigenlijk alleen goed zijn voor bijvoorbeeld beeldherkenning of bewegings-detectie en totaal ongeschikt voor language models.

ik vraag me meer af wanneer er eindelijk eens iemand (een bedrijf) komt die goedkope AI-accelerators gaat verkopen waarbij 1 of meerdere van dit soort chips op een print worden gekoppeld aan 16 of meer gb low-power geheugen en een low-end gpu. (denk intel ark nvidia gtx x500) op een pcie-x1 formaat.

met het idee dat je niet alleen beeldverwerking kunt doen maar ook op beperkte snelheid taalmodellen kunt draaien. om maar iets te noemen. om in home-assistant een NVR te kunnen draaien die het verschil weet tussen een postnl en een dhl pakket-bezorger.

[klakkie.57th]

60 tokens per minuut, wat zijn dan wel het soort toepassingen die je in gedachte hebt want dit is toch echt te weinig naar mijn gevoel.. Dat is nauwelijks een volzin van 15 woorden ofzo

[Yarisken]

Ja helemaal gelijk heb je. Maar voor thuisgebruik wil ik vnl texten laten aanpassen en dat mag dan wel wat langer duren. Zijn zelfgeschreven texten dus ik wil die niet in public cloud.

[Klaus_1250]

Ja, is ook sneller. Zie ook Jeff Geerling review in de link bovenaan. Al met al lijkt dit vooral een board voor developers te zijn.

[specs2021]

Het meest in het oog springende van dit product vind ik nog wel dat alles goed is zolang er Raspberry op het doosje staat.

De Hailo-10 is niet nieuw, die is al jaren geleden geintroduceerd voor de dubbele prijs met een M2 interface. Daar zie je het eerste punt waar de schoen wringt: pcie2x1 van een RPI5 is niet standaard en voldoet niet. Dus hangt men het aan een SPI interface(?) en maakt er een HAT van.

Als de hardware goed is zou deze ook met de 40 pin bus van de concurrentie moeten werken, maar daar heb je het 2e punt: weer een niet-standaard verbinding.

Het derde punt is natuurlijk het geheugen in deze gekke tijd. Wat gaat de prijs doen? De pcie ga je nodig hebben voor data, dus reken ook maar een nvme (voor de hoofdprijs) mee...

[Reactie gewijzigd door specs2021 op 16 januari 2026 08:42]

[A_Trouwborst]

@JaspB misschien ook leuk om te vermelden dat het om de Hailo 10H chip gaat die gebruikt wordt op de HAT+ 2

[JaspB]

Zeker leuk! Daarom had ik ook in dit nieuwsartikel gezet "Het hogere prestatieniveau is te danken aan dat geheugen en aan de nieuwe AI-versneller Hailo-10H." 👍😊

Hm, misschien die AI-chip (en andere alternatieven) eens gaan uitzoeken, belichten? Ik zal eens overleggen met collega's op de redactie.

(Ik zie bv ook: Balance in 'Microsoft introduceert Copilot+-pc's en nieuwe AI-functies voor Windows 11' )

[JSBach]

Geweldig dit. Ga ik zeker kopen. 8 GB is netjes voor on-chip LLM inference. En met een fractie van het vermogen dat je voor een Nvidia kaart nodig hebt.
Als de software er geschikt is, moet je er theoretisch ook Stable Diffusion 1.5 op kunnen draaien.
Het lijkt net, alsof Rasperry Pi naar mij heeft geluisterd ☺️, ik vroeg dit al op 29 augustus 2025 op hun forum (WouterO):
https://forums.raspberryp...ic.php?p=2334835#p2334835

[demianmonteverd]

Underclocken en undervolten tegelijk kan helpen met het stroomverbruik, draai regelmatig gpt-oss-20b en devstral-2.

[Amanoo]

LLM's zijn wel het minst interessante dat je kan doen met zoiets. Het leuke van kleine en mogelijk mobiele AI toepassingen is dat je het kan toepassen voor real time "in het veld" applicaties. En vergeet niet dat de Raspberry Pi allerlei IO heeft, wat leuk is voor bijvoorbeeld robotica.

Denk dan aan het combineren van AI met SLAM, of beeldherkenning. Je kan een robot arm iets laten inspecteren, of iets doen met beeldherkenning op een drone (ik weet dat op Saxion bijvoorbeeld een project draait met het herkennen van processierupsen in bomen). Een LLM is dan gewoon een jammere toepassing. Zoveel mooie AI toepassingen, zeker op een Raspberry Pi, en je maakt een chatbot.

[ALittleTooLate]

Voor 140 Euro kun je ook een gtx 1080ti op je rpi aansluiten.

[kdeboois]

Vergeet de voeding voor de 1080ti niet.

[Luchtbakker]

Voor 140 Euro kun je ook een gtx 1080ti op je rpi aansluiten.

Ook voor het stroomverbruik? Want daar draait het vooral om. Je kan op een 30W (max) pi een LLM draaien. Een 1080TI verbruikt een veelvout daarvan, nog afgezien van de overige hardware dat je naast je 1080TI nodig hebt.

[ALittleTooLate]

mijn oude 1080 ti pakte maximaal 320 watt. Realistisch gezien kon je hem op 125 watt laten draaien en er mee gamen.

[Z80]

De Hailo-10H gebruikt slechts 2.5 Watt. Is nog al en verschil.

https://hailo.ai/products/ai-accelerators/hailo-10h-m-2-ai-acceleration-module/#hailo10m2-features

[lenwar]

Maar hoeveel tops haalt die?

[NeuroTechie]

fp32 en 16 beide 11 tflops aangezien de gtx 1080ti geen fp16 native acceleration heeft op pascal gpus.

[ALittleTooLate]

Hij rent iig rondjes om die ai-hat.

[InjecTioN]

Ik zie dan alleen wel een flink verschil in verbruik. Natuurlijk kan je meer met een 1080ti dan met deze hat, maar voor ai workloads zou ik toch echt eerder voor een hat gaan in mijn thuisopstelling.

Een 1080ti heeft daarbij natuurlijk ook totaal andere use cases waarvoor je die beter in zou kunnen zetten.

[Sinna]

Bij The Pi Hut is die ook al beschikbaar, zie https://thepihut.com/products/raspberry-pi-ai-hat-2.

[pc-freakz]

Ik heb een keer gezocht hoe je een LLM met Hailo of soortgelijk op een Pi kan draaien, maar los van de Jeff Geerling experimenten kon ik niet echt een kant en klare oplossing vinden...

Is dat nu wat toegankelijker dan?

[R.G]

Kan iemand een totaal kosten en onderdelen lijstje maken?

Bijvoorbeeld:

• Opslag,nvme of micro SD? Etc?
• Rpi 5?
• Behuizing
• Rpi ai , waarom? De epi heeft 16gb en daar Kan je docker en llm op installeren?
• Koelblok, fans?

Wat heb je nodig om een rpi in productie te zetten.

Uiteindelijk toch een duur device Dan?.

Je Kan Dan ook zon kant en klaar mini pc kastje kopen? Of war vinden jullie

[densoN]

Alles kan. Met wat zoekwerk kom je er vast wel uit.