Intel bouwt neuromorfisch systeem met rekenkracht van '1,15 miljard neuronen'

Intel heeft naar eigen zeggen het grootste neuromorfische computersysteem ter wereld gebouwd. Het systeem, genaamd Hala Point, beschikt over 1152 Loihi 2-chips, die neuronen en synapsen kunnen simuleren en daarmee soortgelijk functioneren als hersenen.

Met zijn 1152 Loihi 2-chips, beschikt Intels Hala Point-systeem over ruim 140.544 neuromorfische verwerkingskernen. Daarmee kan het systeem volgens de fabrikant tot 1,15 miljard neuronen en 128 miljard synapsen simuleren. Het Hala Point-systeem kan volgens Intel 380 biljoen 8bit-synapshandelingen en 240 biljoen neuronhandelingen per seconde uitvoeren. Naast de 1152 Loihi 2-chips, beschikt het systeem ook over 2304 x86-kernen voor bijkomende berekeningen. Om wat voor x86-cores dat precies gaat, meldt Intel niet.

De neuromorfische Loihi 2-processors passen computerprincipes toe die gebaseerd zijn op hersenen. De processors kunnen, net als menselijke hersenen, verbindingen in het systeem verstevigen om te 'leren', om zo efficiënter data te verwerken. De gesimuleerde neuronen communiceren rechtstreeks met elkaar, in plaats van via het geheugen. Dat maakt de chips volgens Intel efficiënter dan gewone processors. De 1152 Loihi 2-processors verbruiken gezamenlijk maximaal 2600W stroom, claimt Intel.

Het Hala Point-systeem gaat gebruikt worden om AI-onderzoek te ondersteunen. Met zijn ontwerp moet het systeem efficiënter AI-modellen kunnen trainen dan traditionele supercomputers. Het Hala Point-systeem is geleverd aan het Sandia National Labs van het Amerikaanse ministerie van Energie. Volgens Intel gaat dat lab Hala Point gebruiken voor het 'oplossen van wetenschappelijke computerproblemen op het gebied van componentenfysica, computerarchitectuur en informatica'. Het betreft vooralsnog een onderzoeksprototype dat gebruikt kan worden om toekomstige commerciële systemen te verbeteren.

Intel kondigde de Loihi 2-processor in 2021 al aan, hoewel dat toen pre-productiechips betrof. De chips worden geproduceerd op het Intel 4-procedé dat ook wordt gebruikt voor de recente Meteor Lake-processors. Intel bouwde eerder al een neuromorfisch computersysteem, genaamd Pohoiki Springs. Dat systeem kon 100 miljoen neuronen simuleren, meer dan tien keer minder dan Hala Point. Volgens Intel presteert het nieuwe systeem tot twaalf keer beter dan Pohoiki Springs.

Reacties (82)

[3qu1n0x]

Leuk weetje, de menselijke hersenen bevat gemiddeld 86 miljard neuronen, en verbruikt ongeveer 12 watt.
Dus intel heeft nog ruimte voor verbeteringen .

[DvanRaai89]

Leuk weetje, de menselijke hersenen bevat gemiddeld 86 miljard neuronen, en verbruikt ongeveer 12 watt.
Dus intel heeft nog ruimte voor verbeteringen .

Hhm, zou je hier een bron voor kunnen geven? Als ik op internet ga zoeken lijkt dit niet helemaal te kloppen, want ik lees dat ondanks dat het brein maar twee procent van het lichaamsgewicht is, het toch twintig procent verbruikt van alle energie die je nodig hebt.¹²

Als we even gaan rekenen:
2500 kcal * 4184 * 0.2 = 1.637.600 joule/dag

1.637.600 joule/dag ÷ (60*60*24) = 19,37 watt

Verder moet je ook rekening houden met het feit dat het brein afhankelijk is van veel andere delen van het menselijk lichaam; er worden afvalstoffen geproduceert, die door andere oranen weer afgebroken moeten worden, er moet moeite moeten worden gedaan om uit het lichaam te krijgen, wat ook energie kost, enz. Ook moeten er constant nieuwe eiwitten en weet ik veel wat geproduceerd worden die aangeleverd worden zodat cellen zich kunnen repareren en vermenigvuldigen, de moleculen daarvoor moeten weer uit eten gehaald worden enz.
Dit valt allemaal niet specifiek niet onder energieverbruik "brein", maar moet eigenlijk voor een kwart wel megerekend worden, want gebruikt immers kwart van de calorieën.

1.

The total daily consumption of your brain is 400-500 calories (20 per cent of your total energy requirements) so that's just 160-260 calories for your waking brain activity. And most of this is concerned with the largely automatic process of controlling your muscles and processing sensory input.

https://www.sciencefocus....cessing%20sensory%20input.

2.

Tracing oxygen consumption, the brain accounts for about 20% of the body's energy consumption, despite only representing 2% of its weight. That's around 0.3 kilowatt hours (kWh) per day for an average adult, more than 100 times what the typical smartphone requires daily.

https://theconversation.c...tphone%20requires%20daily.

[Reactie gewijzigd door DvanRaai89 op 23 juli 2024 02:48]

[markjochems85]

Vergeet je niet de factor 20% in je berekening? Dan komt het toch aardig in de buurt

[DvanRaai89]

Je hebt helemaal gelijk!
Bedankt
Maar dan zit je nog met met een verschil van, om en nabij, 60%.

[Reactie gewijzigd door DvanRaai89 op 23 juli 2024 02:48]

[3qu1n0x]

De antwoorden zijn wat tegenstrijdig inderdaad.
Mijn bron was: https://press.princeton.edu/ideas/is-the-human-brain-a-biological-computer.

[batteries4ever]

Ze verschillen wel wat, maar linksom of rechtsom zie je nog altijd een factor 1000 verschil in verbruik... en ook dat we twee generaties verder kennelijk op het aantal neuronen van het menselijk brein... maar dan ben ik al met pensioen, mijn job bedreigen ze niet!
Maar even serieus: ik ben benieuwd of die systemen dan ook echt intelligent worden.

[eheijnen]

En met een bakkie pleur kun je het eenvoudig overklokken....

[Heroic_Nonsense]

Of met andere stimulanten, wat de twee betekenissen van het woord "tweaker" dan weer mooi samenbrengt.

[Reactie gewijzigd door Heroic_Nonsense op 23 juli 2024 02:48]

[Tielenaar]

Een junk is dus eigenlijk een breintweaker

[Tok Tok]

Niet iedereen die drugs gebruikt is een junk.

[Tielenaar]

Nee, maar elke junk is een drugsgebruiker.

[daft_dutch]

Is nog niks. Moet je een psychose krijgen dan loopt het systeempje nog sneller.
Niet in een loop komen. Niet aan te raden.

[Verwijderd]

Wikipedia: Effect of psychoactive drugs on animals

't plaatje, spreekt boekdelen

[Reactie gewijzigd door Verwijderd op 23 juli 2024 02:48]

[deboerpp]

Maar het menselijk brein moet ook een heel lichaam besturen, daar heeft een computer geen last van. Dus om sneller en beter na te leren denken dan mensen zal het misschien al gaan kunnen met een fractie daarvan.

[DvanRaai89]

Maar het menselijk brein moet ook een heel lichaam besturen, daar heeft een computer geen last van. Dus om sneller en beter na te leren denken dan mensen zal het misschien al gaan kunnen met een fractie daarvan.

Ik denk "een heel lichaam" aansturen, een relatief kleine taak is van het menselijk brein, al weet ik niet hoe groot het deel dat voor motorische (?) vaardigheden verantwoordelijkheden is is.

[Jorah_Newstone]

Het besturen van een lichaam wordt in de kleine hersenen gedaan,

Waaronder:
Coördinatie van beweging, balans en evenwicht. Geheugen voor reflexmatige motorische handelingen / Regulatie van reflexen. Oogmotoriek. Cognitieve, taalkundige- en emotionele processen, waaronder onthouden.

[CivLord]

Hoeft niet groot te zijn, wanneer je nagaat dat een muis dezelfde hoeveelheid ledematen en organen aan te sturen heeft als een mens, maar wel veel kleinere hersenen heeft.

[DvanRaai89]

Dat was ook mijn logica, al kunnen mensen veel meer met hun handen/armen dat een muis. Ik vermoed dat dit een reactie op deboerpp had moeten zijn.

[fredman159]

Nou ja, een systeem als dit heeft geen kleine hersenen nodig qua neuronen. Dat stuk van de hersenen wordt (als ik het goed heb) gebruikt als een soort cache voor veelgebruikte bewegingen en algehele motoriek etc. Maar heeft meer dan de helft van alle neuronen van het hele brein in zich...dus als je die kan schrappen in je neuromorphic engine (of hoe intel het wil noemen) scheelt dat flink.

[TheekAzzaBreek]

Het lichaam van een primaat besturen hoeft niet veel hersenvolume te kosten. Een resusaapje kan het ook (en is nog steeds behoorlijk slim).

[do_sch]

Wat deze wetenschap lijkt te vergeten is dat je lichaam ook je hersenen aanstuurt. Het is één geheel; niet een CPU met een machine eraan.

En zelfs meer van dat; als jij veel suiker eet krijg je bacteriën in je maag die dat graag eten. Als je dan geen suiker meer eet gaan ze klagen en sturen signalen naar je hersenen zodat jij weer trek in suiker krijgt.

Wie is er dan aan het 'denken'?

[StGermain]

Fair is fair, de error correction is waarschijnlijk beter bij intel

[vlaaing peerd]

Als er sprake is van gebruik van geheugen dan zal ECC inderdaad wel errors vinden, maar zoals je in het artikel kan lezen communiceren de neuronen rechtstreeks met elkaar ipv via het geheugen.

Dat wil ook zeggen dat een nieuw neuromorfisch systeem aanvankelijk veel incorrecte verbindingen aan kan gaan, en dus fouten kan genereren. Na verloop van tijd 'overleven' alleen de meest gebruikte 'neurale paden', die vervolgens "verstevigd"worden.

In het geval van deze computer kan je dus wel verwachten dat ie moet leren, en tijdens het leren fouten kan maken.

[gaskabouter]

Wat nog leuker is is dat vogels hersenen hebben die vele malen kleiner zijn en nog minder energie verbruiken. In de evolutionaire race zijn die veel efficiënter geworden dan die van zoogdieren.

[Knoeier]

Duiven schijnen die hersenen dan ook nog eens niet te gebruiken.. Bijzondere wereld.
.

[gaskabouter]

Vlieg jij maar eens 1000 kilometer terug naar huis nadat je uit een busje bent gegooid

[Knoeier]

Dat staaft alleen maar mijn opmerking... Als ik duizend km van huis uit een busje wordt gegooid wil ik niet eens meer naar huis. Leuk zo'n thuis...

[djwice]

Ik zie mensen anders regelmatig duiven voeren, dus op de een of andere manier gebruiken die duiven toch die mensen hersenen

[RoamingZombie]

Duiven hebben bijzonder genoeg magnetiet in hun snavel waardoor ze dus heel goed het magnetisch veld kunnen volgen.

[Knoeier]

Dat is best bijzonder idd.
Zou je 'wanneer je een duif op een kurk plakt en deze in het water gooit' zo een kompas kunnen maken?

[RoamingZombie]

Ik betwijfel het De magnetische kracht is niet zo sterk dat hij de massa van de duif en de weerstanden van water en lucht kan overtroeven.

[Knoeier]

Hmm, als je de duif nou opeet en alleen de snavel zou gebruiken?

[DvanRaai89]

Wat nog leuker is is dat vogels hersenen hebben die vele malen kleiner zijn en nog minder energie verbruiken. In de evolutionaire race zijn die veel efficiënter geworden dan die van zoogdieren.

Dat betekent niet dat ze zoveel effiënter zijn hé? Het menselijk doet gewoon ontzettend veel ontzettend goed (in heel veel dingen zijn andere primaten dan weer beter, bijvoorbeeld binnen een fractie van een seconde de correcte hoeveelheid en volgorde van een bepaald aantal objecten onthouden (Google: cognitive tradeoff hypothysis)).
Voor navigatie om vanuit een ander werelddeel te kunnen vliegen heb je maar een relatief simpel algoritme nodig.

Overleven met minder hersenen ≠ effiënter.

Dat betekent natuurlijk niet dat ze niet minder efficiënt zijn; in tegendeel, het lijkt er op dat het brein van volgels tot zo,x drie keer zo energiezuinig kan zijn. Mijn punt was meer dat absoluut energieverbruik een best onzinnigge vergelijking is.

[Reactie gewijzigd door DvanRaai89 op 23 juli 2024 02:48]

[gaskabouter]

Dezelfde intelligentie met kleinere hersenen die minder energie verbruiken is efficiënter. Is algemeen bekend onder biologen hoor.

Als navigatie zo simpel was hadden we er niet zoveel moeite mee gehad. Maar anthropocentrisme is ook een bekende bias bij het herkennen van intelligentie bij dieren.

[Reactie gewijzigd door gaskabouter op 23 juli 2024 02:48]

[DvanRaai89]

Ja, dat zou heel goed kunen.

[JakkoFourEyes]

Dezelfde intelligentie

Vogels hebben volgens mij niet dezelfde intelligentie

[gaskabouter]

In vergelijking met zoogdieren met dezelfde intelligentie hebben ze dus kleinere hersenen. Ze doen meer met minder

[JakkoFourEyes]

Oh je bedoelde zoogdieren in het algemeen. Ik dacht dat je op mensen doelde

[vlaaing peerd]

In de evolutionaire race hebben vogels ook een voorsprong op de zoogdieren, zij stammen van de dinosauriërs af, terwijl de zoogdieren pas na het uitsterven van de dinosouriërs (66 miljoen jaar geleden) hun grote ontwikkeling meemaakten.

Dit wordt evident in hoe Afrikaanse zwaluwen kokosnoten naar het Europese continent transporteren, de vliegsnelheid van een onbeladen zwaluw is 32,4 km/u (al zijn er zwaluwen geklokt op 74 km/u), wat in hun gewichtsratio tov een kokosnoot het technisch niet voldoende is om kokosnoten van ongeveer 16 maal hun eigen gewicht te vervoeren.

Toch zijn er al in de vroege middeleeuwen kokosnoten in Europa aangetroffen, wat er op wijst dat zwaluwen moesten samenwerken om kokosnoten richting Europa te vervoeren.

De breincapaciteit die een zwaluw moet hebben om gezamelijk met een andere zwaluw een kokosnoot aan een touwtje richting Europa te migreren overstijgt die van de gemiddelde zoogdieren in zowel sociale ontwikkeling als de ontwikkeling van de inferieure pariëtale kwabgebieden in de hersenen.

Kortom, als vogels echt zouden bestaan, dan hebben ze een langer traject gehad om hun hersenen te ontwikkelen ivm zoogdieren waaronder ook de moderne mens.

[RoamingZombie]

Heb je nu een Monty Python gedaan?

[vlaaing peerd]

Er is nochtans niks mis met een MP-tje doen met een vleugje birds aren't real, al zal ik me niet rijk rekenen met erg positieve moderatie.

[RoamingZombie]

Ik zeg ook niet dat er iets mis mee is maar het was pas bij de tweede alinea dat ik het door had. Moest er wel om lachen.

Ben benieuwd hoeveel mensen dit nog kennen.

[StGermain]

Ni!

[vlaaing peerd]

Eki eki eki ptang zooooo boing!

[PjotterP]

Leuk weetje, de menselijke hersenen bevat gemiddeld 86 miljard neuronen, en verbruikt ongeveer 12 watt.
Dus intel heeft nog ruimte voor verbeteringen .

Interessant! Het verschil lijkt groot maar stel dat ze dit in de komende jaren vergroten, dan kom je wel al vrij snel in dezelfde orde grootte. Bovendien: mogelijk dat dit systeem veel minder drempels heeft om verbindingen tussen neuronen aan te leggen dan onze eigen hersenen. Wellicht dat je dan ook helemaal niet zoveel neuronen nodig hebt als een mens om tot hetzelfde resultaat te komen. Bovendien heb je mogelijk bepaalde delen van die 86 miljard die voor een mens van vlees en bloed wel nodig en nuttig zijn helemaal niet nodig.

Ik ben heel benieuwd hoe snel dit gaat.

[ralph075]

Al is het alleen al qua verbruik 😉

[Jorah_Newstone]

Het aantal miljard neuronen zegt niet zoveel, je kunt beter het aantal verbindingen tellen. 100 triljoen. Met de verbindingen doen de hersenen het echte werk.

[cyble]

En ongeveer een derde zit in onze frontale kwabben wat dan voor het analytisch vermogen vooral van belang is.

[DvanRaai89]

Zou iemand die veel van dit onderwerp weet een aantal interessante paragrafen kunnen schrijven over:
1. wat neuromorfysche processors zijn
2. wat ze beter maakt dan "normale" AI-accelerators/GPGPU's
Zowel op een heel laag niveau (daarmee bedoel ik: wat zijn de verschillen met "normale" chips, die bestaan uit ALUs, FPU's, SRAM, dat soort dingen, meer fysiek dus) en hoog niveau (doelend op: wat kun je ermee? Is dit vooral voor inference, of kun je hier "sneller"/effiënter mee trainen? Kun je er überhaupt wel modellen op trainen, of is het daar juist heel goed in omdat mogelijk het "echte" hersenen na-aapt d.m.v. FPGA achtig gebeuren?)
Zelf zou ik zeggen dat ik redelijk wat verstand heb van IT e.d., maar dit is geheel nieuw voor mij. Ik ga nog even rond snuffelen op internet en misschien heeft Asionometry nog een video klaarstaan gerelateerd aan dir onderwep. In ieder geval zou ik het heel erg waarderen als iemand wat informatie zou kunnen geven over dit alles, en als het kan niet alleen linkjes/quotes van AnandTech of Wikipedia o.i.d.
Bij voorbaat dank.

(Een soort TweakersGPT, maar dan menselijk )

Dat is toch wel een beetje waarom ik hier op Tweakers kom.

P.S. Wie het ook wat, bedankt voor de +1 zodat m'n reactie wat hoger komt te staan

[Reactie gewijzigd door DvanRaai89 op 23 juli 2024 02:48]

[PaulHelper]

1. Wat zijn neuromorfische processors?
Neuromorfische processoren zijn een nieuwe generatie chips die zijn geïnspireerd op de werking van de menselijke hersenen. In tegenstelling tot traditionele CPU's en GPU's, die sequentiële instructies uitvoeren, zijn neuromorfische processoren parallelle, event-gedreven systemen. Dit maakt ze sneller en efficiënter voor het verwerken van bepaalde taken, zoals:
Beeldherkenning
Spraakherkenning
Natuurlijke taalverwerking
Robotica
2. Wat maakt ze beter dan "normale" AI-accelerators/GPGPU's?
Neuromorfische processoren hebben meerdere voordelen ten opzichte van traditionele AI-accelerators:
Energie-efficiëntie: Ze verbruiken veel minder stroom dan traditionele chips, wat ze ideaal maakt voor mobiele apparaten en andere toepassingen waar energiebesparing belangrijk is.
Snelheid: Ze kunnen bepaalde taken, zoals het herkennen van patronen, veel sneller uitvoeren dan traditionele chips.
Flexibiliteit: Ze zijn flexibeler dan traditionele chips en kunnen worden aangepast aan verschillende taken.
Fysieke verschillen:
Neuromorfische processoren gebruiken digitale neuronen in plaats van ALUs en FPU's.
Ze gebruiken analoge circuits in plaats van digitale circuits.
Ze hebben een veel hogere connectiviteit dan traditionele chips.
Hoog niveau:
Neuromorfische processoren zijn vooral geschikt voor inference, maar ze kunnen ook worden gebruikt voor trainen.
Ze zijn goed in het nabootsen van de werking van de hersenen, wat kan leiden tot nieuwe AI-algoritmen.
Conclusie:
Neuromorfische processoren zijn een opkomende technologie met een enorm potentieel voor AI. Ze zijn sneller, efficiënter en flexibeler dan traditionele AI-accelerators, en ze kunnen worden gebruikt voor een breed scala aan toepassingen.

Wat info staat ook
https://www.intel.com/con...ology-brief.html?hl=en-US

[Reactie gewijzigd door PaulHelper op 23 juli 2024 02:48]

[nout77]

Komt dit van chatGPT of een ander LLM AI model? Het leest namelijk wel een beetje zo.. Mocht je het zelf hebben geschreven, dank!

[jimh307]

Ik vraag me dan altijd af wat de milieu-impact is van zulke zware rekenlasten die ten bate komen voor AI. Het kan wel heel nuttig worden als deze neurale rekenkracht wordt ingezet hoe men het milieu verder kan ontlasten. Als deze machine al zo goed leert nadenken dan kun je een zeskamp opzetten {ten bate van het klimaat bijvoorbeeld}.

Zou ChatGPT voorrang krijgen op deze learning's dan sla je nog een plank mis. We mogen gerust inzetten om dit ten gunste in te zetten. Ik vind dit nuttiger kan cryptomining want dat is vaak voor eigen gewin. We moeten 'om' naar publieke processen.

Ja, ik zie er zeker heil in

[Dooxed]

Hier is 1 bron over het onderwerp:
AI is harming our planet: addressing AI’s staggering energy cost

TL;DR:

The latest language models include billions and even trillions of weights. GPT-4, the LLM that powers ChatGPT, has 1.7 trillion machine learning parameters. It was said to have taken 25,000 Nvidia A100 GPUs, 90-100 days and $100 million to train the model. While energy usage has not been disclosed, it’s estimated that GPT-4 consumed between 51,773 MWh and 62,319 MWh, over 40 times higher than what its predecessor, GPT-3, consumed. This is equivalent to the energy consumption over 5 to 6 years of 1,000 average US households.

It is estimated that inference costs and power usage are at least 10 times higher than training costs. To put this into perspective, in January 2023, ChatGPT consumed roughly as much electricity per month as 26,000 US households for inference. As the models get bigger and bigger to handle more complex tasks, the demand for servers to process the models grows exponentially.

[Reactie gewijzigd door Dooxed op 23 juli 2024 02:48]

[Verwijderd]

Dat is dan toch peanuts met 200 miljoen gebruikers?

[Dooxed]

Per gebruiker weinig, maar dat maakt niet uit. Dat is statistiek. In de harde werkelijkheid wordt er meer energie verbruikt, meer grondstoffen, en meer CO2 uitstoot. Terwijl het erop lijkt dat dat een heel groot probleem oplevert. Je kan de getallen makkelijk kleiner maken door te delen door het aantal gebruikers, maar dat is alleen geschikt voor een relatieve vergelijking met andere energiegebruikers. Het wordt ook gebruikt om het probleem in de beeldvorming kleiner te maken dan dat het is.
Stel gezin van 5. Vliegvakantie totaal 4000 euro. Slechts 800 pp. Maar als je geen 4000 euro te besteden hebt, maar je denk oh slechts 800 pp, laten we dat maar doen. Dan kom je uiteindelijk in de schulden.

[Skit3000]

Deze processors gebruiken maximaal 2600W stroom. Als je ze voor een taak in zet waar een normale processor meer energie voor nodig heeft dan win je er al iets mee. Daarnaast; tegen de tijd dat deze specifieke processor grootschalig wordt toegepast (hooguit over een aantal jaar) komt alweer een nog groter deel van onze energievoorziening uit schone bronnen. Dat is geen reden om maar meer energie te gaan gebruiken, maar als die energie er toch is kun je het maar beter gebruiken.

[nandervv]

Dat wordt niet waar als alles en iedereen de groene energievoorziening als excuus gebruikt om maar meer energie te gaan gebruiken.....

[JakkoFourEyes]

Deze processors gebruiken maximaal 2600W stroom

Per processor of alle processors samen?

[Skit3000]

Uit het artikel:

De 1152 Loihi 2-processors verbruiken gezamenlijk maximaal 2600W stroom, claimt Intel.

[JakkoFourEyes]

Ah, oeps, niet goed gelezen.

[Alfa1970]

2600 Watt stroomverbruik is bijzonder weinig voor een supercomputer.
De milieu impact is niet veel meer dan die van een gemiddeld gezin.
Je kan deze zonder problemen bij iemand thuis neer zetten zonder extra voorzieningen te hoeven maken aan het stroomnet.
Je hebt nog voldoende ruimte om een gemiddelde magnetron (800-900W) op dezelfde groep er tegelijkertijd bij te draaien zonder dat de stoppen eruit knallen.

[vinkjb]

Koelwater wat vast ergens geloost wordt warm dus. Dan gaan er weer beesten dood die ineens in warm water leven waar ze niet tegen kunnen. Top...not

[jimh307]

Jij weet vast ook wel dat dit om heel weinig vermogen gaat vergeleken wat cryptomining doet. Het verbleek hierbij....en als het er toch is en komt, kun je het beter inzetten voor nuttige doelen.

Jouw auto gebruikt een orde van tig keer die 2600 W en is voor eigen vervoer om het maar in perspectief te zetten.

[cariolive23]

Ik vraag me dan altijd af wat de milieu-impact is van zulke zware rekenlasten die ten bate komen voor AI.

Zoals je zelf hebt gelezen, is die vraag al beantwoord: 2600 Watt.

En ik vermoed dat dit aanmerkelijk minder is dan het (virtuele) serverpark van Tweakers.net

Of iets wel of niet nuttig is, dat mag je de 8 miljard bewoners van planeet Aarde vragen. De meningen zullen verschillen.

[1Mark]

dat is net zoveel als een vijftal gamers met een 4090. Dus dat moet te overbruggen zijn

[jegelie]

Wat wij niet "willen" zien maar wat zo'n systeem onmiddellijk ziet: de mens is oorzaak van alle recente korte-termijn milieuproblematiek. Systeem zal dus de meest logische beslissing nemen en de mens uit de vergelijking halen.

[satya]

Daar zorgt de natuur zelf wel voor, die hersteld immers altijd zijn fouten.

[nout77]

Lijkt me interessant hoe LLM's hierop getraind kunnen worden!
Is het mogelijk GPT4 of 5 op deze hardware te trainen zonder grote aanpassingen te hoeven doen aan de trainingssoftware? Dit lijkt mij echter haast wel noodzakelijk, de architectuur is totaal anders dan een conventioneel cpu + gpu cluster.
Ik vermoed dat de modellen die hierop draaien ook speciaal geschreven moeten worden voor dit platform. Of zou hier een middelware laag of generieke laag tussen gezet kunnen worden zonder al te veel verlies? En is deze middelware beschikbaar?

[satya]

Indien groot genoeg zou het uit zichzelf een LLM kunnen zijn. Meer hebben we dan niet meer nodig.

[Blorgg]

Daarmee kan het systeem volgens de fabrikant tot 1,15 miljard neuronen en 128 miljard synapsen simuleren.

Mooi begin. Menselijke hersenen hebben met zo'n 86 miljard neuronen er ongeveer 75x meer dus dan heeft dit systeem nog wat ruimte voor groei.

[eurob]

nog een weetje
De heresenen hebben 100 Biljoen synaptische verbindingen...wow

[armageddon_2k1]

Heb je billion vertaald uit het engels?

[jprommen]

Iedere zenuwcel heeft een verbinding met minimaal 1000 andere cellen.

https://nl.m.wikipedia.org/wiki/Menselijke_hersenen

[eurob]

wow.. crazy!

[eurob]

Trillion = biljoen

[Jorah_Newstone]

Nee, wetenschappers denken nu 100 triljoen verbindingen

[LordLuc]

Hm.. 86 Halasystemen aan elkaar koppelen. En we hebben een menselijk brein. Daarna verkleinen zodat het in een schedel past.
De singularity komt steeds dichterbij.

[nandervv]

Nee, want dan is het aantal verbindingen veel te klein....

[fevenhuis]

Neural Processor REBRAND of toch een progressie?

Minder geclaimd energie vebruik en dan met vele kilowatts voor een processor aankomen klinkt een beetje tegenstrijdig.

Ik hoop nier dat dit het hele "revolutionaire" ontwikkeling model van Intels GPU's (en tegenwoordig ook CPU's) volgt.

Vooralsnog lijkt de enigste progressie te zijn dat kleine neurale desktop processors naar supercomputing nivo getilt wordt door gewoonweg veel meer stroom er door heen te sturen, met grootschalige koeling.

[DrPoncho]

Geen touw aan vast te knopen.

[fevenhuis]

Ik vraag mij af wat de vernieuwing hier is aan de huidige neurale processors behalve dat het dus om een processor bedoelt is voor supercomputer toepassing i.p.v. voor desktop en mobieltjes.

[leefeenkeer]

Leuk zo'n computer die zichzelf kan (her)programmeren!