Gerucht: Twitter werkt aan eigen llm met tienduizend gpu's

Twitter zou werken aan een eigen large language model, een AI-model zoals GPT van OpenAI en LaMDA van Google. Het bedrijf zou daarvoor tienduizend gpu's hebben aangeschaft. Het trainen van zo'n model vergt veel rekenkracht.

Het project bevindt zich nog in een vroege fase, claimt Business Insider op basis van eigen bronnen. Het is nog onbekend wat het doel van het grote taalmodel zal zijn. Mogelijk gaat het om betere advertenties of om het verbeteren van de zoekfunctie van het sociale netwerk.

De stap is saillant, omdat Twitter-directeur Elon Musk enkele weken geleden nog een van de initiatiefnemers was voor een open brief, waarin de ondertekenaars vroegen om AI-initiatieven een half jaar te pauzeren om zo de tijd te nemen voor het maken van regelgeving. Musk is ook betrokken geweest bij OpenAI, het bedrijf achter het GPT-model en ChatGPT.

De gpu's die Nvidia verkoopt voor AI-training zijn 10.000 dollar per stuk, waardoor het mogelijk gaat om een investering van tientallen miljoenen dollars. Twitter heeft niet gereageerd op het gerucht en heeft de aankoop van de gpu's niet bevestigd.

Reacties (75)

[field33P]

De stap is saillant, omdat Twitter-directeur Elon Musk enkele weken geleden nog een van de initiatiefnemers was voor een open brief, waarin de ondertekenaars vroegen om AI-initiatieven een half jaar te pauzeren om zo de tijd te nemen voor het maken van regelgeving

Dat versterkt mijn vermoeden dat Musk het initiatief nam in een wanhoopspoging om de concurrentie te vertragen. Het venijnige aan die brief was namelijk dat hij wilde dat alleen de introductie gepauzeerd werd, niet de ontwikkeling. Laat dat hem nu net even goed uitkomen wanneer hij zelf een userbase wil opbouwen.

[batteries4ever]

Tja, of Musk bestaat helemaal niet en is zelf een AI. Dat zou een aantal van zijn random acties en uitlatingen verklaren!

[Jeanpaul145]

Nee hoor. Het zal niet altijd waar zijn waarschijnlijk, maar vooralsnog is het zo dat voor elk voorbeeld van Artificiële Idioterie er 10 te vinden zijn voor mensen

[batteries4ever]

[rvt1]

Hij had natuurlijk niet zijn aandeel in openai moeten verkopen… ze hebben zelfs in hetzelfde gebouw de bedrijven gehad!

[Bunga]

Twitter kan natuurlijk een redelijk ideale content zijn om AI op te trainen. Twitter vertegenwoordigt menselijke interactie, hoe minder moderatie hoe natuurlijker de interactie. Een van de redenen dat Musk zoveel moeite doet om bots te vermijden op het platform vermoed ik. Het leek me wel duidelijk van in begin dat hij Twitter heeft opgekocht met dit doel voor ogen.
Facebook en Google hebben natuurlijk ook wel gelijkaardige bronnen maar dat gaat met meer moderatie gepaard denk ik. Hangt er maar van af wat je van je AI model verwacht.

[Rob Coops]

Het hangt er ook heel erg van af wat je een model wil leren natuurlijk een model dat alleen op de historische data van twitter is getraind zal weinig kunnen anders dan een erg linkse politieke mening verkondigen maar als je het ding bijvoorbeeld vraagt om eens een stukje te schrijven over de voordelen van een auto ten opzichte van een paar en wagen dan zal er weinig "kennis" zijn waar dat antwoordt op gebaseerd kan worden.

Een van de problemen met de huidige LLM's is dat vrijwel alle "goede data" in middels wel aan de grootste modellen is gevoerd. Een GPT4 kan weinig meer geleerd worden omdat er simpel weg niet genoeg goede data meer beschikbaar is.Er zijn genoeg andere methode om de modellen verder te laten ontwikkelen maar meer goede data is in middels vrijwel niet meer een realistische manier omdat dat niet meer in voldoende mate te vinden is.
Ik kan me dan ook niet echt voorstellen dat Twitter haar LLM zou beperken tot alleen Twitter posts dat is gewoon veel te weinig informatie die veel al niet eens zinnig is en lang niet altijd juist hoeft te zijn. Ook is het simpel weg veel te weinig data om een modern LLM te vormen dat zich enig sinds zou moeten kunnen meten met de grote modellen van de andere partijen actief in deze markt.

[PD2JK]

Goed bezig, 10000 x ~300Watt = 3 MegaWatt verstoken voor nog meer van die onzin. En dan komen de randzaken zoals koeling er nog bij...

[Indy81]

Wat is het alternatief? Mensen inzetten? Die kosten ook geld, brandstof, werkplekken, en moet je ook warm houden en eten geven.

Terwijl die 3 MW uit hernieuwbare bronnen kunnen komen.

[Indy81]

Ah ja.... weet je hoeveel mensen we tekort komen?
Ik weet niet of je het nieuws volgt, maar er zijn meer vacatures dan werklozen.

Banen raken nu eenmaal verloren door automatisering, daarvoor komen andere banen terug.
Veel verloren beroepen: koetsier, melkboer, lantaarnopsteker, letterzetter, kruidenier, mijnwerker, enz.
Heeft dat ook de mensheid om zeep geholpen?

Dat beroepsgroepen verdwijnen door modernisering is iets van alle tijden.

[Tivoler]

Ik denk dat jij het verkeerde nieuws volgt; is er teveel aanbod, er wordt te specifiek gezocht. En ja, ambachten welke verdwijnen zullen de mensheid om zeep helpen; of wil je alles prefab kopen straks, ook je dagelijkse voedsel ?

[Verwijderd]

Ja, toch wel, aangezien het huidige bestel om mensen te voeden en te huizen totaal niet houdbaar is.

[Tivoler]

Je snapt weing van het leven. En om je voor te zijn, ja ik wel; ik ben volledig zelf voorzienend in alles, midden in de natuur... daar gaat het met de mensheid mis. Niet alles is tekoop.

[Verwijderd]

Jouw persoonlijke situatie is niet relevant om te beoordelen of een model houdbaar is of niet.

[Tivoler]

Jouw denkwijze is niet relevant om mensen te laten geloven dat het anders kan.

[Verwijderd]

Mijn denkwijze heeft er niets mee te maken, je kan gewoon de berekeningen uitvoeren die aantonen welke en hoeveel grondstoffen wij nodig hebben om onze levenstijl aan te houden, en als je dit dan extrapoleert naar 8 miljard mensen kom je heel snel tot de conclusie dat onze levenstijl de aarde vernietigt en miljarden mensen kansen ontneemt op een menswaardig leven.

Maar je kop int zand steken is natuurlijk gemakkelijker.

[Tivoler]

Wie steekt er nu zijn kop in het zand als hij wil berekenen hoe hij zijn zelfde levensstijl aan wil houden.

Je snapt er echt de ballen van; maar dat heb je al wel bewezen. Succes!

[Verwijderd]

Veel plezier int zand!

[Tivoler]

Veel plezier op je balkon!

[Verwijderd]

Dat heb ik inderdaad!

[arbraxas]

Das dus 3 Megawatt aan koeling erbij. En dan nog s de randzaken.

[janremie]

Dat je 3 megawatt warmte moet afvoeren betekend niet dat die koeling 3 megawatt verbruikt.

[-=bas=-]

Je vergeet de randzaken te vermelden in je reactie.

[walkstyle]

Men beweerde hetzelfde toen we overstapten van paarden naar auto's; dat heet vooruitgang.

[Reactie gewijzigd door walkstyle op 25 juli 2024 11:09]

[swtimmer]

Dus toen Twitter nog 7000 mensen in dienst had hadden ze geen onderzoekers die op LLMs werkte? Dat is voor mij eigenlijk veel groter nieuws.

[dasiro]

als je ziet hoe ingrijpend hij assembly-bots gebruikt op de productielijnen van Tesla dan snap ik de insteek wel: machines waar het kan, mensen waar het moet

[matty___]

Net als elke autofabrikant trouwens.

[dasiro]

klopt, maar hij dreef het tot in het extreme door en is ook deels van dat idee moeten terugkomen. Z'n gigapress om quasi volledige bodies te produceren is nog redelijk uniek op die schaal en scheelt enorm veel manuele arbeid

[Tintel]

Maar een uni-body is qua herstelbaarheid niet echt fijn. Net zoiets als mobieltjes waarin alles aan elkaar is gelijmd - waarschijnlijk sneller tijdens productie maar herstelbaarheid is rampzalig.

En aangezien een auto best wel lang mee zou moeten gaan is herstelbaarheid wel belangrijk.

[WoutervOorschot]

Het zou ook niet ondenkbaar zijn dat ze er wel al mee bezig waren, maar dat de kennis, mensen en documentatie zijn verdwenen in de afgelopen maanden.

[swtimmer]

Het meer dat ik daarom had verwacht dat we bedrijf zoals Twitter al behoorlijk GPU farm heeft. Wij zijn geen big tech, of tech in zijn algemeenheid, en ook wij hebben al enkele jaren grote GPU clusters, spelen met quantum, en andere HPC dingen. Ik zou verwachten dat wij achterlopen op een Twitter.

[jurgen Vdv]

Jawel hun bot noemde elon

[Genetai]

Saillant, beter bekend als opvallend en regelgeving is nog steeds nodig dus is allemaal wel weer wat zoeken naar drama om te suggereren dat de hardware niet aangeschaft had mogen worden vanwege de brief . Hoe dan ook is een half jaar veel te kort om politiek ook maar iets te regelen laat staat zoiets complex als Ai.

[DavidZnay]

Het kwam op mij sowieso allemaal meer over als een marketing stunt. Regelgeving voor een private industrie die zich misdraagt had er allang moeten zijn en niet alleen voor AI. Veel van de andere gevaren waren typische vergezichten die we al vanaf de industriële revolutie horen.

[pietje63]

Zullen ze het LLM gaan trainen op berichten van (max) 160 karakters? Of mag je dat geen large language model noemen.

[Reactie gewijzigd door pietje63 op 25 juli 2024 11:09]

[gsmolders]

Kan ik me niet voorstellen. Wat moet Twitter (dat vooral in het Engels werkt) met kleinere talen als Nederlands, Grieks of Haskell?

[Soullie]

"Wil de concurrentie even wachten tot wij ook gestart zijn ?"

[WhiteDog]

Ik mis de "we hebben T(w)Itter om meer uitleg gevraagd maar kregen enkel een lachend kakje als antwoord" ...

[Timmmeeehhh]

Ben benieuwd hoe lang het duurt voor er een decentraal getrainde LLM komt. Kan me voorstellen dat een systeem waar mensen een node kunnen draaien of trainings vragen beantwoorden (zoals openAI GPT heeft voorzien van human input) voor een fee, dat je best snel een grote opensource dataset kan genereren.

[-=bas=-]

Nu nog een leuke naam.
Iets van BitGPT of ChatCoin ofzo.

[SPee]

Nee, het wordt

: X

<== zonder de spatie

(Twitter valt nu onder X corp, dus die nieuwe naam zal er ook wel in voorkomen)

[jwal]

Bedoel je zoiets als https://open-assistant.io/

[Sando]

Het was toch al van begins af aan het plan om meer te modereren door AI en minder door mensen? Dan moet je dit wel doen. ChatGPT is was exclusief gelicenseerd aan Microsoft en Google houd Bard ook binnenshuis.

edit:

Inmiddels niet meer. Sterker nog, je zou het bijna vergeten, maar Musk is mede-oprichter van OpenAI. Blijkbaar geeft dat ze geen recht op het model en moeten ze zelf een nieuw model trainen.

En dat kost toch een hoop energie. Het is net bitcoin mining. Het zou beter zijn als er gewoon één openbaar model komt. En niet dat Twitter, OpenAI, Google, Baidu, Nvidia, DeepMind, Meta, AI21, Antropic en wie nog meer allemaal het zelfde trucje doen.

[Reactie gewijzigd door Sando op 25 juli 2024 11:09]

[litebyte]

Exact, daar zal facebook's (schuilnaam meta) haar AI ontwikkeling in ieder geval ook wel deels op gericht zijn.

[rare-Quark]

Als je energie nu eens eerlijk belast, dan krijg je vanzelf de goede prikkel om ofwel samen te werken ofwel individueel te ontwikkelen. In dit geval is het in elk geval besteed aan het creëren van nieuwe functies.

Ik heb meer moeite met bitcoin mining. Dat heeft geen enkele waarde bezijden handel, gegroeid uit een wantrouwen tegen en onttrekking uit de bestaande handel. Voegt helemaal niets toe aan de reële economie.

[Sando]

Ik heb meer moeite met bitcoin mining. Dat heeft geen enkele waarde [en voegt] helemaal niets toe aan de reële economie.

Nee dat is niet helemaal waar. Je moet wel eerlijk zijn.

offtopic:
Jij woont in een land waar 100% van de mensen toegang heeft tot financiële dienstverlening. In de VS is dat 93%, maar belangrijker, in landen als Nigeria, Zambia en Zimbabwe is dat slechts 40%. Daar wonen 255 miljoen mensen. Afrika heeft één van de grootste volumes aan bitcoin-transacties onder particulieren. Wereldwijd heb je 1.7 miljard mensen zonder toegang tot banken. Financiële inclusiviteit zou een mensenrecht moeten zijn. Zie dit artikel van het World Economic Forum. Daarnaast is bitcoin belangrijk gebleken in gebieden met natuurrampen of oorlogen. Daarom zijn mensenrechtenactivisten expliciet tegen het westerse naratief dat je hebt overgenomen. Ik bedoel, op de meest rijke en vrije plek op aarde heeft het voor jou misschien 0% meerwaarde. Je mag van mij nog steeds een hekel aan bitcoin hebben, maar wees wel eerlijk.

10 keer het zelfde model trainen is naar mijn mening pas nutteloos. Maar ik ben het met je eens, energie eerlijk belasten is iets waar ik me in kan vinden.

[rare-Quark]

offtopic:
Uiteraard zijn er groepen geholpen met toegang tot financiële markten. Maar of dit dan per se bitcoin moet zijn waarbij de macht bij diegene met de goedkoopste vorm van energie moet liggen met de meeste energie verkwisting met zo weinig mogelijk traceerbaarheid in het algoritme? Als dat echt je doel is, dan zijn er andere vormen van een digitale munt of kredietverstrekking. Het is momenteel vooral de munt van de digitale dief en belastingontduiker en derhalve gevoelig voor oplichting. Een narratief impliceert een vooropgezet plan; een complot. In werkelijkheid houd je het ‘niet westerse’ narratief in stand en word het argument misbruikt. In werkelijkheid ben je vooral aan het speculeren op het aantrekken van kapitaal door zijn ontraceerbaarheid. Maar in hoeverre dit dan de reële economie helpt of moreel is? Doe dan aan microkredieten als je zo begaan bent of investeer in zaken waar je echt in gelooft. Het concept bitcoin vind ik bijzonder zwak.

Als het daadwerkelijk 10 keer hetzelfde model is, dan wel ja. Maar elk model heeft weer een nieuwe toepassing en word daar specifiek op getraind. Een AI voor moderatie op Twitter hoeft niet te kunnen autorijden en heult dergelijke kennis dan ook mee als dood gewicht.

Uiteindelijk is AI ook niets meer dan een slimme vorm van matrixmultiplicatie in een specifieke volgorde. Vermenigvuldigingen die je niet hoeft te doen zijn het goedkoopst.

Als de energiebelasting echt duur is bedenkt men zelf wel wat men ontwikkeling kan combineren of word men selectiever als er niet aan te verdienen is; ie dan doet de markt zijn werk wel.

[Sando]

Een AI voor moderatie op Twitter hoeft niet te kunnen autorijden

Nee, maar autorijdt-AI is dan ook geen LLM.

Het zou wel cool zijn als er één LLM komt "to rule them all", getraind door iedereen thuis als een soort folding@home. GPL of MIT licensed zodat iedereen hem kan gebruiken, ook Twitter.

offtopic:
Er zitten zoveel misverstanden in je ideeën over Bitcoin dat ik betwijfel of je hebt mijn bronnen hebt gelezen. Dus ik kan er moeilijk op reageren. Lees op zijn minst even het kopje "Debunking the myths" in dat artikel van het World Economic Forum. Overigens worden microkredieten verstrekt aan mensen of organisaties met toegang tot een bank, en we hebben het over de 1,7 miljard mensen die dat juist niét hebben.

[rare-Quark]

Technische futiliteit uiteraard, ook binnen een LLM zul je zulke zaken tegenkomen.

offtopic:
De offtopic is hier interessanter dan de ontopic. Ik heb wel degelijk die bron gelezen en zelfs mee gedaan in gesprek met de ceo van een grotere bank over de zin en onzin van bitcoin een poos geleden. Ik ben echter geen expert; geef ik direct toe en heb er zeker een gevoel bij ontwikkeld. Er zaten nogal wat haken en ogen aan dat WEF artikel als ik het mij goed herinner. Oa de claim dat slechts 1 procent duister geld was wel heel optimistisch geschat; een vergelijk van verschillende bronnen gaf een bereik van tussen de 1 en 30 procent (sommige zelfs nog meer). Verder had de schrijver er (uiteraard) ook een eigen belang bij om de effecten optimistisch in te kleuren. Maakt verder niet uit voor wat betreft het fundement: Ik blijft erbij dat een munt gebaseerd op de block chain zonder externe controle bezijden rekenkracht/energieverkwisting een slecht idee is. De economie is een wetenschap van het geloof. Er zit verder ook weinig harde waarheid in, het is vooral een recollectie van historische anecdotes van wat wel en niet werkte in bepaalde situaties. Dit is er eentje waar ik geen vertrouwen in heb. De bankensector zelf is helaas ook een IT zootje waardoor dit voeten in de aarde krijgt. Maar dat maakt het nog geen goed idee. Wat zou het fijn zijn als er een vertrouwde bank is die wereldwijd instant geld kan verstrekken. Bizar dat dit er nog niet is als je erover nadenkt; vertrouwen is een bijzonder begrip.