Meta maakt machinelearningtaalmodel met 175 miljard parameters openbaar

Meta maakt een trainingsmodel voor vertalingen openbaar voor wetenschappers. Het Open Pretrained Transformer-model is een nlp-model met 175 miljard parameters waar machinelearningwetenschappers gebruik van kunnen maken.

Het model heet OPT-175B en is gemaakt door de kunstmatige-intelligentieafdeling van Meta. Het bedrijf maakt dat model openbaar voor andere wetenschappers en onderzoekers. Meta zegt dat het dat doet zodat wetenschappers beter kunnen leren hoe naturallanguageprocessing-modellen werken. Nu moeten academici nog vaak betalen voor api's om dergelijke modellen te gebruiken.

OPT-175B is een taalmodel met 175 miljard parameters. Het model is getraind op publiek beschikbare datasets. Meta maakt naast het volledige model ook een aantal kleinere modellen beschikbaar, zodat wetenschappers 'het effect van schaalvergroting' kunnen bestuderen. Het gaat dan om modellen die 125 of 350 miljoen parameters kennen, en modellen van 1,3, 2,7, 6,7, 13 en 30 miljard. Later komt ook een model beschikbaar met 66 miljard parameters.

Naast de modellen zelf maakt Meta ook code beschikbaar waarmee wetenschappers trainingsmodellen kunnen opzetten. Volgens Meta is dat de eerste keer dat dat gebeurt op een dergelijk grote schaal. Ook maakt het bedrijf notities en logboeken beschikbaar van momenten dat het trainingen uitvoerde. Meta zegt dat het model ook veel energiezuiniger is dan andere nlp-modellen, zoals GPT-3: OPT-175B zou voor ongeveer zeven keer minder uitstoot zorgen.

De data wordt onder een niet-commerciële licentie beschikbaar gemaakt. Facebook wil zo misbruik voorkomen en 'de integriteit bewaren'. Onderzoekers van overheden, burgerrechtenorganisaties en wetenschappelijke instituten kunnen van de tool gebruikmaken.

Reacties (79)

Owja, fijn. AI wat getraind gaat worden door Meta’s intepretatie van hoe AI zou moeten functioneren. Dan ben ik persoonlijk niet echt happig op, omdat meta (voormalig FB) niet echt hoog staat aan sociale aspecten. Als dit leidend gaat worden in het ontwikkelen van AI produkten dan hoop ik dat concurrenten heel snel met een AI tool komen om zoveel mogelijk de invloed van meta te beperken.

Cool cool cool, meta bashen: altijd populair, zelfs als ze iets goeds doen. Heb het paper er maar even bij gepakt -- het is tenslotte min of meer mijn onderzoeksveld. Meta's AI afdeling is behoorlijk transparant over hoe ze dit hebben aangepakt en maken een boel publiekelijk beschikbaar. Dat is "invloed" in zekere zin, maar feit is dat de grote techbedrijven min of meer als enige de infrastructuur hebben om dit soort grootschalig rekenwerk te doen. OpenAI heeft bijvoorbeeld een mooie naam maar werd opgezet door o.a. Musk en kreeg een tijd terug een smak geld van microsoft. Die "concurenten" waar je het over hebt zullen vast met een alternatief komen, maar of dat dan per se ethisch beter is dan Meta...

Ik ben tegen meta's data verzameling, maar dat wordt hier niet gebruikt. Dit model is gebaseerd op RoBERTa (boeken en nieuws items), The Pile (meer boeken, wiskunde tekst, ondertitels en websites inclusief wikipedia) en Pushift.io Reddit (de naam zegt het al). Ik zie geen bias voor commercieel gewin zoals @Yzord suggereert.

Voor onderzoekers zoals ik is het gratis beschikbaar maken van de cutting edge in dit veld enorm belangrijk. Dat meta dit doet, versterkt die "open science" norm. Persoonlijk ben ik er vast van overtuigd dat dit op de lange termijn iedereen vooruit helpt --inclusief meta-- omdat er gewoonweg veel meer kwalitatief hoogwaardig onderzoek gedaan kan worden op deze manier.

Als dit jouw onderzoeksveld is, dan een vraagje. Wat moet ik me voorstellen bij 175 miljard parameters? Dat lijkt me zo absurd veel dat ik me er geen voorstelling van kan maken. Om bij FB te blijven, moet ik dan parameters zien als bijvoorbeeld deze zaken:

• geslacht
• leeftijd
• politieke voorkeur
• kleur fiets
• schoenmaat

En dan dus een lijst van 175 miljard verschillende parameters?

Parameters verwijst in dit geval naar het model, niet naar de input. Je kunt een neuraal netwerk zien als een verzameling verbindingen, ieder met een gewicht wat bepaald hoeveel laag n laag n+1 beinvloed. De 175 miljard verwijst hiernaar; dit is het aantal verbindingen in dit neurale netwerk, specifieker hier het gewicht van.

Dus hoe indrukwekkend ook, het is ons brein nog niet, dat heeft blijkbaar triljoenen dergelijke verbindingen.
Fascinerend hoe dom we ons dan toch kunnen gedragen, individueel en collectief :-)
Natuurlijk, zo'n model kan je wel heel actief trainen en dat is bij mensen niet even een druk op de knop..
Ik vind jouw onderzoeksveld reuze-interessant :-)

Hoe dom. Tja dat hangt toch van je leermeester af. En de vaste “DNA” paden.

Wat ik me afvroeg is wat hebben onderzoekers hieraan, gezien dat een neuraal netwerk toch een grote black box is. Zeker met miljarden parameters.

Nou, het is maar net hoe je black box definieert. Uiteindelijk is een berekening van input naar output in een neuraal netwerk deterministisch: miljoenen of miljarden kleine formules van activatiefuncties die worden gepropageerd. Wat het een black box maakt is dat dit gedistribueerde model op een bepaalde niet tot in de puntjes begrijpelijk is voor mensen, omdat het gewoon te veel is om in onze geest te houden. Net zoals je niet de interactie van elke cel het lichaam in de geest kan houden om elke gedraging te verklaren. Maar wat we wel kunnen is op een hoger niveau patronen ontdekken, zoals dat bepaalde gedragingen geclusterd zijn in een bepaald gebied (zoals ook in de hersenen), of onderzoeken hoe het aanpassen van parameters het systeem beïnvloedt, of hoe goed de patronen van netwerk toepasbaar zijn op andere problemen. Er is zo veel te onderzoeken!

Ah top

Niet alles wat bij Meta ontwikkeld wordt, heeft meteen het doel om als superspionagetool te worden ingezet. Zo heb je bijvoorbeeld de memory networks-architectuur die bij toen nog Facebook is ontwikkeld. Er zijn ook gewoon afdelingen binnen het bedrijf waar ze "gewoon" onderzoek doen, vergelijkbaar met hoe het zou lopen bij een universiteit.

[Reactie gewijzigd door Sevenanths op 5 mei 2022 11:22]

Inderdaad, ik voel een bias aankomen in het voordeel van commercieel gewin.

Dat kan nu gelukkig worden gestest

Hoe valideer je een model met 175 miljard parameters?

Door 30625 miljard test cases te maken.

175 × 175 = 30625
175 miljard × 175 miljard ≠ 30625 miljard

30625 triljoen bedoel je denk ik.

Miljard vond ik al te veel testcases.

30,625 triljoen bedoel je, denk ik.

3 Triljoen en wat "kleingeld".

Het woord "parameter" is idd wat misleidend voor traditionele programmeurs en modelleurs.
Het gaat hier, denk ik, op digitale "neuronen", waarvan je er ook ~ 86 miljard analoog in je hersenen hebt.
Elke neuron is slechts een verbinding naar een set andere neurons, met een wegingsfactor.
Die wegingsfactor train je door fouten (ongewenst gedrag) in testgevallen te corrigeren.
Dat gaat ook massaal, en dus niet per stuk.
https://towardsdatascienc...ral-networks-edd985562b73

Niet, en dat is het gevaar. Zelfs met kleine netwerken is het lastig inzicht te krijgen waarom bepaalde relaties worden gelegd, laat staan met 175 miljard parameters. Je minimaliseert de error metrics zo ver mogelijk, kijkt naar een aantal testcases en daarna is het eigenlijk wat het is, zonder dat je precies weet wat dat is.

Dat zal precies een van de cases zijn waarom ze dit openbaar hebben gemaakt? Dit is gericht op wetenschappers, juist om dit soort vraagstukken op te lossen dunkt mij.

Da's het makkelijke gedeelte van dit alles.

Het is een vertaal-model, dus loslaten op een validatieset van regels in de ene taal -- regels in de andere taal.

(En natuurlijk zorgen dat je validatieset netjes gescheiden is van train- en testset)

't Wordt lastiger als je alleen maar ongelabelde data zou hebben, maar er zijn sowieso datasets beschikbaar en gebruikt met de zin en hun vertaling.

Een model kan je niet echt valideren. Nog niet iig. De keuzes die gemaakt worden begrijpen wij als mens nog niet

Niet.

Het is pretentieus.
Het gevaar is dat mensen met meer kennis op deelgebieden gaan focussen en daar misbruik van gaan maken.

Niet. Want het zijn geen parameters.

Machinelearning modellen zijn juist niet deterministisch, dus dat gaat niet.

Juist wel, op ieder punt zal dezelfde input dezelfde output geven. Echter door het trainen veranderen de weights, maar dan is het nog steeds deterministisch.

Op identieke hardware zijn ze deterministisch, maar in de praktijk draait je zulke grote modellen via NVIdia CUDA. De mapping van een model naar de GPU is niet identiek tussen NVidia architecturen - logischerwijs kun je geen tensorcores gebruiken op oudere GPU's bijvoorbeeld.

Maar dan zit er gewoon wat mis in de implementatie, want dan is je model ook anders in dat geval.

Ik snap niet over welke implementatie je het hebt.

De constatering is simpelweg dat hetzelfde model andere uitkomsten oplevert op een 1080Ti en een 3080Ti. De "implementatie" van het model zijn 175 miljard floating-point getallen, en dat zijn dezelfde getallen onafhankelijk van de hardware waarop die getallen geladen worden. Het verschil in uitkomsten komt door afrondverschillen, en die afrondingen komen weer door de eindige precisie

Als jij verschillende uitkomsten krijgt op een platform wat hetzelfde is, dan is dat toch fout? Want als je precies dezelfde precisie afvraagt zouden de afrondingen precies eender gedaan moeten worden, want er zijn regels / afspraken hoe we deze afrondingen doen.

Dus als jij met hetzelfde model op verschillende hardware verschillende antwoorden krijgt, dan ligt dat gewoon aan de implementatie / hardware die zich niet houdt aan de afspraken.

Mijn casio en texas ti geven op de vraag 1 + 1 beide 2. Zou 1 van de 2 dat niet doen, dan is de afwijkende gewoon slecht.

Een veelgebruikte activatefunctie in neurale netwerken gebruikt de cosinus. Die is in de praktijk geïmplementeerd met een lookup table omdat je niet efficiënt parallel een waarde kan determineren.

Als die lookup table verandert, bijvoorbeeld als deze orecieser wordt, kan dat effect hebben op hoe het netwerk activeert.

Daarnaast zijn de floats die als gewricht worden gebruikt als het goed is IEEE-standaard-floats maar er zijn snellere algoritmes op hardware als je bereid bent iets van de standaard af te wijken. Als je moet kiezen tussen determinisme of snelheid met lichte afwijkingen, is de kostenafweging snel gemaakt.

De impact zou niet al te groot moeten zijn, maar helemaal voorkom je hem niet, tenzij je het systeem op de CPU uitvoert die zich aan striktere regels moet houden.

[Reactie gewijzigd door GertMenkel op 5 mei 2022 14:44]

Ahh thanks. Ik wist niet dat ze daar een LUT voor gebruikte, eigenlijk nooit helemaal over nagedacht. Maar je zou verwachten dat die LUT dan ook wel standaard is.

En als die veranderd, heb je voor die LUT weer een deterministisch systeem.

En die lichte afwijkingen bij snelle floats zou ook deterministisch moeten zijn, als je dan 2 keer diezelfde som doet, 2 keer dezelfde waarde terug moeten geven.

Onderwater blijft het namelijk gewoon digitaal.

Dat er dus implementatie verschillen zijn zoals jij aangeeft, zegt niets over het deterministisch zijn van een model, alleen van de implementatie op hardware gebied. Het geen wat ik constant beweerd heb.

Ik zou zelf inderdaad verwachten dat de meeste getrainde modellen redelijk deterministisch zijn als ze wiskundig correct zijn beschreven en worden uitgevoerd door code die correctheid waardeert.

De documentatie van Tensorflow geeft echter aan dat determinisme een optie is die ingeschakeld dient te worden en ten koste gaat van performance. Ook Torch garandeert geen determinisme tenzij je het opvraagt.

De regel lijkt over het algemeen te zijn: lerende en zelfverbeterende neurale netwerken zijn stochastisch, getrainde netwerken die worden uitgevoerd zijn deterministisch, aannemende dat je de code uitvoert met het verzoek geen stochastische optimalisaties te doen.

Hoe rond jij a+b+c+d af? Er zijn twee redelijke keuzes: (((a+b)+c)+d) en ((a+b) + (c+d)). In beide gevallen rond je 3 keer af, maar de resultaten kunnen verschillen. Het voordeel van de tweede methode is dat (a+b) en (c+d) in parallel kunnen draaien.

In dit geval hebben we 175 miljard parameters, wat betekent dat een GPU niet alles in parallel kan berekenen. Hoeveel er precies serieel gaat en hoeveel in parallel hangt dus van de hardware af.

Qua afronden zelf zullen de regels van IEEE 754 worden gebruikt, vermoed ik. De code is als het goed is gecompileerd en wordt (waarschijnlijk) ook in die volgorde uitgevoerd (al kun je daar tegenwoordig nooit zeker van zijn). Als de volgorde op zo'n manier verandert, wordt het hele model instabiel tot op het punt dat de bruikbaarheid in het geding komt.

Gelukkig liggen de gewichten vaak in dezelfde of een nabije ordegrootte, waardoor afronden weinig tot geen problemen veroorzaakt bij optellen. Ga je vermenigvuldigen of delen dan wordt dit probleem natuurlijk lastiger.

Qua parallellisatie zullen gedeeltes van het netwerk per iteratie een voor een worden opgedeeld, net zoals in de render pipeline van games en simulaties op grafische kaarten gebeurt. Ik gok dat bij Facebook de belasting ook nog eens over verschillende machines met verschillende kaarten wordt verdeeld.

Ieee754 compliance is ongeveer het eerste wat je uitschakelt als performance belangrijk is. Dan moet je dus de langzame methode (((a+b)+c)+d) kiezen die niet parallelliseerbaar is.

Klassieke StackOverflow vraag: https://stackoverflow.com...optimize-aaaaaa-to-aaaaaa

Een andere reden dat je IEEE754 uitzet is dat IEEE754 denormals ontzettend traag zijn en weinig toevoegen.

Hoe rond jij a+b+c+d af? Er zijn twee redelijke keuzes: (((a+b)+c)+d) en ((a+b) + (c+d)). In beide gevallen rond je 3 keer af, maar de resultaten kunnen verschillen. Het voordeel van de tweede methode is dat (a+b) en (c+d) in parallel kunnen draaien.

Tussentijds afronden doe je niet, alleen op rekenmachine niveau wss met je LSBs.

Het voordeel van de tweede methode is dat (a+b) en (c+d) in parallel kunnen draaien.

Maar dan heb je je determinisme weer terug, want als je dat bij ieder model zo doet.

Ik weet niet hoe jij denkt dat computers werken. Floating-point getallen zijn 32 bits (in deze AI context) waarvan de mantissa 23 bits in beslag neemt. Twee floating-point optellen levert weer een nieuw 32 bits floating point-getal op, wat dus afgerond moet worden om te passen.

En het tweede punt wat je dus niet begrijpt is dat je model geen determinisme heeft over de executie van a+b+c+d. Dat doet je videokaart (specifieker, dat doet de CUDA library), en niet alle kaarten doen dat hetzelfde.

Ik weet niet hoe jij denkt dat computers werken. Floating-point getallen zijn 32 bits (in deze AI context) waarvan de mantissa 23 bits in beslag neemt. Twee floating-point optellen levert weer een nieuw 32 bits floating point-getal op, wat dus afgerond moet worden om te passen.

Dit wordt dus elke keer op dezelfde manier gedaan, dus deterministisch.

En het tweede punt wat je dus niet begrijpt is dat je model geen determinisme heeft over de executie van a+b+c+d. Dat doet je videokaart (specifieker, dat doet de CUDA library), en niet alle kaarten doen dat hetzelfde.

Dat de impelementatie niet juist is, zegt niets over de nulletjes en eentjes.

Tja, ik weet niet meer hoe ik het kan uitleggen. Je blijft volhouden dat "de implementatie niet juist is". Dat veronderstelt al dat er een juiste volgorde is, en elke andere volgorde fout is. Wiskundig is er geen volgorde, want wiskundig wordt er niet afgerond. Numeriek zijn er exponentiteel veel volgordes mogelijk.

Volgens mij is er sprake van een verwarring van de term 'deterministisch', die op meerdere niveaus is op te vatten in de context van statistische modellen. Je kunt wiskundige shortcuts maken door minder bits te gebruiken voor getallen bijvoorbeeld, omdat de modellen toch ruwweg convergeren. Maar met andere getallen krijg je wel andere waardes, dus dan zou kun je weer kunnen zeggen dat de modellen 'onbetrouwbaar' zijn. En tegelijk zijn toch ook alle neurale activitaties causaal deterministisch, want het resultaat van concrete berekeningen die terug te lopen en na te rekenen zijn. En op het hoogste niveau, van input -> output, is het systeem natuurlijk deterministisch in filosofische zin. Anders zou je alleen maar ruis krijgen als output.

Is er nog geen woord bedacht voor dit soort fuzzy determinisme? Het lijkt me erg nuttig om dit soort ellenlange discussies van langs elkaar heen praten te voorkomen.

[Reactie gewijzigd door martyparty op 8 mei 2022 15:20]

Nee, er is weinig verwarring over in deze (AI) context. Dit is iets waar ik professioneel regelmatig mee te maken heb - wetenschappelijk geef je de voorkeur aan reproduceerbaarheid tot de laatste bit (deterministisch), maar vanuit een engineering oogpunt is deterministisch niet essentieel.

De reden dat we vanuit een engineering oogpunt "determinisme" zo makkelijk opzij zetten is omdat het traag is. De concrete berekeningen zijn nergens gespecificeerd. Ja, tensor A x tensor B, maar niet alle hardware kan tensoren vermenigvuldigen, en er is geen standaard voor tensor-vermenigvuldigingen met eindige precisie.

Met een quantum computer?

Dit heeft dan weer niets met valideren te maken.

Ook een model dat totaal overfit is op de training set kun je gewoon nog valideren. (Niet verrast zijn dat de score dan matig is natuurlijk)

De opmaak naar de universal translater

Ik wacht met smart op de Universal Translator zodat ik eindelijk begrijp wat mijn vriendin nou eigenlijk wilt zeggen...

(Hoeveel parameters zouden er dan wel niet nodig zijn.... ?)

Bij sommigen 1.

Volgens mij heb je dan gewoon een My Little Pony translator nodig?

Ik wacht met smart op de Universal Translator zodat ik eindelijk begrijp wat mijn vriendin nou eigenlijk wilt zeggen...

Maar het bestaat al... kijk maar
https://www.goodsoil.com/...oman-language-translator/

Een beetje teveel gevraagd als je het mij vraagt omdat het zou betekenen dat het dan ook Marsians en Ventians moet kunnen verstaan!!

https://en.wikipedia.org/wiki/Men_Are_from_Mars,_Women_Are_from_Venus

alles wordt code, dus zien we straks een Babelfish als code :-)

Kan die vis de deur uit....

Op zich mooi dat ze het openbaar maken.
Maar de strijd tussen ai systemen is hard op dit punt en de ontwikkelingen gaan relatief snel.
GPT-3 was ook al geopend:
https://synced.medium.com...nguage-model-3d3f453124cd
https://openai.com/api/

En daarna kwam oa google met GLaM:
https://analyticsindiamag...arge-language-model-race/

Waarom gaat Meta dit delen? Veel mensen onderschatten de waarde van zo'n taalmodel en de hoeveelheid toepassingsmogelijkheden die dat heeft. Bedrijven met de beste modellen hebben straks een voorsprong. Bovendien is het is een goed commercieel voordeel als jouw model 7 keer zuiniger is.

Ondanks dat Meta/Facebook nogal misbruik maken van de samenleving voor financieel gewin. Leveren ze af en toe ook hele mooie bijdrages als deze en delen ze toch een beetje kennis/ervaring die ze opgedaan hebben.

Als ze wat minder shady te werk zouden gaan, zouden ze door zulke publicaties wel eens een positieve naam kunnen hebben.

Het probleem is nu juist dat ik denk "Wat zou nu weer het achterliggende motief zijn?"

En welke publiek beschikbare dataset's zijn dat? Daar hebben bedrijven zich eerder vergaloppeerd - ze zeggen dan zelf dat het publiek beschikbaar was - maar dat betekent niet dat je het op alle manieren mag gebruiken.
Wellicht is dat nu ook aan de gang - door het publiek beschikbaar stellen van de uitkomst maakt het minder uit dat de bron eigenlijk niet zo gebruikt mocht worden?

Facebook deelt wel vaker kennis zonder enge achterliggende gedachtes. Als Meta/FB voor hun inkomen niet zo shady zou zijn, is Facebook eigenlijk helemaal niet zo'n slecht bedrijf en delen ze best veel van hun technische kennis.

Als ik het bericht van hun zo doorneem, ziet het er positief uit.

Er staat niet bij wat de voorwaarden zijn. Dus dat kan nog best is tegenvallen…

Juist, want met het niet hebben van een account doe je niet mee aan hun data vergaring.

/s, mocht het niet duidelijk zijn.

Is dat echter de schuld van Facebook, of de websites die de Facebook code plaatsen?

Want die lijken altijd maar vrijuit te gaan, terwijl dat de website is die het verspreid.

Jawel. Ik gebruik niets van Facebook, toch kan ik niet voorkomen dat ik met mijn bakkes op foto's kom te staan die door anderen geüpload worden op Facebook. Dat mijn gegevens gedeeld worden op Facebook is alleen tegen te gaan of te controleren, door zelf een Facebook account te hebben

Ik kan ook niet voorkomen dat anderen mijn 06-nummers delen met Whatsapp.

Ik kan nog zo mijn best doen, een deel van mijn privacy wordt gewoon steevast ten grabbel gegooid door mensen uit mijn omgeving en randy rando's.

Eens, tot dusverre dat 99% op Whatsapp zit (=niet feitelijk ofc) en met geen breekijzer ervan af te krijgen is. Bij verenigingen, groepen en ook veel werkgerelateerde communicatie (buiten of dat dan wel verstandig is) val je gewoon buiten de boot.

Ik heb daar een tijdje de bridging mechanismen voor geprobeerd icm met Matrix: drama.

Klopt, de opt-out is je router uitzetten.

Ooit van schaduwprofielen gehoord?

Waar gaan die modellen over? Over foto's, taal, wiskunde?

Staat in de tekst.

Natural language processing dus 👍🏻. Maar iets meer uitleg zou alsnog wel fijn zijn geweest. Geen idee hoe zoiets werkt - wat je hiermee kunt. Werkt dit in alle talen? Wat is een voorbeeld van de input en output?

Dat is natuurlijk een heel groot onderzoeksgebied. Je kan ook zelf eventjes naar google gaan, natural language processing invoeren en dan krijg je dit: https://www.youtube.com/watch?v=CMrHM8a3hqw

Gebruiken ze dit ook voor hun eigen platform? Facebook? Want de vertalingen die ik daar voorbij zie komen zijn niet echt indrukwekkend...

Het kan slecht omgaan met typfouten bijvoorbeeld.

Goede ontwikkeling, uiteraard is het een te complex model om dagelijks mee te werken.
Echter is de kunst natuurlijk om het model te finetunen, e.g.: L1/L2 regularization, PCA etc.
Zodat er optimale Bias -Variance & Precision-Recall balans gevonden kan worden voor de gewenste resultaat.

Gezien het historische trackrecord van Meta lijkt het mij behoorlijk naïef om te denken dat Meta dit nu doet om 'de wetenschap vooruit te helpen'.

Alles bij Meta is gedreven vanuit een commercieel oogpunt. Wat zou hier de achterliggende commerciële gedachte kunnen zijn?
Komen ze zelf niet meer verder in hun commerciële aspiraties met NLP en hopen ze nu dat externe wetenschappers een doorbraak kunnen realiseren?