Google maakt op Gemini gebaseerd AI-model Gemma opensource

Google maakt twee nieuwe AI-modellen openbaar beschikbaar onder de naam Gemma. Deze modellen zijn volgens het bedrijf gebaseerd op 'hetzelfde onderzoek en dezelfde technologie' als Googles gesloten Gemini-model, hoewel de Gemma-modellen kleiner zijn.

Google maakt twee verschillende AI-modellen openbaar, die verschillen op het gebied van omvang. Het gaat om Gemma 2B en Gemma 7B, die respectievelijk beschikken over twee miljard en zeven miljard parameters. Beide modellen zijn wereldwijd beschikbaar op sites als Kaggle, Hugging Face, Nvidia NeMo en Google Vertex AI.

De Gemma-modellen zijn minder geavanceerd dan Google Gemini, hoewel de twee modellen volgens Google nog steeds beter presteren dan grotere modellen in bepaalde AI-benchmarks. Volgens de techgigant kan Gemma ook lokaal draaien op laptops en desktops, of in de cloud. Het bedrijf vergelijkt Gemma 7B met Meta's Llama-2 7B- en 13B-modellen in acht verschillende benchmarks. Volgens de cijfers van Google presteert Gemma in alle tests beter. Google heeft een technisch rapport gepubliceerd waarin het bedrijf meer details deelt over Gemma en diens prestaties.

Beide Gemma-modellen mogen gebruikt worden voor commerciële doeleinden, hoewel de techgigant wel verbiedt dat deze gebruikt worden voor bepaalde doeleinden, zoals het genereren van content over kindermisbruik, desinformatie of content die aanzet tot geweld. Gemma wordt daarnaast geleverd met 'responsible-AI-toolkits' met veiligheidsclassificaties, debuggingtools en best practices voor het bouwen van AI-applicaties.

Gemma kan gebruikt worden voor het ontwikkelen van AI-applicaties. Ontwikkelaars mogen daarbij hun eigen guidelines of lijsten met verboden woorden toevoegen. Volgens Google werkt Gemma vooralsnog het beste in taalgerelateerde taken, en dan specifiek in het Engels, schrijft ook The Verge. Googles geavanceerdere Gemini-model is ook beschikbaar voor ontwikkelaars, hoewel dat model meer gesloten is. Ontwikkelaars kunnen Gemini alleen gebruiken via api's, of via Googles Vertex AI-platform. Gemma is vrij inzetbaar.

Reacties (15)

[Rolucious]

Ben zeer benieuwd. Zou ik dan binnenkort op mijn eigen server met een degelijke GPU deze datasets kunnen inladen en een eigen gehoste A.I. runnen?
Waarom maakt Google deze datasets eigenlijk openbaar? Ik zou juist verwachten dat een techgigant dit gesloten probeert te houden, helemaal met het idee om Gemini commercieel te maken.

[Wraldpyk]

Ja dat moet kunnen. Kan nu ook al met andere modellen die je kunt downloaden.

Heb voor de grap een 40gb model (ergens in die richting) gedownload en lokaal gedraaid. Werkte prima, maar niet geweldig. Kreeg regelmatig foutieve data terug en betrouwbaarheid van antwoorden was matig. Hoe groter het model hoe beter het is, maar kost ook veel meer gb's om te hosten.

[Erpenator2]

Op wat voor hardware heb je de modellen lokaal gedraaid?

[Wraldpyk]

MacOS M1 Max. Draaide geweldig goed. Image generation nam wel mijn gehele GPU over, maar text ging super snel.

[satya]

Dat kan met gpt4all al en dan zonder gpu.

[Rolucious]

Ik dacht dat dat offline gehaald was. Heb je daar een git link van?

[satya]

Je kunt bij hun een installer ophalen voor windows, osx en ubuntu.

https://gpt4all.io/index.html

Gemma loopt er nog niet op, maar op github zijn er al vragen naar. Maar 7b is 30GB, dan zou je 64GB geheugen nodig hebben.

[nout77]

Google zelf staat er ook niet om te springen om dit model open source beschikbaar te maken. Maar zij zijn afhankelijk van de AI engineers en programmeurs, die zijn schaars en willen ze graag houden.
Deze engineers vinden het belangrijk dat deze state of the art technologie breed beschikbaar komt voor iedereen die er mee aan de slag wil. Niet alleen voor de grote tech reuzen. Zij zetten Google dan ook onder druk om dit model open source beschikbaar te stellen.

[Aldy]

Heb je daar een bron van? Kan makkelijk waar zijn, maar blijf het onwaarschijnlijk vinden.

[DJ Henk]

Volgens Google werkt Gemma vooralsnog het beste in taalgerelateerde taken, en dan specifiek in het Engels

Ik hoop dat evengoed ook redelijk werkt in het Nederlands. Bij andere open source modellen als Llama en Mistral heb ik altijd problemen om er Nederlands uit te laten komen. Begrijpen van Nederlands lukt vaak prima, maar als je bijvoorbeeld een Nederlandse samenvatting wilt genereren van een Nederlandse tekst dan moet je echt heel streng zijn in je prompt en als je even niet oplet krijg je hem toch in het Engels.

[Wraldpyk]

Tja dat is wel een beetje het probleem met LLM modellen die getrained zijn op het internet. Het gros van de data die ze hebben is Engels. Zie ook ChatGPT, kent een hoop Nederlands, maar aangezien het meerendeel van de trainingsdata Engels is zal ie daar toch op "defaulten", ondanks dat ie bets goed is in Nederlands.

Zelfde voor andere modellen die kleiner zijn. Open Source modellen zijn in de regel veel kleiner (want ze moeten downloadbaar zijn) en hebben dus minder parameters en dan moeten er keuzes gemaakt worden in de trainingsdata en de details die overblijven.

[satya]

Enkele 13b modellen die ik met gpt4all draai doen dat wel redelijk. Ik dacht oa Hermes.

[Reactie gewijzigd door satya op 22 juli 2024 14:21]

[moonlander]

Het is wachten dat Gemma weer een andere naam krijgt als het weer in een slecht daglicht komt. Zoals het ook is gegaan bij Bard.

[telenut]

Zo goed als niemand weet wat Bard is, net als dat men weet heeft van Gemini of Gemma... Je moet echt al in de IT wereld werken om er van gehoord te hebben.

[bobberg]

Het lijkt erop dat third party benchmarks wel een iets minder rooskleurig verhaal hebben...
https://www.reddit.com/r/LocalLLaMA/s/BMeB50NQtW