Google brengt Gemini 1.5 uit, maar nog niet voor consumenten

Google heeft Gemini 1.5 aangekondigd, de volgende versie van zijn grote taalmodel. Gemini Pro 1.5 kan maximaal een input aan van een miljoen tokens, vier keer zoveel als GPT-4 van concurrent OpenAI. Daarmee kunnen gebruikers veel complexere opdrachten geven.

Gemini 1.5 Pro is volgens Google in staat om in een prompt video’s van 1 uur, codebestanden van 30.000 regels code, of teksten van meer dan 700.000 woorden in één keer te verwerken. Google werkt ook aan een versie die tien miljoen tokens in een keer kan verwerken. Dat kan via Vertex AI: de standaardversie van Gemini 1.5 Pro heeft 128.000 tokens als limiet.

Gemini 1.5 Pro moet verder ongeveer het niveau halen van Gemini 1.0 Ultra, het uitgebreidste model van de vorige generatie. Die kondigde Google in december aan. Een andere nieuwigheid is het gebruik van Mixture-of-Experts-architectuur. Dat bestaat uit meerdere kleinere modellen die ieder 'expert' zijn op een eigen gebied. Afhankelijk van de prompt activeert het taalmodel een of meer van dergelijke experts om de prompt te beantwoorden. Daardoor is het bij veel prompts zuiniger om de prompt te verwerken dan als voor elke prompt het hele taalmodel aan het werk moet.

Gemini 1.5 Pro is vanaf donderdag beschikbaar voor sommige zakelijke klanten. Een release voor alle zakelijke klanten en voor consumenten volgt later, maar Google zegt niet wanneer. De Gemini-software voor telefoons blijft voorlopig draaien op Gemini 1.0, ook de betaalde versie die Gemini Advanced heet.

Reacties (34)

[Jazco2nd]

De focus op input lijkt me toch vooral marketing priet praat. Belangrijker is de kwaliteit van responses lijkt me. Accuraat, volledig en zonder misinformatie.

[oCe]

Zeker niet. Met een kleiner input context-window raakt de AI op een gegeven moment data kwijt. Geheugen vol, dus schipperen. In langere gesprekken worden dan bv details vergeten. Of stukken / onderdelen van code. Meer tokens, voor zowel input als output, is dus absoluut van toegevoegde waarde. Je kan dan bv ook grotere bestanden laten analyseren. Of meerdere tegelijk.

[Reactie gewijzigd door oCe op 23 juli 2024 06:55]

[ultimasnake]

Jouw opmerking houdt net zo lang stand als Bill Gates ‘64k should be enough’… uiteindelijk wil je (in theorie) de hele bijbel erin kunnen gooien voor een juiste formulering/samenvatting ipv kleinere delen of enkele passages toch

[Jazco2nd]

Wat is daar dan concurrerend aan? Want dat is mijn punt. Google noemt niet hoe hun systeem performt in bekende testen voor LLMs. In plaats daarvan roepen ze hoeveel je kan invoeren in 1x.

Ik werk zelf met Coral en de limiet op invoer-in-1-keer boeit onze organisatie niet. Je kan namelijk net zovaak invoeren als je wil, voor RAG doeleinden.

[djwice]

ChatGPT kan nu tot 1GB eigen data als extra context mee nemen. (kost extra per request en ook tijdens het toevoegen er van).

Bij minder-token versie loop je bij bijna elke conversatie tegen de limiet aan.
En moet je dus informatie van de ene conversie overhevelen naar een nieuwe conversatie om eindelijk het antwoord zo te krijgen als je het wilt hebben.

Complexe vragen hebben vaak een dialoog nodig tot een antwoord, zeker als je correlaties in een deel van het antwoord wil laten terugkomen in een ander deel van het antwoord.

Denk aan iets simpels voor mensen:
Maak een formulier én verwerk de input van dat formulier.

Dat is heel lastig voor een GPT om in 1x in detail te doen binnen de token limiet. Daarom moet je dezelfde instructie in stappen geven zodat de GPT met minder active correlaties hoeft te werken.

[Reactie gewijzigd door djwice op 23 juli 2024 06:55]

[Terr-E]

https://quoteinvestigator.com/2011/09/08/640k-enough/

[ultimasnake]

Thanks!!! Interessant artikel, ken de quote ongeveer sinds in in de computers zat (1999?)…

[satya]

Bij verschillende testen over diverse werkdomeinen scoort AI hoger dan mensen als het gaat om accuratesse.

[Stin0]

De input van GPT-4 is momenteel maximaal 128k tokens, dus een verschil van ongeveer 8x.

[oCe]

Mits je GPT-4 Turbo gebruikt via de API, de webinterface zit nog steeds op non-Turbo met een 8k window (helaas).

[WaarAnders]

Heb je daar een bron voor? Ik lees berichten op Reddit dat het om 32k gaat?

[oCe]

https://platform.openai.c...els/gpt-4-and-gpt-4-turbo

Iets omlaag, context window. 32k window versie van 4 is nooit gereleased wegens komst 4 Turbo. Regulier 4 is 8k.

[Reactie gewijzigd door oCe op 23 juli 2024 06:55]

[WaarAnders]

Mogelijk begrijp ik je niet goed, maar ChatGPT webinterface zit op gpt4-turbo volgens Sam A.

https://twitter.com/sama/status/1723480961177010597?lang=en

[oCe]

Turbo zit in de Copilot webinterface, niet in ChatGPT's eigen: daar alleen via de API. Vraag ChatGPT zelf anders maar (mits je toegang tot 4 hebt via een Plus abonnement) of 'ie 4 of 4 Turbo is, tot waar z'n kennis gaat en hoe groot z'n context window is. Dan heb je de bevestiging

[SuperTweakerX]

Again, onzin. De modellen hebben niet perse kennis van “context windows” en van welke versie van de API ze precies op draaien.

https://imgur.com/a/v5iGAGA

[Reactie gewijzigd door SuperTweakerX op 23 juli 2024 06:55]

[oCe]

Geen onzin. Bekijk de link die ik naar de officiële OpenAI documentatie heb gepost maar eens.

[SuperTweakerX]

Onzin, de gpt-4-turbo die draait op de gpt4-versie van chatgpt heeft een context window van 32k, je kan de model slugs zien via inspect element.

Edit: proof
https://imgur.com/a/v5iGAGA

[Reactie gewijzigd door SuperTweakerX op 23 juli 2024 06:55]

[oCe]

"This model was never rolled out widely in favor of GPT-4 Turbo." aldus de officiële OpenAI-site.

[SuperTweakerX]

Volgens mij haal jij nu twee dingen door de war, GPT-4 32k en GPT-4-Turbo met een BEGRENSDE context length van 32k, de VOLLE gpt-4-turbo model (via de API) is 128k tokens, maar de versie van GPT-4-Turbo die mensen voorgeschoteld krijgen via ChatGPT (de betaalde versie) is “beperkt tot” 32k tokens in plaats van de volle 128k tokens.

[oCe]

Volgens mij lees jij de documentatie van OpenAI niet. Maar einde discussie: een inspect element is te editen, een invoerveld hoeft achter de schermen niet even groot te zijn/alle data te verwerken en documentatie kan achterhaald of foutief zijn. Wij zijn beiden geen OpenAI engineer dus 100% zekerheid kunnen we beiden toch niet bieden.

[WaarAnders]

Gemini 1.0 is 32k, flink verschil met versie 1.5.

Overigens suggereert het tweakers artikel dat de 1M tokens voor enterprise is, terwijl google het heeft over Enterprise en "developers". Die laatste groep is niet gespecificeerd geloof ik.

De 10M tokens kan nog niet via Vertex bereikt worden. Het Google artikel vermeld dat dit om research gaat, niet om productie

[Verwijderd]

Leuke strijd tot nu toe tussen openai en google gemini, dit zal leiden tot meer development dan eerst

[Mic2000]

[semi off topic]
Dit zijn echt mooie ontwikkelingen... Nog een paar jaartjes en ik wordt zzp'er met alleen maar virtuele medewerkers in dienst. Ik heb dan overleg met mijn virtuele medewerkers met wat ze moeten ontwikkelen... Klinkt onwaarschijnlijk... Maar is het niet.

[/semi off topic]

[Reactie gewijzigd door Mic2000 op 23 juli 2024 06:55]

[HenkEisDS]

Wie gaat je inhuren dan?

[ilaurensnl]

ChatGPT

[WaarAnders]

Variatie op de Melkert-baan

[Mic2000]

Andere virtuele zzp'ers 😅

[AJediIAm]

Klinkt als een best case scenario. Wie weet rapporteer ik over een paar jaar aan mijn AI overlord-baas. Klinkt met zo onwaarschijnlijk maar is het evenmin.

[Currry]

Wat ik zo niet duidelijk krijg. OpenAI is getraind tot 2 jaar terug. Die loopt dus, waar van toepassing, achter op de actualiteit. Hoe zit dit bij Gemini, is Google actueler? Dat lijkt me toch een behoorlijke winst namelijk, meer dan 4x meer tekens imho.

[oCe]

GPT-4 heeft kennis tot september 2021, GPT-4 Turbo tot april 2023.

[djwice]

Ze kiezen een dataset van https://commoncrawl.org/ om de GPT te trainend.

[djwice]

Je kunt nieuwe data gewoon toevoegen tijdens de chat. Dus bijvoorbeeld de voetbal uitslagen, en de personen die op welk tijdstip scoorde van afgelopen jaar.
En dan een vraag er over stellen.

[djwice]

@Andrei Stiru Ik kreeg prive op 10 februari een mailtje en kan nu gewoon Gemini gebruiken.

[TwaalfdeMan]

Google voelt de hete adem van OpenAI (ChatGPT).