Google brengt publieke preview uit van Gemini 1.5 Pro met een miljoen tokens

Google heeft een publieke preview uitgebracht van Gemini 1.5 Pro. Het model heeft de capaciteit tot input voor tot een miljoen tokens, veel meer dan AI-modellen tot nu toe. Google kondigde het model al eerder aan.

Gemini 1.5 Pro is beschikbaar binnen de zakelijke dienst Vertex AI, zegt Google op zijn Cloud Next-conferentie. Daarmee kunnen zakelijke klanten aan de slag met het model. Wanneer consumenten ermee kunnen gaan werken, zegt het bedrijf niet.

De versie is in staat om in een prompt video’s van 1 uur, codebestanden van 30.000 regels code, of teksten van meer dan 700.000 woorden in één keer te verwerken. Google werkt ook aan een versie die tien miljoen tokens in een keer kan verwerken. Dat kan via Vertex AI: de standaardversie van Gemini 1.5 Pro heeft 128.000 tokens als limiet.

Gemini 1.5 Pro moet verder ongeveer het niveau halen van Gemini 1.0 Ultra, het uitgebreidste model van de vorige generatie. Die kondigde Google in december aan. Een andere nieuwigheid is het gebruik van Mixture-of-Experts-architectuur. Dat bestaat uit meerdere kleinere modellen die ieder 'expert' zijn op een eigen gebied. Afhankelijk van de prompt activeert het taalmodel een of meer van dergelijke experts om de prompt te beantwoorden. Daardoor is het bij veel prompts zuiniger om de prompt te verwerken dan als voor elke prompt het hele taalmodel aan het werk moet.

Reacties (16)

[ikkuhisperry]

Ik lees in zulke verhalen over llm's vaak dat er gesproken wordt over tokens? In dit geval een miljoen, een uur video, 30 duizend regels code, 700 duizend woorden. Moet ik voorstellen dat het aantal tokens maakt met hoeveel data de ai overweg kan?

[resistme]

Je kan op de site van bv Open AI zelf goed zien hoe dit werkt door het zelf te testen: https://platform.openai.com/tokenizer

Verdere feitjes

• Het is niet zo dat tokens vooral vast staan. Afhankelijk van hoe een zin loopt kan een woord 1 of uit meerdere tokens bestaan.
• Het is inderdaad zo dat tokens de limiet zijn. Net als dat een invoer veld soms een limiet heeft zijn tokens de limiet voor het model. Tokens worden vaak ook gedeelt tussen input en output
• Verder kennen veel modellen wel een verzwakking bij hele grote token input. Daarvoor gebruiken ze de needle in a haystack om dit te testen. In een hele grote tekst verstoppen ze een eigen input en ze kijken of ze in staat zijn die weer eruit te halen. Je ziet dat veel modellen in de laaste 80-90% van de data niet goed kunnen. Al claimen nieuwe modellen als deze Gemini dat probleem niet meer te hebben. Dat zou enorm belangrijk zijn omdat je zeker wil weten dat je modellen kan vertrouwen dat wat je ze vertelt je ze ook op kan bevragen.

Realiseer je dat voor elk woord dat een LLM genereerd het:

• Alle input tokens na leest
• zijn zojuist gescheven tekst terug leest
• Nieuw woord uit poept
• Start over

[Reactie gewijzigd door resistme op 22 juli 2024 13:20]

[DvanRaai89]

Realiseer je dat voor elk woord dat een LLM genereerd het:

Alle input tokens na leest
zijn zojuist gescheven tekst terug leest
Nieuw woord uit poept
Start over

Zou je ons het plezier doen hier wat meer over willen vertellen?
Wat bedoel je hier precies met 'woord'? token?
Wat voor betrekking heeft dit op de verschillende LLM-architecturen? Decoder only, encoder-decoder en encoder only? GPT vs BERT-achtige modellen.

[Reactie gewijzigd door DvanRaai89 op 22 juli 2024 13:20]

[OruBLMsFrl]

Je ziet dat veel modellen in de laaste 80-90% van de data niet goed kunnen. Al claimen nieuwe modellen als deze Gemini dat probleem niet meer te hebben. Dat zou enorm belangrijk zijn omdat je zeker wil weten dat je modellen kan vertrouwen dat wat je ze vertelt je ze ook op kan bevragen.

Zeker inzichtvol en belangrijk. Tegelijk blijven het enkel maar voorspellende taalmodellen die er lustig op los kunnen hallucineren. Programmeercode volgt vaak op elkaar, met andere woorden kan compleet fout zijn voor complexere of heel specifieke scenario's omdat die niet vaak voorbij komen online.
Het blijft paradoxaal die LLM's. Ze kunnen goed de dingen die mensen ook goed kunnen, maar het nakijken om enkele foutjes in verder een acceptabele grote woordenbrij te vinden is voor mensen ook al snel saai en daarmee minder succesvol ook bij mensen. Uiteindelijk denk ik dan, worden de slimmen nog slimmer en de dommen nog dommer/afhankelijker.
Voor die LLM bouwers prima natuurlijk, als je zaken kan blijven doen met 50-75% die afhankelijk zijn van je product en nog eens 20% het wel handig vindt af en toe, maakt zakelijk dat bovenste restant van de markt ook niet uit.

[Reactie gewijzigd door OruBLMsFrl op 22 juli 2024 13:20]

[dez11de]

In de context van large language models (LLMs) zijn tokens de stukjes tekst die het model leest en analyseert. Het is de grondstof waarmee een LLM werkt.

Hier is een diepere kijk op hoe tokens werken met LLMs:

Van tekst naar tokens: Voordat een LLM met tekst kan werken, moet die tekst eerst worden opgesplitst in tokens. Dit proces heet tokenization. Tokens kunnen hele woorden, stukken van woorden (subwords) of zelfs leestekens zijn. Sommige LLMs gebruiken technieken zoals Byte Pair Encoding (BPE) om woorden op te splitsen in kleinere, nuttige stukken.
LLMs en tokens: De LLM krijgt vervolgens deze reeks tokens te zien, één voor één. Op basis van de volgorde en relaties tussen de tokens, probeert de LLM te begrijpen waar de tekst over gaat en wat de volgende token zou kunnen zijn. Dit begrip helpt de LLM taken uit te voeren zoals:
Tekst genereren: De LLM kan nieuwe tekst creëren door de waarschijnlijkheid van de volgende token in de reeks te voorspellen.
Tekstvertaling: De LLM kan een reeks tokens in één taal vertalen naar een reeks tokens in een andere taal.
Vraagbeantwoording: De LLM kan door een reeks tokens scannen om relevante informatie te vinden en vragen te beantwoorden.
Context en tokens: De tokens die een LLM te zien krijgt, bepalen sterk hoe het reageert. LLMs hebben meestal een beperkte context window, wat betekent dat ze slechts naar een bepaald aantal tokens in het verleden kunnen kijken. Dit is waarom het belangrijk is om LLMs duidelijke en specifieke instructies te geven.
Kortom, tokens zijn de onmisbare bouwstenen voor LLMs. Ze vormen de basis voor hoe deze modellen taal kunnen begrijpen, gebruiken en genereren.

[Creesch]

Daar komt het inderdaad grofweg wel op neer. Tokens zijn individuele onderdelen van een tekst die een LLM kan verwerken. Tokens kunnen overigens vanalles zijn, afhankelijk van het ontwerp van het model. Worden, gedeelte van worden, leestekens, etc.

Er is inderdaad een limiet aan tokens die modellen kunnen verwerken. Vaak wordt er gesproken over de "context" die een LLM kan onthouden.

[Mellow Jack]

Het is ook de eenheid waarvoor je betaald

[Erhnam]

Ja. Een token is een fragment van een woord of stuk tekst, stukje audio of video. Hoe meer tokens, hoe meer data een model kan verwerken.

[Ht87]

Je zou met een miljoen tokens bijvoorbeeld een (stuk) boek kunnen inladen over bepaald onderwerp en de AI daar vragen over kunnen stellen. Hoe meer tokens mogelijk zijn, hoe meer informatie je kunt invoeren om input uit te krijgen.

[martijnvanegdom]

Bekijk eens deze playlist:
https://www.youtube.com/w...TQDNU6R1_67000Dx_ZCJB-3pi

3Blue1Brown heeft een uitstekende uitleg online zet, meet heel informatie over hoe de generieke concepten werken. Dus ook wat (input) tokens zijn, hoe dat werkt etc.

[Reactie gewijzigd door martijnvanegdom op 22 juli 2024 13:20]

[Creesch]

Hoewel de playlist ongetwijfeld informatief is, deze is ook twee uur lang. Wat een beetje over the top is als antwoord op een vrij specifieke vraag.

[TilDan]

Gewoon even laten samenvatten door ChatGPT dan

[walletje-w]

Daar heb ik niet genoeg tokens voor

[nout77]

Dat gaat hard opeens bij Google. In december het topmodel met 128k tokens, nu een preview voor 8x zo veel!

Deze zal dan waarschijnlijk ook wel beschikbaar komen (op termijn) voor de iPhone gebruikers, aangezien Apple in zee is gegaan met Google voor hun AI model.

Ik ben erg benieuwd hoe deze presteert tov GPT4 turbo en wanneer deze in Europa voor consumenten beschikbaar gaat komen. Het bevragen van PDF bestanden wordt dan een fluitje van een cent.

[Vibonacci]

Jammer dat Nederland weer eens niet supported is voor de preview.

https://ai.google.dev/available_regions

Het is goed dat de EU Apple eindelijk eens forceert hun illegale praktijken aan te passen, maar voor dit soort situaties is het dan ineens weer een enorm nadeel dat je veel later of niet toegang hebt tot nieuwe technieken.

[Ghxst]

Inderdaad erg jammer, dit was ook het geval met Claude 3 al werkt de API / workbench gelukkig wel, en AWS Bedrock voor de Sonnet en Haiku models ook.

Als iemand een third party aggregate weet waar Gemini 1.5 Pro beschikbaar in is hoor ik het graag.