Google brengt publieke preview uit van Gemini 1.5 Pro met een miljoen tokens

Google heeft een publieke preview uitgebracht van Gemini 1.5 Pro. Het model heeft de capaciteit tot input voor tot een miljoen tokens, veel meer dan AI-modellen tot nu toe. Google kondigde het model al eerder aan.

Gemini 1.5 Pro is beschikbaar binnen de zakelijke dienst Vertex AI, zegt Google op zijn Cloud Next-conferentie. Daarmee kunnen zakelijke klanten aan de slag met het model. Wanneer consumenten ermee kunnen gaan werken, zegt het bedrijf niet.

De versie is in staat om in een prompt video’s van 1 uur, codebestanden van 30.000 regels code, of teksten van meer dan 700.000 woorden in één keer te verwerken. Google werkt ook aan een versie die tien miljoen tokens in een keer kan verwerken. Dat kan via Vertex AI: de standaardversie van Gemini 1.5 Pro heeft 128.000 tokens als limiet.

Gemini 1.5 Pro moet verder ongeveer het niveau halen van Gemini 1.0 Ultra, het uitgebreidste model van de vorige generatie. Die kondigde Google in december aan. Een andere nieuwigheid is het gebruik van Mixture-of-Experts-architectuur. Dat bestaat uit meerdere kleinere modellen die ieder 'expert' zijn op een eigen gebied. Afhankelijk van de prompt activeert het taalmodel een of meer van dergelijke experts om de prompt te beantwoorden. Daardoor is het bij veel prompts zuiniger om de prompt te verwerken dan als voor elke prompt het hele taalmodel aan het werk moet.

Reacties (16)

[resistme]

Je kan op de site van bv Open AI zelf goed zien hoe dit werkt door het zelf te testen: https://platform.openai.com/tokenizer

Verdere feitjes

• Het is niet zo dat tokens vooral vast staan. Afhankelijk van hoe een zin loopt kan een woord 1 of uit meerdere tokens bestaan.
• Het is inderdaad zo dat tokens de limiet zijn. Net als dat een invoer veld soms een limiet heeft zijn tokens de limiet voor het model. Tokens worden vaak ook gedeelt tussen input en output
• Verder kennen veel modellen wel een verzwakking bij hele grote token input. Daarvoor gebruiken ze de needle in a haystack om dit te testen. In een hele grote tekst verstoppen ze een eigen input en ze kijken of ze in staat zijn die weer eruit te halen. Je ziet dat veel modellen in de laaste 80-90% van de data niet goed kunnen. Al claimen nieuwe modellen als deze Gemini dat probleem niet meer te hebben. Dat zou enorm belangrijk zijn omdat je zeker wil weten dat je modellen kan vertrouwen dat wat je ze vertelt je ze ook op kan bevragen.

Realiseer je dat voor elk woord dat een LLM genereerd het:

• Alle input tokens na leest
• zijn zojuist gescheven tekst terug leest
• Nieuw woord uit poept
• Start over

[Reactie gewijzigd door resistme op 22 juli 2024 13:20]

[dez11de]

In de context van large language models (LLMs) zijn tokens de stukjes tekst die het model leest en analyseert. Het is de grondstof waarmee een LLM werkt.

Hier is een diepere kijk op hoe tokens werken met LLMs:

Van tekst naar tokens: Voordat een LLM met tekst kan werken, moet die tekst eerst worden opgesplitst in tokens. Dit proces heet tokenization. Tokens kunnen hele woorden, stukken van woorden (subwords) of zelfs leestekens zijn. Sommige LLMs gebruiken technieken zoals Byte Pair Encoding (BPE) om woorden op te splitsen in kleinere, nuttige stukken.
LLMs en tokens: De LLM krijgt vervolgens deze reeks tokens te zien, één voor één. Op basis van de volgorde en relaties tussen de tokens, probeert de LLM te begrijpen waar de tekst over gaat en wat de volgende token zou kunnen zijn. Dit begrip helpt de LLM taken uit te voeren zoals:
Tekst genereren: De LLM kan nieuwe tekst creëren door de waarschijnlijkheid van de volgende token in de reeks te voorspellen.
Tekstvertaling: De LLM kan een reeks tokens in één taal vertalen naar een reeks tokens in een andere taal.
Vraagbeantwoording: De LLM kan door een reeks tokens scannen om relevante informatie te vinden en vragen te beantwoorden.
Context en tokens: De tokens die een LLM te zien krijgt, bepalen sterk hoe het reageert. LLMs hebben meestal een beperkte context window, wat betekent dat ze slechts naar een bepaald aantal tokens in het verleden kunnen kijken. Dit is waarom het belangrijk is om LLMs duidelijke en specifieke instructies te geven.
Kortom, tokens zijn de onmisbare bouwstenen voor LLMs. Ze vormen de basis voor hoe deze modellen taal kunnen begrijpen, gebruiken en genereren.