Mistral heeft een nieuw AI-model geïntroduceerd: Mistral NeMo. Het taalmodel beschikt over 12 miljard parameters en kan maximaal 128.000 tokens per keer verwerken. Volgens de Franse AI-start-up presteert NeMo goed in elf verschillende talen.
NeMo maakt volgens Mistral gebruik van een nieuwe tokenizer, genaamd Tekken. Deze software verdeelt de tekstprompts in kleinere stukjes zodat het AI-model ze kan analyseren. Tekken zou ongeveer 30 procent efficiënter zijn in vergelijking met de SentencePiece-tokenizer die in voorgaande AI-modellen van het bedrijf is gebruikt. De Franse start-up claimt dat NeMo uitgebreid is gefinetuned en dat er sprake was van een geavanceerde 'uitlijningsfase'. Mede hierdoor, en het maximaal aantal van 128.000 tokens, zou het AI-model nog beter in staat zijn om nauwgezette instructies op te volgen, wisselende gesprekken te voeren en code te genereren. Ter vergelijking: de meeste AI-modellen van Mistral kunnen met maximaal 32.000 tokens per keer overweg. Dat blijkt uit een overzichtspagina van het bedrijf.
Mistral schrijft dat NeMo 'sterk' is in het Engels, Frans, Duits, Spaans, Italiaans, Portugees, Chinees, Japans, Koreaans, Arabisch en Hindi. Het taalmodel zou echter wel op meer dan 100 talen getraind zijn. Het nieuwe AI-model werd in samenwerking met Nvidia ontwikkeld en is opensource gemaakt onder een Apache 2.0-licentie.