Microsoft brengt twee nieuwe versies van taalmodel Phi-4 uit

Microsoft heeft twee nieuwe versies van zijn Phi-4-taalmodel uitgebracht. Het gaat om Phi-4-mini, dat alleen met tekst kan werken, en een multimodal-variant, die ook met visuele en audio-input om kan gaan.

Beide versies zijn verschenen onder een MIT-licentie. Phi-4-multimodal is het eerste taalmodel dat tekst, visuele input en spraak combineert in een enkele architectuur, zegt Microsoft. Al deze input kan daardoor tegelijkertijd verwerkt worden, zonder dat hier complexe pijplijnen of aparte modellen voor nodig zijn. Phi-4-multimodal bevat 5,6 miljard parameters en moet betere spraakherkenning, vertalingen, samenvattingen, begrip van audio en beeldanalyse bieden.

Phi-4-mini kan alleen tekst verwerken en is met 3,8 miljard parameters een stuk kleiner. Dit model vereist volgens Microsoft minder krachtige hardware en heeft een hogere verwerkingssnelheid. Beide modellen zijn echter compact genoeg om in omgevingen met beperkte rekenkracht te werken, zoals mobiele apparaten. Bovendien kunnen ze op het apparaat zelf gedraaid worden, zegt Microsoft. "Doordat ze minder rekenkracht nodig hebben, zijn ze een goedkopere optie met betere latency." Phi-4-multimodal en Phi-4-mini zijn beschikbaar in de Azure AI Foundry, HuggingFace en Nvidia's api-catalogus.

Update 10.36 uur: Er stond dat de decoder-only transformer anders werkt dan veel andere taalmodellen. Dat klopt niet, het werkt anders dan encoder-transformers. Het artikel is daarop aangepast.

Reacties (17)

[BramVroy]

De nieuwe release geeft me toch weer kriebels om een nieuwe Fietje te trainen. (Helaas even geen compute ter beschikking om het goed te doen.)

[Reactie gewijzigd door BramVroy op 27 februari 2025 10:39]

[JJDN]

Wat heb je qua hardware op dit moment nodig om dit te trainen? RTX A6000 (ADA)? Of nog zwaarder geschut?

[BramVroy]

Om Fietje te trainen op 28 miljard Nederlandstalige tokens gebruikte ik 16x A100 80GB voor twee weken (16x14x24 = 5376 GPU-uren). Merk op dat dit dus maar de "kleine" stap is om het model te verbeteren in het Nederlands. Het basismodel is natuurlijk veel langer op veeeeeeeel meer GPUs getraind. (Bv. Llama 3.1 8B had 1,46 miljoen GPU-uren nodig.)

[SPvanG]

Het nieuwe Phi-4-multimodal-instruct model ondersteunt overigens ook Nederlands (https://huggingface.co/microsoft/Phi-4-multimodal-instruct). Al zou ik een nieuw Fietje model zeker waarderen!

[Reactie gewijzigd door SPvanG op 27 februari 2025 20:00]

[BramVroy]

Helaas is er vaak een verschil tussen "ondersteunen" en vlot kunnen communiceren in die taal. Daarbij komt ook nog een beperkte kennis van taal en cultuur. Dus wat bijtrainen doet meestal wel goed.

[Superstoned]

Zijn de trucjes die deepseek introduceerde ook nuttig voor jouw, kun je daarmee resources besparen bij het trainen?

[DonMozes]

Heel gaaf
Hoop dat BREIN niet meteen in je nek zit hiervoor, mits je besluit dit door te zetten..

[BramVroy]

Voor het trainen van Fietje-2 heb ik geen Gigacorpus of andere dergelijke materialen gebruikt, dus dat zou geen probleem mogen zijn.

[DjoeC]

"Kunnen lokaal gedraaid worden". Betekent dat dat er GEEN verbinding met MS of wie dan ook wordt gelegd?

[BramVroy]

Exact. Als je LLMs lokaal draait kan je je internet afsluiten en alles blijft gewoon werken. Er wordt geen data verstuurt. Kijk bv. Eens naar LM Studio om modellen lokaal te gebruiken.

[nout77]

Correct! Volledig offline te gebruiken.
Zie ook de linkjes in andere comments waar je dit model kunt downloaden of uitproberen.

[Reactie gewijzigd door nout77 op 27 februari 2025 13:48]

[djexplo]

Je kan hier spelen met Phi 4 Mini. Of je kan natuurlijk GPT4ALL installeren, en lokaal 1 van de Phi netwerken uit proberen, zelfs op mijn laptop met beperkte GPU werken deze modellen nog redelijk.

[Umbrah]

En ze staan ondertussen ook al voor download/integratie op huggingface:

https://huggingface.co/spaces/microsoft/phi-4-mini

https://huggingface.co/models?search=phi-4-mini

[- peter -]

Phi4 was voor mijn doeleinden (XML/JSON data naar Kotlin code classes converteren) t meest nuttige toen ik verschillende modellen testte. Zal die mini ook eens uitproberen. Best leuk model. Alleen vreemd dat op de Copilot+ ARM laptops er geen mogelijkheid is om ze out of de box te draaien op de NPU. Moest een speciaal wat obscuur programma dat die NPU support zoeken.

[Reactie gewijzigd door - peter - op 27 februari 2025 11:35]

[SilentDecode]

Enne.. Draait dat ook op een Phi co-processor dan? Want dat zou gaaf zijn..

/s

[forclanz]

Wie weet er wat over wanneer co-pilot nou eens echt slim wordt….? Nu is hij nog zoveel dommer dan GPT. In vrijwel alles.

[Slyceth]

AI gegenereerde text is ZO normaal geworden dat we het gewoon "taal-model" noemen. Wauw!