Microsoft introduceert 'klein' AI-taalmodel Phi-3 Mini getraind op AI-output

Microsoft heeft Phi-3 Mini aangekondigd, een klein taalmodel dat getraind is op door andere taalmodellen geschreven kinderboeken. Het begrip van het AI-model moet in lijn zijn met ongeveer GPT 3.5 van OpenAI.

Phi-3 Mini lijkt op moment van schrijven nog niet online te staan, maar Microsoft heeft de paper erover wel online gezet. Het gaat om een model met 3,8 miljard parameters. Dat is relatief weinig en dat heeft als voordeel dat het licht genoeg is om te draaien op laptops en smartphones. De trainingsdata kwam volgens Microsoft in een artikel van The Verge deels van het web en deels van door AI-chatbots gemaakte 'kinderboeken' met alleen de 3000 meest voorkomende woorden.

De bedoeling is om aan te tonen dat het door de juiste trainingsdata te gebruiken mogelijk is om met minder parameters een even krachtig model te bouwen en volgens Microsoft kan Phi-3 Mini op tegen GPT 3.5 en Mixtral. Die laatste heeft 45 miljard parameters.

De Mini-versie is de eerste in een serie van drie Phi-3-modellen die Microsoft wil uitbrengen. Daarnaast komen Phi-3 Small van zeven miljard parameters en Phi-3 Medium met veertien miljard parameters. Wanneer die uitkomen, is onbekend. Microsoft zet zijn Phi-modellen online op HuggingFace, maar ze zijn ook bruikbaar via Microsofts eigen cloudplatform Azure en desktopapp Ollama.

Het is onbekend wat Microsofts plannen zijn met Phi. Het gebruikt voor zijn CoPilot-producten doorgaans OpenAI's GPT-modellen, die het zelf nog traint voor de diensten waar Microsoft het model in integreert.

Reacties (17)

[djwice]

Wellicht wil Microsoft dit inzetten voor organisaties die nu CoPilot uit zetten, wellicht dat als CoPilot met dit Phi lokaal kan draaien er minder voorbehoud is om CoPilot in te zetten.

Als Cortana onder Windows 11 hiermee meer functies volledig lokaal kan draaien voor bepaalde taken, kun je de gebruiker ook een 'privacy vriendelijke' instelling bieden.

Ook zullen deze twee opties minder rekencapaciteit in de Azure datacentra vereisen, wat dan ingezet kan worden voor andere taken.

[Reactie gewijzigd door djwice op 22 juli 2024 15:12]

[Jo-W]

JetBrains heeft dit sinds kort voor zijn IDEs (2024.1). Het werkt volledig lokaal (100MB per taal), en best snel op mijn M3 macbook. Het gaat echter niet verder dan het aanvullen van een regel. https://blog.jetbrains.co...des-all-you-need-to-know/

Dit vind ik wel fijn want voor mijn werk is iets als copilot inderdaad niet toegestaan.

[Wimmie13]

Waarom zou dit meer 'privacy vriendelijk' zijn?

[Reactie gewijzigd door Wimmie13 op 22 juli 2024 15:12]

[djwice]

Omdat je dan de optie hebt om de data waarop de AI interactie maakt binnen je eigen computer te houden.

Dus hoeft er ook geen IP-adres, timestamp en metadata in logs opgeslagen te worden van de requests. En ook geen data snippets of hashes in de API debug log als er iets fout gaat. Idem voor diverse andere logs in de raid-limiter of firewall.

Een AI vertaald input vaak naar een model mapping (tokenize) en deze of die van het antwoord of een afgeleide er van wordt regelmatig in gedeelde caches gezet. Hierdoor kan informatie over queries van andere gebruikers worden afgeleid door andere gebruikers van dezelfde cache.

[Reactie gewijzigd door djwice op 22 juli 2024 15:12]

[Wimmie13]

Maar nergens lees ik dat deze op je PC staat en geen verbinding met Miscrosoft maakt om alsnog queries te versturen, of zie ik iets over het hoofd? Aangezien het van een grote gigant is geloof ik het nooit zo snel dat het goed om gaat met privacy.

[Reactie gewijzigd door Wimmie13 op 22 juli 2024 15:12]

[djwice]

Ik zou zeggen pak de code er gewoon bij:
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct

[ALittleTooLate]

Omdat alles lokaal op je eigen pc draait.

[eNaSnI]

Die je dan weer in moet loggen met een cloud account?

[sebastienbo]

Het voordeel van deze kleine LLM's is dat je ze ook op je gsm/mobieltje kan draaien.

Ik heb gisteren MLCChat gedownload op men android telefoon en heb PHI-2 er op gezet.
Dit model is maar 2GB groot en is even goed als LLAMA 2 - 70B of Mistral 7B

De LLM Phi-2 draait heel vlot op men gsm, en kan ongelofelijk veel antwoorden.
Persoonlijk gebruik ik het als een encyclopedie en voor zinnen naar spaans te vertalen of code te genereren.

[GeroldM]

Phi-2 net zo goed als Llama2 of Mistral Instruct?

Dan hebben jij en ik een heel andere definitie over de term 'goed'. Als ik om code voorbeelden vraag in mistral of Llama, dan trekken de tenen al krom. Met Phi is het nog erger gesteld.

Heel misschien dat Phi mee kan gaan als het over chat alleen gaat. Maar zodra je het serieus wil gaan gebruiken, dan vallen de 7B modellen tegen. En Phi met nog niet de helft van de inhoud helemaal.

Chat, dat interesseert me niet. LLM gebruik ik of serieus en anders is het de verbruikte resources en extra verstookte energie niet waard.

[FreezeXJ]

Ik vraag me af hoe goed het werken op gerecyclede data eigenlijk werkt. We weten inmiddels dat AI-modellen (LLMs hier) de neiging hebben om incoherente onzin te verkondigen, en als je dat dan weer als input gaat gebruiken vermoed ik dat er weinig nuttigs kan ontstaan. Garbage in - garbage out.

Als we daarnaast een beperkte woordenschat hebben, verwacht ik ook aangesproken te worden in kleutertaal, en daar kan ik slecht tegen. Wellicht dat dit goed werkt op de gemiddelde Windows-gebruiker?

[PolarBear]

Als we daarnaast een beperkte woordenschat hebben, verwacht ik ook aangesproken te worden in kleutertaal, en daar kan ik slecht tegen.

Heb je naar de screenshots gekeken?

Wellicht dat dit goed werkt op de gemiddelde Windows-gebruiker?

Als je het nu over kinderachtig hebt...

[GeroldM]

Mee eens.

Gebruik hier LM Studio om LLM's lokaal te draaien. Zo ook eens met Microsoft Phi-2. Ja het is klein. En het reageert vrij vlug. En mijn hemel, wat hallicuneert die LLM snel. Na het stellen van 1 vraag was het na 10 interacties een super-jaloerse vriendin met controle en 'daddy-issues'.

Zou willen dat dat een grap was, niet dus.

[BadRespawn]

We weten inmiddels dat AI-modellen (LLMs hier) de neiging hebben om incoherente onzin te verkondigen,

Coherent is het meestal wel. Wel veel onzin, maar het doel van een LM is alleen om taalkundig correct te zijn, van feiten heeft het geen benul.

[whiner]

het is net een tweaker

[djwice]

Als we daarnaast een beperkte woordenschat hebben, verwacht ik ook aangesproken te worden in kleutertaal, en daar kan ik slecht tegen.

Als ik kijk naar deze informatie
https://www.communicatier...richtlijnen/taalniveau-b1
zou je kunnen stellen dat een goede LLM tot C2 niveau input kan verwerken en altijd op B1 niveau (of A2 indien gepast) zijn output genegeerd.
Uiteraard aangevuld met terminologie die bekend is bij de doelgroep: Tweakers kan schrijven over GeForce RTX 4070 Super-videokaarten, op nu.nl vergt dat wellicht wat meer duiding.

[Reactie gewijzigd door djwice op 22 juli 2024 15:12]

[PainkillA]

ik ben nu al AI moe