Meta brengt Llama API-tool uit voor ontwikkelaars

Meta kondigt Llama API aan tijdens zijn eerste LlamaCon-evenement. Llama API is een tool voor ontwikkelaars om de Llama-modellen van de techgigant te gebruiken in diensten en apps. De tool is beschikbaar als beperkte gratis preview. Meta heeft nog geen prijzen gedeeld.

Llama API stelt ontwikkelaars in staat om hun modellen te verfijnen, beginnend bij Llama 3.3 8B. Ontwikkelaars kunnen eenvoudig api-sleutels aanmaken en aangepaste modellen testen met de evaluatietools van Meta. De techgigant benadrukt dat ontwikkelaars volledige controle over hun modellen hebben, zonder vast te zitten aan een specifieke api. Llama API biedt een lichtgewicht sdk in Python en Typescript, en is compatibel met de OpenAI-sdk.

Meta zegt dat het bedrijf geen prompts van de gebruiker of reacties van de modellen zal gebruiken om zijn Llama te trainen. "Als je klaar bent, kun je de modellen die je op de Llama API bouwt, meenemen waar je ze ook wilt hosten. We bewaren ze niet op onze servers", meldt Meta. Llama API is momenteel beschikbaar voor een kleine groep gebruikers en wordt in de komende weken en maanden breder uitgerold. Meta heeft een wachtlijst voor de preview.

Reacties (13)

[CH4OS]

Als Meta niets doet met de data (voor zolang dit in stand blijft), zal de betaalde API dan het enige verdienmodel zijn? Het voelt wat onwerkelijk, voor een product van Meta.

[djwice]

Llama en de ollama tool zijn al een paar jaar gratis beschikbaar, gewoon om te downloaden en lokaal, volledig geïsoleerd te draaien.
Ook de research papers op basis waarvan de modellen gemaakt worden, waaronder deze:
https://huggingface.co/papers/2302.13971

Zie ook:
https://huggingface.co/meta-llama

Ook de code waarmee het model te trainen is en te finetunen is openbaar en lokaal te draaien (mits je de hardware hebt natuurlijk).

Het zijn een van de meest gebruikte lokale modellen en tools.

Zowel Google als Meta als Huggingface investeren veel in AI onderzoek en standaardisatie van API's en veilige uitwisselings formaten. En stellen dat voor iedereen beschikbaar, zolang de lokale wet dat toe staat.

Erg gaaf, dus ik zou zeggen, koop veel snelle opslag en een flinke grafische kaart of GPU workstation en een flinke internet pijp en download de modellen (nu het nog kan).

Uiteraard hebben we ook modellen uit China, Frankrijk en Duitsland. En modellen uit Spanje, UK die zeer interessant zijn en lokaal draaien. Uit Nederland komen ook mooie modellen, denk bijvoorbeeld aan het model dat het beste is om vroegtijdig malaria te detecteren in bloed samples.

[Reactie gewijzigd door djwice op 30 april 2025 12:55]

[s0ulmaster]

Het zo aantrekkelijk mogelijk in de markt zetten, betaalbaar en geen data verzamelen.
Vervolgens meer en meer functionaliteiten achter premium subscriptions.
En daarna komt de data hoarding wel, als bedrijven zich er al aan gecommit hebben.

[kayjay]

Het zou me nou niet verbazen dat ze zelfs nu al data zouden verzamelen en gebruiken. Hun track record is nu niet bepaald spotless.

[rjmno1]

Vergaat niet dat ze best veel geprogrammeert hebben aan dingen die dagelijks gebruikt worden.
Meta is een mega bedrijf vergist je niet.

[CH4OS]

Daar vergis ik mij ook zeker niet in, ook als je ziet hoeveel medewerkers het heeft. Maar data vergaring en dat mondjesmaat verkopen, in de vorm van advertenties e.d. is ook het verdienmodel bij Facebook, net zoals bij Google.

[Christoxz]

zal de betaalde API dan het enige verdienmodel zijn?

Verdienmodel van wat exact?

[jsaturnus]

Ik denk dat Meta hiermee vooral probeert om snel marktaandeel te pakken in de overvolle AI-markt. Eerst gratis toegang, daarna komt het verdienmodel wel—misschien via premium tiers of stiekem toch data verzamelen.

Fijn dat ze beloven prompts niet te gebruiken, maar ik blijf sceptisch. Bij Meta draait het uiteindelijk om winst, dus ik verwacht dat de "gratis" fase niet eeuwig duurt. Voor nu is het een mooie kans om goedkoop te experimenteren, zolang je maar een exit-plan hebt.

[djwice]

Op 31 august 2017 publiceerde Google publiekelijk de techniek die later gebruikt zou worden voor LLM: https://research.google/b...r-language-understanding/
Op 30 november 2022 werd ChatGPT gelanceerd, met de belofte het open source te maken.
Op 27 februari 2023 werd de eerste - open source - llama versie gepubliceerd.
Op 9 augustus 2024 publiceert Google de verfijnde techniek om oneindig grote input te kunnen gebruiken voor een LLM:
https://arxiv.org/abs/2404.07143
Denk aan een hele video, een hele code base, honderden documenten etc.

En recent hebben veel taal modellen zo'n groot context window gekregen - als je GPU genoeg geheugen heeft om daar mee om te gaan.

Zo is internet ook ontstaan, dit is precies het doel wat internet ooit had: onbeperkt kennis delen en voor iedereen toegankelijk maken.

Gaaf toch, dat dit eindelijk weer terug komt. En dat de ultra rijke mensen het belangrijk vinden om dit beschikbaar te maken.

De een het onderzoek, de demo applicaties, de ander de getrainde modellen voor lokaal gebruik, en nog een ander een gehoste versie voor mensen zonder vette PC of server farm.
En nog een bunch die compute gratis beschikbaar maken om mensen zonder groot budget tóch mooie nieuwe toepassingen te laten ontwikkelen.

Gewoon fijne dingen doen die goed voor andere zijn, is goed genoeg. Zolang er andere inkomsten zijn die alle koste ln ruim dekken, geeft het energie.
En uiteraard wordt er op een gegeven moment wel een manier gevonden om er geld mee te verdienen.
Maar vast heel anders dan voorheen of wat je nu denkt. Ze zetten de AI bijvoorbeeld in om nieuwe dingen te bedenken, maken en te ontwikkelen, die (extreem) veel geld waard zijn.
En net als nu zal er iets zijn dat de bevolking rusting en in toom houdt.

[nout77]

Mooie opsomming van ontwikkelingen en wat je noemt in de laatste alinea zal zeker voorkomen. En hoop ik ook dat mensen en grote bedrijven dat zoveel mogelijk blijven doen.

Echter doet Meta dit vooral voor eigen gewin. Het zorgt ervoor dat concurrenten als Google en OpenAI minder omzet zullen maken met hun betaalde AI diensten. Je biedt namelijk een gratis alternatief. Door bij hun alvast potentiële klanten weg te snoepen hebben zij daar op termijn profijt van. Daarnaast met de jarenlange ontwikkeling van Llama heb je veel AI kennis is huis die ingezet kan worden in toekomstige Meta producten. Voor deze bedrijven is AI wel echt de toekomst.

[demianmonteverd]

Zijn er nog steeds restricties voor bedrijven en organisaties uit de EU? Ze gebruiken de modellen waar die restricties voor EU in de overeenkomsten stonden namelijk.

[djwice]

Die restricties bij de modellen lijken op het eerste gezicht slechts een indekking voor de EU AI-ACT.

We hebben hier naar mijn weten bijvoorbeeld geen "fair use"-beginsel in de wetgeving voor content van anderen.

Door alleen resultaten van een model (buiten de EU gehost) te geven is het een combinatie van de prompt van de EU inwoner en een soort van samenvatting van een zoekopdracht wellicht?

[Annihlator]

Beetje laat, Winamp whippt sinds 1997 al "The llama's ass"