OpenAI maakt GPT-4-api beschikbaar voor betalende ontwikkelaars

OpenAI heeft GPT-4 beschikbaar gesteld voor ontwikkelaars, in de vorm van zijn api. GPT-4 werd al gebruikt door een aantal bedrijven om code, beeld, video, muziek en combinaties daarvan te maken en ChatGPT 4 was ook al beschikbaar.

"Vandaag krijgen alle ontwikkelaars [die de api willen gebruiken] met een voorgeschiedenis van succesvolle betalingen toegang tot de GPT-4-api met 8K-context," schrijft het bedrijf in een blogpost. Later deze maand zal OpenAI meer ontwikkelaars toegang geven tot de api en moeten rate limits omhooggaan, afhankelijk van hoeveel rekenkracht beschikbaar is.

Deze versie van het GPT-taalmodel werd eerder al gebruikt voor Microsofts Security Copilot en Github Copilot en om profielen te laten maken op LinkedIn. Taallesapp Duolingo heeft met behulp van GPT-4 een 'AI-leraar' gemaakt.

Op basis van de 'stabiliteit en paraatheid van deze modellen' worden ook de api's van GPT-3.5 Turbo, Dall-E en Whisper beschikbaar gemaakt voor een breder publiek. Oudere modellen op basis van GPT-3, zoals ada, babbage en curie, worden juist buiten gebruik gezet om rekenkracht te besparen. Deze worden wel vervangen door nieuwe modellen, maar ontwikkelaars zullen wat aanpassingen in hun api-configuraties moeten doorvoeren.

Reacties (39)

[Dannydekr]

Ik ben 1 van de gelukkigen die al maanden terug in de week van de aankondiging toegang heeft gekregen voor m’n applicatie. GPT4 is een dusdanige game changer voor ons geweest dat de (toen gratis) applicatie zonder enige vorm van marketing duizenden gebruikers heeft aangetrokken.

[MennoE]

Gaaf! Hoe pas je het toe dat het een game changer is?

[Dannydekr]

Een specifieke tool voor marketeers met een focus op neuromarketing. Dat laatste is aardig complex omdat je die marketing materie a) 100% moet kunnen begrijpen en b) echt integraal moet kunnen toepassen in de output. GPT3.5 kon dit beperkt. Vaak goed, maar soms ook een flinke flater. GPT4 kan het op een niveau waarbij de output dusdanig goed is dat het enorm veel werk van content marketeers uit handen kan nemen.

De tool wordt inmiddels gebruikt door content teams van hele grote Nederlandse bedrijven. Energiemaatschappijen tot grote retailers en we krijgen voor het overgrote deel hele positieve reacties. Heb nu ook een functie gebouwd waarbij je je eigen tone of voice kunt gebruiken voor de output wat het nog beter maakt dan het al was. GPT3.5 kan dit allemaal net niet goed genoeg om er een geloofwaardige professionele propositie van te maken.

[BramVroy]

Ik zit in het vak, aan de technische zijde. Recent nog een gefinetunede versie van Falcon 40B uitgebracht voor NL. Uiteraard vind ik het dus supertoffe materie vanuit een technisch standpunt. Menselijke taal kunnen modelleren is een geweldige uitdaging (al is het nu relatief eenvoudiger dan vroeger als je de compute hebt).

Ik zeg dat omdat ik hierbij natuurlijk de kracht van deze modellen inzie en dat het voor veel zaken een positieve impact heeft, maar dat ik het toch ook een beetje jammer vind dat de menselijke rol in bepaalde creatieve functies vervangen of versimpeld wordt. Van leuke blog posts tot slimme marketing tot creatieve cv's tot opening scenes voor triple A tv-series (vision). Ik vind het toch telkens een pak minder indrukwekkend als ik weet dat het niet door mensen is gemaakt.

En ik weet het wel - daarvoor dienen de tools toch net, en misschien besef ik het vaak niet of iets nu wel of niet door een mens gemaakt is (of een combinatie), en is het niet hypocriet dat ik er me aan stoor als ik zelf zulke modellen ontwikkel? Maar toch kan ik dat gevoel van teleurstelling nog niet van me afschudden. Menselijke creativiteit is iets moois en uniek dus ik hoop dat we als mens er een mooie invulling en waardering voor kunnen blijven vinden.

[Reactie gewijzigd door BramVroy op 22 juli 2024 15:51]

[Dannydekr]

Heel gaaf dat je Falcon 40B hebt gefinetuned voor NL! Welk niveau schat je hem op in?

[BramVroy]

Ik zou geen te hoge verwachtingen hebben! Soms doet ir het goed, soms gaat ie volledig de mist in. Ik ga nu met vakantie maar daarna breng ik een 40B chat model uit dat nog veel beter zou moeten zijn. Merk wel op dat ik op synthetische data getraind heb en dat je de modellen dus niet commercieel mag gebruiken. (Er bestaat nl. amper NL instruct data.)

Het probleem is dat we voor generative LLMs geen goede evaluatiemethoden/benchmarks hebben dus het is moeilijk in te schatten hoe goed een model is.

[Weicool]

Hoe bedoel je geen goede benchmarks? Er zijn toch een heleboel Evals en Eval papers… ah, ik denk zelf dat de GPT-4 en DeepMind models zo goed zijn dat ze de enige models zijn die er echt toe doen!

[Reactie gewijzigd door Weicool op 22 juli 2024 15:51]

[BramVroy]

Ik heb het over het Nederlands

[Weicool]

Ik had nog wat Evals voorbij zien komen over Nederlandse rijmwoorden en verkeerd gespelde Nederlandse woorden: https://github.com/openai/evals/pulls?q=Dutch

[BramVroy]

Een mooi begin, thanks!

[martijnwieling]

Daar wordt wel aan gewerkt: https://arxiv.org/abs/2305.13026. Prompt engineering zorgt uiteraard voor een extra laag van variabiliteit, maar deze benchmark zorgt er voor het Nederlands in ieder geval wel voor dat er iets te evalueren is. (Ik ben een van de auteurs.)

[BramVroy]

Fijn! Als ik het abstract lees gaat dit over typische taken voor encoder-only models en niet generative (enc-)decoder models zoals er nu hele evaluation harnesses voor Engelse generative modellen bestaan. Klopt dat?

[Reactie gewijzigd door BramVroy op 22 juli 2024 15:51]

[martijnwieling]

Klopt inderdaad helemaal. Dat betekent overigens niet dat sommige van deze taken niet ook relevant zijn voor generatieve modellen, zoals bijv. question answering.

[Enai]

Menselijke creativiteit is iets moois en uniek

Menselijke creativiteit is niets meer dan verbanden zoeken tussen opgedane kennis met als doel een resultaat te bereiken. Afhankelijk van de ratio tussen diepte en breedte bij het doorlopen van je mentale boom ben je "analytisch" of "creatief".

Meer moet je er niet achter zoeken. Meer is ook niet nodig voor deze apensoort om te overleven.

Wat betreft artistieke uitingen, die maken gewoon misbruik van de menselijke voorkeur voor bepaalde eigenschappen die veilige omgevingen gemeenschappelijk hebben (kleuren in fel zonlicht, glimmend stromend water, geluiden van onschuldige dieren) of voor zaken als symmetrie (teken van gezondheid in de medemens) of ritme (de hartslag van de moeder), enz. Alle kunst valt terug te brengen naar primaire instincten.

[Dnnk]

Het is me niet helemaal duidelijk waarom we het bij elk artikel over AI moeten hebben over hoe 'normaal', niet uniek en vooral snel te automatiseren dingen als creativiteit en "artistieke uitingen" zijn. Is het de bedoelingen dat we van die zaken de waarde opnieuw van gaan bepalen vanwege de komst van AI? En met welk doel precies?

[Enai]

We bepalen de waarde van alle menselijke vaardigheden op basis van wat het de maatschappij oplevert. Dat klopt.

[barefoot]

Netjes van je dat je je tool niet noemt, maar je hebt me nu wel nieuwsgierig gemaakt. Welke tool hebben we het over? Ik neem graag eens een kijkje.

[Dannydekr]

Brainvine

[Katsu]

Zelden een webpagina gezien met zoveel buzzwords.

[ddt15]

De doelgroep is marketeers.

[Dannydekr]

Door marketeers voor marketeers 🙂

[Anoniem: 80910]

Is dat een koppeling met open ai speciaal voor marketing en eigen betaalmuur met credits?

[passantr]

Wow, wat een gave tool!! Heb een paar testjes gedaan en ik word hier heel vrolijk van. Zit in een ander vakgebied maar schrijf regelmatig allerlei teksten.

Ik had direct een vraag over hoe de tool werkt, en verdraaid: Antonio kon die vraag real-time beantwoorden. Echt heel mooi.

[kuurtjes]

Zeer kwalijke zaak wat jij aanhaalt.

[cs-tweak]

Cool! Kun je zeggen welke tool of via welk bedrijf je dit aanbied?

[Darth TNT]

Yellow grape.
Ik zit ook in het vak en had de nieuwsberichten al langs zien komen. Interessant om zo een reactie op tweakets te zien.

[Dannydekr]

Gelanceerd vanuit Yellowgrape voor onze agency (intern gebruik), maar al snel ook gratis voor onze klanten en toen gratis voor iedereen. Maar de userbase en tool begonnen hele serieuze vormen aan te nemen. Daarom onlangs de tool omgetoverd tot Brainvine, losgekoppeld van Yellowgrape.

[Anoniem: 1617016]

Wat dystopisch! Maar bedankt voor de inzichten

[Jerie]

Ik gebruik middels mods al maanden GPT-4 via een OpenAI API. Kost ook gewoon geld. Wat is het verschil? Krijgt Duolingo volume korting?

[sdziscool]

Mods probeert gpt-4 te gebruiken maar valt terug naar 3.5 als je API key er geen toegang toe heeft, misschien dat je toch verkeerd zat?

[crazyboy01]

Enig idee of dat ook zo is met gpt4free? N.a.v. wat berichten op Tweakers dat project een aantal keer gebruikt, maar ik vind de antwoorden die ik via die webinterface krijg niet heel denderend. Eigenlijk geen enkel verschil met chat.openai.com. Natuurlijk snap ik dat de toepassingsmogelijkheden veel uitgebreider zijn, maar ik zou toch verwachten dat de antwoorden in chatvorm ook iets beter zouden zijn... En zeker dat bv heel simpele code er wél eens werkend uitrolt. Ik had in ieder geval niet het idee dat het legit was wat je via de officiële weg krijgt, maar ik heb me naast het gebruik totaal niet in het project verdiept.

[King4589]

Waar gebruik je het dan voor? Ik heb nog niet echt een toepassing gevonden waar het mij nuttig lijkt om in/om huis toe te passen

[Jerie]

@Stetsed maakt een goed punt mbt privedata en bedrijfsdata. Maar je kunt bijvoorbeeld met cURL een publieke bron aanspreken (bijvoorbeeld een andere API), en die dan bijvoorbeeld laten samenvatten. Zo kun je uit een API het weer trekken, en door GPT laten omzetten in begrijpelijke text (zelfs in het Nederlands).

Wat je ook kunt doen is een Russisch filmpje binnenharken met yt-dlp, hier het geluid uit parsen, deze vervolgens door whisper.cpp (of dus door OpenAI want het is al publiek) omzetten naar speech, en die vervolgens door vertalen vanaf de CLI.

En op je werk kun je vast wel regelen dat er een workstation komt met een paar dikke GPUs, puur voor dit soort zaakjes lokaal draaien

[Stetsed]

Het heeft in mijn opinie niet veel gebruiks wijze maar is gemaakt om dingen in je terminal snel te kunnen begrijpen, maar beetje het ding is dat je tokens moet gaan tellen want als je bijvoorbeeld een paar grote files erin gooit gaat het je openeens heel wat kosten. En je moet ook uitkijken met gevoelige data want je stuurt het naar openai, je kan het ook via LocalAi op je eigen PC/Server runnen maar tenzij je een GPU hebt om een hooge kwaliteit model of te draaien is dit ZEEEER langzaam

In theorie een leuk idee maar in de praktijk zie ik niet veel tijden wanneer ik het zou gebruiken in de terminal.

[Reactie gewijzigd door Stetsed op 22 juli 2024 15:51]

[svenk91]

Misschien goed om te vermelden dat dit enkel het gebruik van het foundation model betreft, je kan GPT-4 en 3.5 nog niet zelf fine-tunen (het verder trainen van het model op data die je zelf aanlevert). Het meest krachtige model dat je kan fine-tunen blijft GPT-3 Davinci van wat ik begrijp. Mogelijk zal dit dan davinci-002 worden, maar dat vermelden ze niet.

Het deprecaten van de oudere modellen gebeurd trouwens pas over een half jaar, het is niet zo dat je API nu in eens niet meer werkt.

De pricing is verder hier te vinden voor geïnteresseerden: https://openai.com/pricing
Je input naar GPT-4 met 8k-context sturen kost ongeveer 0.03 USD per 1000 tokens, de output kost zo'n 6 cent per 1000 tokens (vuistregel: 750 woorden zijn zo'n 1000 tokens, teksten met veel complexe/zeldzamere woorden hebben meer tokens nodig dan teksten met voornamelijk simpele/veelvoorkomende woorden).
GPT-3.5 met 4k-context is 10-15x zo goedkoop voor respectievelijk input-output.
8k-context betekent dat je tot 8000 tokens in één verzoek kan gebruiken, 4k-context dat je tot 4000 tokens ken opsturen. 32K-context gaat dus leuk worden voor veel grotere documenten in één keer insturen/terugkrijgen.

[ovm]

Maar Chatgpt gebruikt toch data van 2 jaar terug? Hoe zit dat dan? Wordt dat nog aangepast?

[StCreed]

Voor actuele vragen kun je Google gebruiken. Maar voor taalmanipulatie hoef je geen actuele kennis te hebben, alleen heel veel kennis. Overigens denk ik dat ze wel actuele kennis gaan toevoegen op termijn, maar dat ze dat nu even niet als focus hebben gezien de juridische discussies.

[WaarAnders]

Als beginnende python programmeur gebruik ik de web chat versie soms om wat code uit te leggen of wat suggesties tijdens debug.

Biedt de api toegevoegde waarde voor mijn toepassing? Kan het bijvoorbeeld meerdere files bekijken en verbanden leggen?