OpenAI komt met betaalde api voor ChatGPT

OpenAI heeft een betaalde api uitgebracht voor ChatGPT. Ontwikkelaars kunnen daarmee zowel ChatGPT als spraakherkenningsalgoritme Whisper integreren in hun eigen producten. De api is deel van het toekomstige verdienmodel van het AI-bedrijf.

Ontwikkelaars kunnen via de api altijd de recentste versie van ChatGPT gebruiken, schrijft OpenAI, maar standaard zitten zij op versie gpt-3.5-turbo. Als er in de toekomst nieuwe versies uitkomen, dan kunnen ontwikkelaars ervoor kiezen die nieuwe modellen te implementeren. Ontwikkelaars komen altijd alleen op een stable release te zitten. Voor Whisper kunnen ze versie large-v2 gebruiken.

OpenAI vraagt 0,002 dollar voor iedere duizend 'tokens' naar de api. Daarmee is de api veel goedkoper dan de GPT-3.5-model-api, die voor dezelfde tokens 0,02 dollar kostte. OpenAI vraagt geen geld per call naar de api, maar heeft een eigen tokenmodel. Daarbij worden tekst en metadata omgezet naar een formaat dat dan wordt omgezet naar tokens.

Samen met de api maakt OpenAI het ook mogelijk voor ontwikkelaars om een dedicated instance te reserveren op Azure zodat ze meer controle krijgen. Normaal draait ChatGPT nog op gedeelde instances op Azure waarbij alle gebruikers individueel per token betalen, maar met de nieuwe api is het mogelijk een bepaalde instance te reserveren. In dat geval kunnen ontwikkelaars aan load balancing doen, limieten instellen en snapshots maken. Volgens OpenAI is dat vooral interessant voor ontwikkelaars die meer dan 450 miljoen tokens per dag gebruiken.

Met de introductie van de betaalde api verandert OpenAI ook een deel van het beleid. Zo wordt data die uit de api wordt gehaald niet langer gebruikt om het model te trainen. Ook wordt de bewaartermijn voor api-data ingekort naar dertig dagen en voert OpenAI geen review meer uit voordat een bedrijf de api in de praktijk brengt.

OpenAI werkt al enkele maanden met bedrijven die de api konden testen, al dan niet in bèta. Het bedrijf noemt Snapchat als voorbeeld van een dienst waar de api werkt; Snapchat kondigde eerder deze week aan met een eigen AI-functie te komen. OpenAI ziet de api waarschijnlijk als een van de belangrijkste verdienmodellen voor de toekomst; momenteel ontvangt het bedrijf veel geld van investeerders en heeft het een miljardendeal gesloten met Microsoft. Een betaalde api kan een duurzamer verdienmodel betekenen.

Reacties (75)

Impact kan enorm worden, als je ziet welke toepassingen OpenAI zelf allemaal ziet, https://platform.openai.com/examples

@Tijs Hofmans Ik heb vanochtend hierover de nieuwsbrief van OpenAI ontvangen en daar staat iets anders in dan in dit nieuwsbericht, namelijk dat het om twee API's gaat:

ChatGPT API

The new Chat API calls gpt-3.5-turbo, the same model used in the ChatGPT product. It’s also our best model for many non-chat use cases; we’ve seen early testers migrate from text-davinci-003 to gpt-3.5-turbo with only a small amount of adjustment needed to their prompts. Learn more about the Chat API in our documentation.

Pricing
It’s priced at $0.002 per 1K tokens, which is 10x cheaper than the existing GPT-3.5 models.

Whisper API

We’ve been thrilled to see the community response to Whisper, the speech-to-text model we open-sourced in September 2022. Starting today, the large-v2 model is available through our API as whisper-1 – making it the fastest, cheapest, and most convenient way to use the model. Learn more about the Whisper API in the documentation.

Pricing
The API is priced at $0.006 / minute, rounded up to the nearest second.

Ik heb vandaag een telegrambot in elkaar gedraaid, in Python, die openAI bevraagd via deze API. Fun fact: tot gisteren heb ik nog nooit iets in python geschreven, alleen wat Arduino's geprogrammeerd. Hele script geschreven met hulp van ChatGPT... En aldoende een hoop geleerd

De nieuwe API onthoudt nog steeds niets: logisch, want misschien heb je wel 1000 klanten die tegelijk de boel bevragen. Wat je naar de API stuurt is een 'messages' block, waarin grofweg deze indeling gehanteerd wordt (pin me niet vast op juiste functietitels etc) :
{
'role: system, text: "Je bent een tech hulp"',
'role: user, text: "Hoe herstart ik windows?"',
'role: assistant:, text:"stekker eruit en weer erin!"
}
Je geeft dus zo een basisprompt mee, en een stukje voorbeeld interactie, zodat OpenAI beter weet hoe het model moet antwoorden.
Als je gebruiker nu wat stuurt naar je chat bot, wil je dat toevoegen aan dat messages-block, en het hele blok naar de OpenAI API sturen, response krijgen, response terugsturen naar gebruiker, maar meteen ook aan je messages-block plakken om volgende keer mee te nemen in je query.

Zoals je ziet: hoe langer de chat duurt, hoe groter de query wordt (en dus te duurder). Wat kost dat? Ongeveer €1 voor 850 A4-tjes met text (375.000 woorden). Je moet dus wel ergens in je script gaan zorgen dat een gebruiker geen eindeloze chathistorie opbouwt. Je zorgt dat je message-blok altijd start met je eerste 3 regels bijvoorbeeld, zodat hij nooit vergeet 'wie hij is', maar dat alleen de laatste 500 woorden van gebruikerstekst+respons meegestuurd worden, per query. Daar kun je er dan wel 750 van doen per euro.

Nu snap je ook, als je een tijdje speelt met ChatGPT, waarom hij soms domme dingen doet: hij 'vergeet' stukken die teveel woorden in het verleden liggen (hij kijkt circa 1500 woorden terug, in de ChatGPT Plus).

Wat zijn tokens? Is een token een letter cq. cijfer? Of is een token een vraag? Ik zie de beschrijving in het artikel maar is me nog onduidelijk.

[Reactie gewijzigd door Yzord op 2 maart 2023 07:45]

Tokens can be thought of as pieces of words. Before the API processes the prompts, the input is broken down into tokens. These tokens are not cut up exactly where the words start or end - tokens can include trailing spaces and even sub-words. Here are some helpful rules of thumb for understanding tokens in terms of lengths:
1 token ~= 4 chars in English
1 token ~= ¾ words
100 tokens ~= 75 words
Or
1-2 sentence ~= 30 tokens
1 paragraph ~= 100 tokens
1,500 words ~= 2048 tokens

Zie ook https://help.openai.com/e...ens-and-how-to-count-them

Dat is een lekker ondoorzichtig verdienmodel. Je kan nooit controleren/zelf bijhouden hoeveel je hebt gebruikt. Dit is alsof je geld vraagt voor een service op basis van hoeveel DB queries de software doet.

Dit is alsof je geld vraagt voor een service op basis van hoeveel DB queries de software doet.

Is dit nu ironisch bedoeld?

Is dit nu ironisch bedoeld?

Ik vermoed dat @lukjah bedoelt dat je zelf geen zeggenschap over de werking van de software hebt. Stel je voor dat je Google Docs gebruikt en je betaald per DB query, heb je dan enig idee hoeveel het kost om een brief te typen? Google Docs maakt regelmatig een snapshot, maar hoeveel DQ queries is een snapshot? Wordt het duurder als je langzamer typt omdat dan ieder teken een snapshot oplevert? Hoeveel queries kost het om op het menu te klikken, of wordt dat allemaal lokaal gedaan? Dat zijn allemaal onzekerheden die je zou hebben bij deze manier van afrekenen.

Ik heb even gespeeld met de tokenizer die @_Tobias noemt, maar daar valt het me op dat een Engelse tekst veel minder tokens bevat dan een Nederlandse.

• The quick brown fox jumps over the lazy dog: 9 tokens, 43 karakters
• De snelle bruine vos springt over de luie hond: 16 tokens, 46 karakters

Het opbreken is ook heel vreemd:
De| sn|elle| bru|ine| v|os| spring|t| over| de| l|u|ie| h|ond

Vaak hebben Nederlands, Duits en Scandinavische talen minder woorden nodig omdat ze samengestelde woorden kennen, maar daar heb je dus niets aan:

• City cycling guide day course: 5 tokens
• Stedenfietstochtgidsdagcursus: 13 tokens (160% duurder!)

Misschien is deze Tokenizer alleen voor Engelse teksten geschikt?

[Reactie gewijzigd door 84hannes op 2 maart 2023 10:39]

Er staat toch letterlijk boven de token tool hoe ze worden bepaald. Ik snap dan niet waarom het opbreken vreemd overkomt. Ze gebruiken hiervoor een NLP tool om de tekst te kunnen analyseren en uiteindelijk te tokenizen.

snap dan niet waarom het opbreken vreemd overkomt

Neem het woord 'luie'. Lui is een bijvoeglijk voornaamwoord, de 'e' is een vervoeging. Ik zou dan 'lui|e' verwachten, niet 'l|u|ie'. De u van de i scheiden is in het Nederlands een rare actie.

De manier van opdeling waar jij het over hebt heeft voornamelijk te maken met stemming. Om woorden met dezelfde betekenis maar in andere vormen te herkennen. Als je het stukje tekst leest geven ze duidelijk aan dat ze dit niet perse gebruiken.

Ik denk dat jij een andere tekst ziet dan ik, want ik heb niets gezien waar jij naar verwijst. Kun je het kopiëren?

geven ze duidelijk aan dat ze dit niet perse gebruiken.

Dus ze hakken een stuk tekst in heel veel stukjes, rekenen mij dan af per stukje, maar gebruiken het verder niet? Lijkt me dat ze het zo relatief duur maken voor Nederlanders (en waarschijnlijk alle buitenlanders).

Ik denk dat het omzetten van Nederlands naar Engels inderdaad wat tokens zal kosten. Ik zie Bing ook regelmatig wisselen tussen Nederlandse en Engelse zoektermen. Op zich niet raar, maar wel iets wat in de toekomst aangepast zal worden, denk ik. Vertalen zal ook niet gratis zijn (ook al kan Google zijn dienst deels gratis aanbieden)

Nee, ik bedoel het alsof tweakers geld gaat vragen aan mij voor hoeveel DB queries deze pagina gebruikt. Ik heb daar geen flauw benul van en geen controle/invloed op.

Maar dat heb je wel als je de API gebruikt. Is geen raar verdienmodel.

alsof tweakers geld gaat vragen aan mij voor hoeveel DB queries deze pagina gebruikt

Maar dat heb je wel als je de API gebruikt. Is geen raar verdienmodel.

De vergelijking dreigt te ontsporen, maar ik zie het zo: Als ik, via een API, opvraag hoeveel reacties een artikel heeft, dan weet ik niet hoe dit in de backend wordt gedaan. Misschien is er een enkele query die deze informatie oplevert, maar misschien heeft Tweakers het zo geïmplementeerd dat er alleen een link is naar de eerste post, en dat die doorlinkt naar de volgende post. Het aantal query's is dan dus gelijk aan het aantal reacties+1. Of erger nog, de reacties staan opgeslagen onder de gebruikers, en we moeten alle gebruikers afgaan om het aantal reacties bij 1 artikel te kunnen tellen.

Het gaat niet om hoe het in de back-end werkt. @lukjah maakt de vergelijking tussen Tweaker en de OpenAI API. Dat zijn twee verschillende dingen. Deze API is niet publiek beschikbaar, enkel voor developers die een creditcard hebben gekoppeld. Je hebt een key nodig. De tweakers API zou je zo kunnen openen in je browser.

Het gaat juist wel om de backend!
Je hebt een API die je aanroept met bepaalde gegevens om iets op te vragen. De backend "doet iets" en stuurt data terug.
Wat die server doet en wat jij dus terugkrijgt, dat weet je niet. Dat is met elke api zo.

Nu heeft OpenAPI een bedrag afhankelijk wat je terugkrijgt. Dus waar je geen invloed op hebt. Dat is raar. Je kunt dus per aanroep voor dezelfde api een ander bedrag kwijt zijn.
De meeste andere partijen hebben een bedrag per API of per aantal aanroepen. En dus niet per aantal tekens in het antwoord.
Je kunt dus zelf invloed uitoefenen op de kosten door die api niet of minder vaak aan te roepen.

Zo heeft tweakers een api die vrij te gebruiken is. Maar ook een api voor de partijen in de pricewatch waar wat tegenover staat. Maar als die partijen er gebruik van maken, dan worden niet de kosten bepaald aan de hand gaan het aantal aanbieders van het product die ze willen bijwerken.

Nouja, je hebt wel degelijk invloed op wat het kost. Als je een korte prompt opstuurt zijn de kosten dus klein, mits je een instructie geeft om ook een kort antwoord te produceren. Je kunt inderdaad niet van tevoren precies bepalen hoe duur een request gaat zijn.

Is dit nu ironisch bedoeld?

Ik vind die vergelijking niet raar.
Eindgebruikers hebben geen blind idee wat de applicatie die ze gebruiken qua query's op een database afvuurt.
Als je daar dan wel voor moet betalen is dat inderdaad bijzonder ontransparant.

[Reactie gewijzigd door Polderviking op 2 maart 2023 17:31]

nee, juist niet:

OpenAI vraagt geen geld per call naar de api, maar heeft een eigen tokenmodel.

het is hoeveel input je laat analyseren. Als je 2 miljoen random letters stuurt en vraagt hoeveel het er waren, dan betaal je +/- 500.000 tokens. Als je vraagt "stuur 2 miljoen letters" dan betaal je 8 tokens.
Het is dus voor de analyse dat je betaald, niet voor het resultaat dat je krijgt.

Dat maakt het ook meteen een stuk minder interessant om artikelen samen te vatten.

Dat maakt het ook meteen een stuk minder interessant om artikelen samen te vatten.

Dat hangt van het alternatief af. Als je een lange tekst hebt en je hebt een korte nodig, dan moet er samengevat worden. Zelf 2000 pagina's dossier doorlezen lijkt me nog altijd duurder dan het aan OpenAI overlaten.

Laat ik het zo zeggen, voor een doorsnee consument is het dan niet meer interessant. Voor iemand die 100+ euro per uur rekent, zal het inderdaad een uitkomst zijn.

[edit] Gecorrigeerd door @Rat iemand
$0,002 per duizend tokens lijkt niet veel. Als ik even uit ga van 3 tokens per woord, 300 woorden per pagina, dan is 2000 pagina's €3,60. Dat maakt het niet erg aantrekkelijk D
dat dossier over gaswinning in Groningen zelf te lezen als je een concrete vraag hebt, of gewoon een samenvatting wilt.

[Reactie gewijzigd door 84hannes op 2 maart 2023 22:02]

Mja dat dus. Vooralsnog kun je gebruik maken van de gratis versie en kan Bing het ook nog voor je doen, maar we weten nog niet hoe dat verder gaat blijven. Sowieso wil je niet alle documenten aan internet hangen zodat chatgpt erbij kan.

Ik zat er een factor duizend naast, het is dus eigenlijk wel heel goed te betalen.

Compleet fout! Je betaalt $0,002 per DUIZEND tokens.
Correct bedrag; $3,6. Een koopje (en scheelt honderden uren leeswerk).

hangt van je usecase af. Als je gebruikers van die samenvatting over heel de wereld wonen kan je er simpel bij zetten "translate in all languages"

Ik betaal voor de GPT3-api voor zowel input als output. In het overzicht staat "text-davinci-003: 3028 tokens (2900 input + 128 output).

Het maximum aantal tokens output kun je zelf instellen in je API call dus je hebt alsnog redelijk controle over je API usage.

[Reactie gewijzigd door Powerkiwi op 2 maart 2023 11:53]

Jawel want je kunt zelf uitrekenen hoeveel tokens een bepaalde tekst bevat, bijv met de Tokenizer of de Tiktoken library

Het lijkt erop dat alleen GPT3 nog wordt ondersteund. Maar als 4 ook komt dan is het controleerbaar idd.

Of is de tokenizer tussen 3 en 4 hetzelfde?

Het concept van een token blijft hetzelfde, het zijn gewoon de bouwblokken waar woorden uit zijn opgebouwd vergelijkbaar met lettergrepen.

Dit heeft te maken met hoe meeste GPT's werken. Het kost meer processing om langere input te verwerken. Ook kost langere output ook meer processing. Je aantal tokens die je verbruikt is dan ook je input + output, iets wat vaak niet wordt verteld in dit soort nieuwsartikels.

Voor de input is dat makkelijk te berekenen aan de hand van de tokenizer van OpenAI zelf. Voor de output kan je de berekening pas doen als je de output hebt. Is zie het probleem eigenlijk niet, OpenAI biedt tools aan om je gebruik van tokens te tellen. En hoewel het voor ons allemaal vaag en ondoorzichtig lijkt, mensen die veel met deze modellen werken kunnen best wel al van tevoren een berekening maken over hoeveel iets gaat kosten.

Het lijkt mij wel logisch. Als je het op basis van API calls doet, gaan mensen zovele mogelijk in de API call proppen. En tja, als er dan 2 woordjes gezegd worden of 4000, nogal een verschil.

Op aantal woorden was nog iets makkelijker geweest.

Nee, je bepaalt in je api call het max aantal tokens wat je wil spenderen

zoek DTU eens op

Stel ik gebruik de API om elke dag 1000 vragen te laten beantwoorden, dan heb je nog altijd geen idee aan welke prijs je je mag verwachten. Dit zou eens heel duur kunnen uitvallen, om misschien juist goedkoop.

Ik denk dat het meevalt. De hele shakesphere collectie is 900.000 woorden, dat is 1.2 miljoen tokens. Dat is 2,5 euro. OpenAI biedt je 18 euro aan tokens gratis aan die je in je eerste 3 maanden kan gebruiken.
Deze api is bedoelt voor het inbakken van ChatGPT in bestaande app's. Meestal begin je met een prototyping fase van je app. In die fase kan je makkelijk een overzicht maken van wat je gemiddelde input en output is en zo de kosten bepalen voordat je app in productie gaat.

Een token is meestal iets wat je in een request zet toch?

token=234fe87ca876ddde7665

In Natural Language Processing doe je "tokenization" (programmeertalen doen hetzelfde om een Abstract Syntax Tree te maken) om een stuk tekst te ontleden voor "bruikbare" keywords en om het te kunnen parsen. Elke van deze is een "token".

https://dev.to/balapriya/...ned-in-plain-english-1h38

https://neptune.ai/blog/tokenization-in-nlp

[Reactie gewijzigd door Sandor_Clegane op 2 maart 2023 07:57]

Dank, ik ken tokens alleen als een persoonlijke code die je krijgt van een API om hem te gebruiken.

Jouw post geeft ook mooi aan waarom het gedaan wordt: zelfde woord, andere betekenis aan de hand van de context waarin het gebruikt wordt.

Ja, en dat is extreem jammer. Naast de algehele kosten, die dus veel hoger zijn dan je in de eerste instantie denkt, zijn ze ook nog eens extra ondoorzichtig (zoals de voorbeelden aangeven).

In dit geval is een token input voor de AI, dus ieder stukje informatie dat gebruikt wordt. Als je een zin opgeeft zal niet ieder woord een token zijn, maar die zin kan voor zover ik het begrijp wel omgezet worden naar meerdere tokens (bijv. 'ik wil een grote groene auto' -> 'vraag','auto','groen','groot').

Zoals ook in het artikel staat:

OpenAI vraag geen geld per call naar de api, maar heeft een eigen tokenmodel. Daarbij wordt tekst en metadata omgezet naar een formaat dat dan wordt omgezet naar tokens.

Je betaalt dus alleen voor de informatie die de API gebruikt, niet alle informatie die je ingeeft en niet de requests op zich.

Daar zit dus een rekenmethode achter. En onder andere op basis van de hoeveelheid input die je aanbiedt. Ik kan me ook voorstellen dat de complexiteit/grootte van de response mee gaat tellen.

Dit gaat echt tot een gigantische golf aan nieuwe functies in apps leiden. Ik ben benieuwd naar de komende maanden!

Meer een soort lettergreep..

Zijn er hier mensen die al betalen voor OpenAI en waar gebruik je het dan zoal voor? Zit er zelf over te twijfelen maar merk dat toch wel erg veel antwoorden gewoon verzonnen zijn. Vertrouw het nu enkel in het beter maken van teksten.

Wij betalen, 20 euro per maand. Het is sneller en beter bereikbaar. Gebruiken het voor oa:

Hulp bij Software schrijven
CSS
HTML
Nieuwsberichten maken aan de hand van weinig tekst
Recepten maken aan de hand van spullen die ik nog thuis heb

Bing chat doet het ook goed dus even aankijken of we blijven betalen

Ik gebruik nu OpenAI voor me dagelijks werk. Niet voor alles, maar ik zie het als een enorme tijdsbesparing wat ik in het verleden met google gebruikte.

In me werk doe ik veel met automation, daarbij maak ik veel dingen in code zoals:
- Python
- YAML
- Jinja
- Ansible playbooks en roles
- JSON queries

Vooral het schrijven van JSON queries met jmespath kost me erg veel tijd om deze goed te krijgen in Ansible playbooks. Met de hulp van OpenAI scheelt mij zo veel tijd om de juiste pad te krijgen, en leer ik steeds meer om de juiste query te maken.

Daarnaast weet ik niet altijd welke mogelijkheden er bestaan met de modules in Python of in Ansible. Dus vraag ik wel eens aan OpenAI welke aanpak ik kan gebruiken om bijvoorbeeld een stuk te automatiseren, en schrjif ik een code die OpenAI als advies opgeeft.

Het is niet helemaal waterdicht, vaak bij codes werken sommige dingen niet helemaal. Maar vaak zijn het maar kleine aanpasseningen die zeer waardevol zijn!

Ik werk zelf ook met IaC en probeer regelmatig of ChatGPT mij kan helpen met het maken van Bicep, powershell, python, arm templates etc. Eerlijk gezegd kost het me te veel moeite en ben ik vooral aan het verbeteren. Krijg dan ook vaak antwoorden terug in de trant van "je hebt gelijk, x functie bestaat niet.". Hoop eigenlijk dat ChatGPT met meer feiten komt, dan maar een keer geen antwoord omdat hij het niet weet.

Het wordt wel steeds beter (of mijn vraagstelling wordt beter).
Het zal in ieder geval een hoop gebruikt gaan worden , en voor sommigen het werk makkelijker maken en simpel werk wellicht helemaal overbodig

Vraagstelling is heel belangrijk ja. Ik denk ook dat Midjourney en Stable Diffusion steeds beter worden, maar anderen (newbies no offense) krijgen er nog steeds vervormde gezichten uit.

grappig hoe je je eigen neurale netwerk traint om een neuraal netwerk betere resultaten te laten geven.
Bijna zoals in de echte wereld, hoe wij ons aanpassen aan anderen (en vice versa) om tot een bepaalde, betere, uitkomst te komen.

Dit wordt ook wel "Prompt Engineering" genoemd inmiddels.

Kun je deze API gebruiken om je eigen data te laten analyseren?

Het is mogelijk om je eigen data te gebruiken, dan moet die data ter beschikking stellen zodat het model getraind kan worden. Dit is echter behoorlijk reken intensief process met dito prjskaartje

Weet niet wat het prijskaartje kost, maar ik heb 2 man personeel op klantenservice zitten mailtjes te typen elke dag. 6 jaar aan data, als mij dat 1 persoon scheelt dan is dat 35k op jaar basis.

Even heel simpel he: Als ik al die mailtjes kan laten analyseren, privacy gegevens eruit gefilterd. dan zijn die kosten snel terugverdient denk ik. Het zal niet zo makkelijk gaan natuurlijk.

Ik zou ze eens contacteren, met wat ik zie valt er wel een case te maken.

Het is wel interessant dt dit echt heel goedkoop is. Per concurrent user zijn er ongeveer 8x a100 kaarten van 25.000 euro per stuk of 80.000 huur kosten per jaar in een datacenter. Kosten voor API gebruik is laatst jaar heel erg gezakt. Ooit begonnen met 0.06 cent per 1k tokens. Nu zullen ze genoeg backup hebben van Microsoft, maar zal me niks verbazen als dit onder de anti competitive noemer gaat vallen. Niks nieuws voor een partij als Microsoft. Tactiek is om concurrentie de kiem te smoeren en een lock-in te creeeren. Winst komt later wel. Grote winnaar is in elk geval NVidia.

Ooit begonnen met 0.06 cent per 1k tokens.

In de post staat dat 't nu 0.2 cent per 1k tokens is, dus dat is een factor drie duurder geworden?

Een gouden zet van Microsoft dat ze hier al in een vroeg stadium bij betrokken waren. Het zal de groei van Azure als melkkoe weer in een stroomversnelling brengen. Er zijn zoveel plekken waar een assistent als chatgpt bij kan helpen. Ik gebruik nu opeens weer regelmatig Bing met de Chat, werkt heel goed.

Interessante release. Ben wel even benieuwd:

• Trainen staat uit, maar betekent dit dan ook dat ie niet van de gebruiker kan leren? Voorbeeld: als ik het altijd over auto's heb, dan is het handig dat ie bij modelnummer meteen gaat zoeken naar een auto daarmee, ipv elke keer vanaf 0 beginnen. Juist het verdiepen van informatie lijkt me handig, anders is het gewoon een veredelde search engine.
• Hoe is de snelheid? Krijg je ook blokken aan tekst terug, of stuurt ie ineens een response? Ik vind het opbouwen nog wat irritant met lezen van het antwoord en hoop dat er een mogelijkheid is om dat te skippen of minder irritant te maken. Tekst die constant verspringt is namelijk lastig te lezen.
• Kun je meer dan 6 antwoorden sturen in 1 gesprek? Of zijn het eigenlijk allemaal losstaande queries?
• Hoe lang mogen de queries zijn? Ook maar 2000 tekens of inmiddels meer?
• Kan het op internet zoeken en heeft het kennis van de laatste stand van zaken of is dit net als de normale ChatGPT beperkt tot een bepaalde datum?
• Kun je de Bot inmiddels al een persoonlijkheid geven? Zodat je de verwachting bij gebruikers beter kunt sturen
• Door met tokens te werken, wordt het een stuk minder interessant voor het analyseren van data. "Vat dit artikel samen" is duur als de query van het artikel je meteen zoveel duizenden tokens kost. Of kun je op een andere manier data meesturen die niet direct zo zwaar tellen voor de tokens?

Ik heb toevallig al wel toegang bij Bing en de normale ChatGPT. Het zoeken op internet bij bing maakt het wel erg krachtig. De andere is toch wat te beperkt.

[Reactie gewijzigd door Martinspire op 2 maart 2023 10:27]