OpenAI brengt spraak- en fotofunctie voor ChatGPT Plus en Enterprise uit

OpenAI kondigt twee nieuwe functies voor ChatGPT aan: de mogelijkheid om afbeeldingen te verwerken en de mogelijkheid om stemmen te herkennen en terug te 'praten'. De functionaliteit wordt over een periode van twee weken uitgerold voor Plus- en Enterprise-abonnees.

Met de nieuwe spraakfunctie kunnen gebruikers tegen ChatGPT praten, waarna het taalmodel van OpenAI dankzij een text-to-speechmodel terugpraat. In principe zijn alle toepassingen van de chatbot ook mogelijk via de spraakfunctie; gebruikers kunnen verhalen, uitleg, recepten, tips en concrete informatie opvragen, en dat nu in audiovorm ontvangen. De audiofunctie is opt-in en komt vooralsnog alleen beschikbaar voor de iOS- en Android-versie van de chatbot. Daarvoor is dus wel een Plus- of Enterprise-abonnement nodig.

Het bedrijf raadt gebruikers aan om in het Engels tegen ChatGPT te spreken. Sommige andere talen zouden ook door het taalmodel verwerkt kunnen worden, maar de resultaten zouden vooralsnog het best in het Engels zijn. OpenAI heeft de vijf beschikbare stemmen op echte stemacteurs gebaseerd, maar kan in principe op basis van enkele zinnen iedere stem nabootsen. Eerder vandaag kondigde Spotify aan dat de muziekdienst van dezelfde technologie gebruikmaakt om podcasts te vertalen.

Verder kondigt het bedrijf een fotofunctie aan waarmee gebruikers afbeeldingen, documenten en foto's kunnen uploaden, waarna ChatGPT op basis van deze visuele informatie dynamisch kan reageren. Enkele voorbeelden zijn het vragen van technische hulp bij het verstellen van een fiets, het opvragen van recepten op basis van de inhoud van de koelkast of het analyseren van een grafiek. Deze functionaliteit komt in de komende twee weken beschikbaar voor alle platforms, alweer mits er een Plus- of Enterprise-abonnement wordt afgenomen.

OpenAI stelt dat beide functies ook risico's met zich meebrengen. Zo kunnen kwaadwillenden de spraakfunctie in theorie gebruiken om echte personen te imiteren. Daarom beperkt het bedrijf de technologie tot het gebruik binnen de voicechatfunctie van ChatGPT. Verder zegt de ontwikkelaar dat de afbeeldingsfunctie 'significant is begrensd' wat het reageren op echte mensen betreft.

Reacties (31)

[N0lan]

Is er al iemand die een Enterprise abonnement heeft kunnen afsluiten? Ik heb in augustus het contactformulier ingevuld en sindsdien niets meer gehoord.

[jzn21]

Hier ook niks gehoord. Ik vermoed dat ze de krenten uit de pap vissen in eerste instantie en alleen echt grote jongens aansluiten.

[Orangelights23]

Klopt. Ik zit wekelijks met een paar personen van OpenAI en zij geven prioriteit aan de grote partijen omdat het meer verdiend en omdat het interessant is qua marketingactiviteiten.

[Dawn]

Wij wachten ook nog steeds op iets van feedback.. redelijk frustrerend.

[BiaggioLuciano]

@Dawn @jzn21

Had in april/mei contact opgenomen ivm met een eindejaarsproject voor de uni. Kreeg pa halverwege augustus antwoord:

Hi there,


First off, we’re very sorry for the delay in getting back to you. As we’ve scaled quickly, we have been working hard to catch up with all the interest and outreach from customers like you. We strive for much faster response times and are working on improvements to get back faster.


For enterprise deals, if you're already at a spend upwards of $10,000 per month, please reach out via our sales contact form. If you're interested in providing ChatGPT for your entire company, we'll have a new offering for businesses coming that we'll announce on our blog as soon as it's available. Finally, if you're a researcher studying responsible deployment of AI, we have an opportunity for subsidized access through our Researcher Access Program.


Aside from our enterprise and researcher access programs, we're unfortunately not engaging in any new partnerships for special discounts or programs at this time. We recommend taking a look at our API pricing and ChatGPT Plus for the latest details.


Our application guides and cookbooks are a wealth of information for different use cases. We recommend taking a look through our detailed developer docs and cookbooks, as well as our production best practices. If you're looking for more specific implementation help, please check out our community help forum or reach out to our developer ambassadors.


If you're having trouble using any of our services or the above guides didn't help, reply with as much detail as you can and we'll do our best to help you out.


- OpenAI Team


intercom

Maw: de snelle groei maakt het antwoorden langzamer.

Hier is de specifieke sales link: https://openai.com/contact-sales. Je moet wel meer dan >$10,000 per maand uitgeven.

[Reactie gewijzigd door BiaggioLuciano op 22 juli 2024 14:57]

[Dawn]

ah thanks!
ik weet niet of wij meer dan 10k/mnd in openAI duwen, denk het niet namelijk.. dan snap ik wel dat ik even moet wachten.. helaas.

(wtb: SSO)

[x-man]

Hoop dat het in meerdere talen tegelijk kan begrijpen en antwoorden. Ben nu via conversatie met ChatGPT de Franse taal aan het leren. ChatGPT is mijn language buddy.

[Incolumis]

Hoe start je zoiets dan? Na een aantal vragen is ChatGPT toch al weer afgedwaald?

[x-man]

Nee daar heb ik geen last van. Je vraagt of het met gebruik van conversatie je een taal wil leren. Het stelt je dan vragen (in je gewenste taal) en suggereert bepaalde antwoorden. Ik betrap ChatGPT wel op bepaalde grammaticale fouten, maar dan vraag ik waarom er een uitzondering is. Je krijgt of uitleg over de uitzondering, of ChatGPT excuseert zich en herstelt de fout.
Ik heb nu al weken lang een conversatie over van alles (muzieksmaak, hobbies, etc)

[Incolumis]

Ah, ik moet dus iets specifieker zijn. Ik gaf aan dat ik Italiaans wilde leren en dan krijg ik alleen maar linkjes naar bekende apps die het aanbieden etc. Toen ik eenmaal aangaf dat ik wilde praten in Italiaans schakelde GPT inderdaad zo over naar Italiaans. Best handig zo. Thanks!

[singingbird]

Je kan ook de custom instructions aanpassen. Zet daarin wat je wil leren, op welke manier en wat je van ChatGPT verwacht. Dat zal denk ik ook wel helpen.

[Rutger Muller]

Check hier in de eerste comment hoe ik ChatGPT liet role playen om Japans te leren, een tijdje geleden: nieuws: Duolingo introduceert GPT-4-integratie voor 'AI-leraar' in nieuw abon...

[pim]

Jammer dat ze het "uitrollen" over 2 weken tijd.
Als plus gebruiker zou ik veel liever hebben dat het na zo'n aankondiging direct beschikbaar is.

[moonlander]

Dan kreeg je over 2 weken bericht dat ze het lanceren ipv nu...

[Incolumis]

Zou iemand eens kunnen laten zien wat ie allemaal met ChatGPT doet qua werk en zo? Ik zou echt niet weten hoe ik het zou moeten gebruiken om mijn werk te verbeteren/vergemakkelijken.

[Verwijderd]

ik zou zeggen probeer het zelf de gratis versie, het is echt indrukwekkend wat het allemaal kan, het is geavanceerder dan Siri of google assistent

maakt niet uit wat je ermee wilt doen het is in principe gewoon je personal assistent, en zeker dalijk als je spraak en foto functies kan gebruik maken

[SherlockHolmes]

Automatiseringen van werk en privé dingen, bijv:

• Hoe zou ik al deze handmatige taken kunnen automatiseren (en dan doorvragen met bijv. code, vaak werkt dat perfect)?
• (Kopieer een lijst van dingen die je in land X wil zien), sorteer deze lijst op basis van stad en wijk, plaats het in een table en maak vervolgens looproutes tussen ieder item, gegroupeerd naar 15 reisdagen

Werkt toch wel erg fijn en scheelt een hoop werk. Maar het gaat vooral over hoe slim je prompt.

[Reactie gewijzigd door SherlockHolmes op 22 juli 2024 14:57]

[JoshBreda]

Er zijn veel toepassingen te bedenken. Momenteel werk ik niet geheel toevallig aan een AI tool om het gebruik wat makkelijker te maken. Het leuke is dat ik AI gebruik om me te helpen met het bouwen. Chatgpt is namelijk bij uitstek goed in coderen.

Verder is het erg goed in contentgeneratie, als je althans goede prompts gebruikt. Hoe specifieker de prompt des te beter het antwoord.

Verder kan je het gebruiken voor parafraseren, samenvatten, brainstormen van ideeën, et cetera. Erg veel mogelijkheden.

[ejabberd]

Nog een leuke:

1) "Antwoord op volgende recensie op Google over ons bedrijf in dezelfde taal en geef een vertaling van beiden: <kopie paste vreemde tekens>"

2) "Die dienst die je voorstelt bieden we niet aan maar we kunnen wel deze oplossing bieden: <knip>".

3) Het resultaat nog eens door Google Translate halen voor een dubbelcheck van het antwoord.

4) Recensie beantwoorden in eender welke taal.

[Anoshky]

Bijvoorbeeld: geef me een powershell script om alle 365 gebruikers gebruikers die nog geen @xxx.com alias hebben een @xxx.com alias te geven.

Schrijf ik dat script zelf in 5 min? Ja.
Maar met ChatGPT duurt het 30 sec

[ultimasnake]

Ik ben benieuwd wanneer de afbeelding functie (met OCR?) naar de API komt, momenteel doe ik hier intern testen waar ik zelf nog fotos door AmazonTextract moet halen (en sterk moet reduceren in content length om binnen de max length te blijven) waardoor ik van mening ben dat ik wel wat 'context' verlies die chatGPT anders wel had ingezien. Sommige Plugins lijken deze laag zelf te kunnen en blijkbaar met minder context verlies dan ik momenteel heb (en hun magische sausjes kan ik niet herleiden helaas)

(details moet ik wat vaag over blijven)

[Bartske]

En als je dan tegen chatgpt praat, wordt dan jouw stem ook gebruikt voor het verder optimaliseren van de output? Maw: wordt het dan makkelijker om jouw stem na te laten bootsen door anderen?

[darkshadw]

Ik zal hier wel van uit gaan, dit is ook het geval met normale tekst, dus waarom ook niet met spraak?

[-Tim-]

Dat zou dan nu al het geval zijn. De app heeft al een tijdje (hele goede) speech-to-text, die volgens mij hun eigen Whisper gebruikt. Zal er wel van uit gaan dat die opnames door hun opgeslagen worden.

[Dnnk]

Zoals beschreven staat in de privacy policy van OpenAI:

[...] As noted above, we may use Content you provide us to improve our Services, for example to train the models that power ChatGPT.

Onder content valt alle input voor ChatGPT (plus) en DALL-E. Er is overigens wel een manier om via opt-out te regelen dat ze in ieder geval de data voor ChatGPT niet meer gebruiken voor het verbeteren van de achterliggende modellen:

https://help.openai.com/e...improve-model-performance

Goed om te weten: het gebruik van de API valt hier niet onder: deze data wordt zonder goedkeuring niet gebruikt voor het verbeteren van de diensten van OpenAI.

[jos707]

Wanneer is de intergratie met Dall-E gepland, voor het genereren van afbeeldingen ?

[HansvDr]

ChatGPT kan prima Nederlandse teksten tonen maar schakelt dan ook heel vaak opeens naar het Engels. Heel vervelend. Als de spraak niet goed Nederlands kan is dat weer een mooie voor Google oom hier hun AI beter te maken want Google Home kan prima Nederlands.

[teun95]

Je kunt via custom instructions wat duidelijkheid geven over dat je een Nederlands antwoord wilt als je een vraag in het Nederlands stelt. Een voorbeeld met wat extra weight hier voor:

"Het is niet respectvol om te reageren in een andere taal dan het bericht waar je op reageert. Als ik je een bericht in het Nederlands stuur is bet belangrijk om hier in het Nederlands op te reageren."

De spraakherkenning probeert ook regelmatig korte Nederlandse berichten in het Engels te herkennen. Soms wordt het vertaald maar soms ook als Engelse woorden met soortgelijke klanken. Het is niet ideaal, maar door het bericht iets langer te maken en door duidelijk Nederlandse woorden te gebruiken geef je de language detection iets meer kans om de juiste taal te detecteren. Je kunt bijvoorbeeld vooraf zeggen "Het volgende is een bericht in het Nederlands."

[Ruffian]

Ik heb in de instellingen ingesteld dat ik altijd antwoord in het Nederlands wil.

[Niemand_Anders]

ChatGPT kan nu ook al gesproken tekst herkennen.
Ik gebruik op mijn android Tasker en onderschept 'Hey Google' opdrachten, stuur deze naar de Whisper API, de tekst gaat vervolgens ChatGPT in en via ElevenLabs (API) wordt de output weer omgezet naar gesproken tekst.

Op deze manier heb ik mijn eigen assistent geschreven welke niet alleen kan vertalen, dingen opzoeken, maar ook taken uitvoeren.

De ontwikkelaar van Tasker heeft een half jaar geleden al een video hiervan op YouTube gezet: https://www.youtube.com/watch?v=kdRJkjdf3Hw

[kuurtjes]

Ik heb het een beetje gehad met ChatGPT. Bepaalde dingen zijn ondertussen veel te hard gecensureerd.