OpenAI voegt beeldherkenning toe aan Advanced Voice Mode in ChatGPT. Met die Vision-toevoeging kan ChatGPT niet alleen audio, maar ook beelden herkennen. Abonnees kunnen daarmee bijvoorbeeld ook hun camera op een menu richten of hun scherm delen met de app.
OpenAI laat in een video op X zien hoe Advanced Voice Mode Vision werkt in de mobiele app. Gebruikers kunnen de functie op dezelfde manier gebruiken als de audioassistent, maar dan met videobeelden erbij. Gebruikers kunnen bijvoorbeeld iets zeggen in de camera, inclusief beeld. ChatGPT kan vervolgens bepaalde beelden op de camera herkennen. OpenAI toont als voorbeeld dat ChatGPT herkent welke persoon in beeld een bepaald kledingstuk droeg.
Het is op die manier ook mogelijk om bijvoorbeeld via de camera een menu te herkennen of vragen te stellen over een voorwerp. Gebruikers hoeven dan geen foto te uploaden. Gebruikers kunnen ook hun scherm delen. In een demo toont OpenAI de mogelijkheid dat ChatGPT een chat leest en daarop een antwoord geeft.
Advanced Voice Mode Vision is alleen te gebruiken voor betalende gebruikers. Die moeten een Plus- of Pro-abonnement hebben. De functie komt begin volgend jaar ook beschikbaar voor Enterprise- en Education-gebruikers. Gebruikers in de Europese Economische Ruimte moeten voorlopig nog wachten voor ze de functionaliteit kunnen gebruiken. OpenAI zegt deze 'zo snel mogelijk' naar Europa en landen als Noorwegen en Zwitserland te willen brengen, maar zegt nog niet wanneer dat zal zijn.