OpenAI komt met miniversie van GPT-4o

OpenAI komt donderdag met GPT-4o Mini, een kleinere versie van zijn eerder dit jaar uitgebrachte GPT 4o-model. Vooralsnog ondersteunt het kleinere AI-model alleen tekst. Ondersteuning voor afbeeldingen, video en audio volgt later.

OpenAI heeft zelf geen details bekendgemaakt; de Amerikaanse zender CNBC bericht over de komst van het nieuwe AI-model. GPT-4o Mini moet vanaf donderdag beschikbaar zijn voor gebruikers van de gratis versie van ChatGPT en betalende klanten. Op het moment van schrijven is de Mini-versie nog niet beschikbaar. GPT4o Mini vervangt GPT 3.5 Turbo.

Kleinere modellen zijn minder krachtig dan grotere, maar hebben als voordeel dat ze efficiënter werken en in sommige gevallen ook lokaal kunnen functioneren op apparaten. Daarom hebben veel bedrijven aandacht voor de kleinere modellen. Apple bouwt een klein taalmodel in op zijn iPhones, iPads en Macs met nieuwe versies van de besturingssystemen later dit jaar en bracht al eerder een klein taalmodel uit. Microsoft deed dat ook.

Reacties (36)

[Skit3000]

Hier de lijst met features die ik heb gekregen; beter en sneller dan GPT-3.5 en maar 60% van de prijs.

Intelligence: GPT-4o mini outperforms GPT-3.5 Turbo in textual intelligence (scoring 82% on MMLU compared to 69.8%) and multimodal reasoning.
Price: GPT-4o mini is more than 60% cheaper than GPT-3.5 Turbo, priced at $0.15 per 1M input tokens and $0.60 per 1M output tokens (roughly the equivalent of 2500 pages in a standard book).
Modalities: GPT-4o mini currently supports text and vision capabilities, and we plan to add support for audio and video inputs and outputs in the future.
Languages: GPT-4o mini has improved multilingual understanding over GPT-3.5 Turbo across a wide range of non-English languages.

[rickvdvulkaan]

Is die nieuwe stem-chat versie van gpt-o al beschikbaar waar ze zo mee liepen te pronken? Ik kan me herinneren dat die "binnen een paar weken" moest verschijnen.

[Llopigat]

Ja die is al beschikbaar voor 'geselecteerde' ChatGPT-plus klanten. Alleen de "Absoluut niet Scarlet Johanssen - knipoog knipoog" stem is verwijderd.

Volgens mij is het nog niet automatisch beschikbaar voor elke ChatGPT-plus klant, niet in Europa iig. Ik heb zelf geen ChatGPT-Plus (ik gebruik gewoon de API, veel goedkoper als je er niet de hele dag mee zit te kleppen, bovendien gebruik ik voornamelijk lokale AI) maar een collega wel en die zei het.

[Reactie gewijzigd door Llopigat op 22 juli 2024 13:29]

[VySio]

Ik heb een plus abonnement. Sinds 3 week heb ik de app ook gedownload en werkt de spraakchat heel goed imo. Weinig issues, 1 klein issue wanneer je onderbreekt omdat het niet goed begrepen is dan moet je wachten totdat de tekst uiteindelijk ook in de chat staat, anders zegt de spraakchat 'i am sorry, i am having issues right now'.

Verder werkt het erg goed en komt het in de buurt van een gesprek, je moet alleen soort van op je beurt wachten. De gesprekken gebruik ik meestal ook met custom GPT's en daar heb ik altijd ingesteld dat antwoorden beknopt en bondig moeten zijn.

Laatste dingetje: ik praat altijd in het Nederlands, maar GPT klinkt als een Nederlander die al 20jaar in de VS woont.

Edit: Oh ja, voor de plus gebruikers: spraak is alleen in de app.

[Reactie gewijzigd door VySio op 22 juli 2024 13:29]

[Llopigat]

Verder werkt het erg goed en komt het in de buurt van een gesprek, je moet alleen soort van op je beurt wachten.

Dan heb je de nieuwe spraak chat nog niet want die kan je wel onderbreken. Maar die is er ook nog niet in het Nederlands.

[VySio]

Je hebt grotendeels gelijk, ik heb het net getest en het werkt.

Zolang de tekst nog niet is uitgeschreven in de chat, kun je niet onderbreken. Maar korte teksten zijn heel snel uitgeschreven, dus dan speelt dit probleem niet. Ook wanneer je merkt dat je verkeerd begrepen bent, moet je even wachten.

[TweakerIsMyName]

Je hebt de multi modale 4o met spraak nog niet. Die is alleen voor geselecteerde Engels sprekende plus gebruikers beschikbaar. Je hebt gewoon dezelfde versie als de niet plus gebruikers (zoals ik). Wij kunnen ook gewoon praten en het ding praat gewoon terug. Maar dat gaat met een text-to-speech engine. (Klinkt inderdaad als een Nederlander met een flink Amerikaans accent). Dat is niet hetzelfde als wat door OpenAI getoond werd. De release daarvan is flink uitgesteld omdat het op dit moment niet haalbaar is met de huidige infrastructuur en compute.

[1Mark]

je kan het testen door te vragen of ze/hij een liedje kan zingen.

- gaat ie zingen: dan heb je de nieuwe voice

[DeTeraarist]

Ik heb het idee dat er ook ergens nog een random factor is(of er moet nog ergens een update zijn geweest), want ik merk dat antwoorden die ik krijg als ik tegen de app praat anders zijn. Zoals net bv, ik activeerde de spraak, drukte even later op stop en het antwoord dat ik kreeg: It sounds like you're dealing with something really messy or maybe playing a game with slimes! What's going on?
Op een ander apparaat draaide een minecraft filmpje waar iemand bezig was met... een slimefarm.
Zo scherp heb ik hem voorheen nog niet zien antwoorden op wat achtergrond geluid.

[honey]

Super jammer dat de Scarlet Johansson stem verwijderd is. Deze was wel het meest fijn.

[kftnl]

Nee (behalve voor een paar insiders). Ze zeggen 'deze herfst' en de herfst eindigt 21 december, dus waarschijnlijk nog dit jaar.

[helm71]

Nee.. alleen voor een hele kleine groep beta testers. Ik ben plus subscriber.

[DeTeraarist]

Ja.

[SpiceWorm]

Die heb ik in NL direct de volgende dag kunnen gebruiken. Ja het werkt zo cool als in de demo die gegeven is. Ik had toen een abonnement en gebruikte de API bedrijfsmatig in onze software.

[Reactie gewijzigd door SpiceWorm op 22 juli 2024 13:29]

[Shattering]

De nieuwe spraakchat is er nog niet (enkel voor een enorm beperkte groep van plus gebruikers) - degene die nu in de app zit, zit er al meer dan een jaar in. Ik snap niet waar de verwarring van blijft komen, omdat de app het ook duidelijk aangeeft: https://ibb.co/7kQJjzz

[Reactie gewijzigd door Shattering op 22 juli 2024 13:29]

[Llopigat]

Ik wou dat er ook een uncensored versie zou komen, met disclaimer dat je het niet voor xyz mag gebruiken. Maar dat zal wel nooit gebeuren.

Momenteel is ChatGPT naar mijn mening gewoon veel te beperkt hierdoor. Vooral zodra je het hebt over LGBT topics begint hij heel gauw dicht te slaan. Heel vervelend want dit is niks raars hier in Europa.

[Anoniem: 125883]

Ik weet niet of het hier van toepassing is, maar alles je zelf een LLM host via bijvoorbeeld Ollama, en de OpenAI WebUI deployed in je omgeving, kunt je gemakkelijk een 'uncensored' versie maken van bijvoorbeeld Llama3, Gemma2, Mistral etc door een system prompt te 'social engineeren'. Ik ben door Llama3-8B-Instruct eigenlijk zeer onaangenaam verrast geweest door wat het ding kan uitkramen, ivm racistische uitlatingen of hoe je op de meest pijnlijke manier een kitten kunt ombrengen. Je stelt je dan echt wel vragen over wat er allemaal in die dataset steekt en vooral wat er allemaal rondloopt op deze planeet.
En ja, ik zeg tegen de LLM dat ie op een creatieve manier een kitten moet ombrengen. Je weet direct of je system prompt werkt of niet. De LLM weigert resoluut om te antwoorden en de conversatie afgelopen wanneer je geen goede system prompt hebt, en bijgevolg die barrière blijft bestaan.
Een andere manier is Abliteration, maar dat is vele malen moeilijker en een kostelijke zaak. Je moet een dataset vinden met bad prompts en bad answers. Die moet je dan als good answer flaggen, en het model hertrainen met die nieuwe dataset.
Hertrainen betekent een minder accuraat en minder zuiver model in dit geval. Dat moet je dan nog eens gaan fine-tunen en optimaliseren om de oorspronkelijke te benaderen.
Het is niet iets dat is weggelegd voor de hobbyist een evil LLM wilt op zijn pc. De kosten zijn vrij hoog en je moet exact weten wat je moet doen om dit te bereiken.

[Reactie gewijzigd door Anoniem: 125883 op 22 juli 2024 13:29]

[Llopigat]

Oh ja prompt jailbreak kan ook nog, daar had ik even niet aan gedacht. En ja ik weet dat je er rare dingen mee kan doen, maar zoals het nu is zijn de modellen gewoon veel te dicht gezet waardoor ze bij ons normale dingen al veel te snel dicht slaan.

Ik heb inderdaad wat modellen die zijn hertrained geprobeerd met ollama/openwebui en die zijn duidelijk van minder kwaliteit. Ik zal eens proberen met zo'n jailbreak system prompt. Vroeger had je de site jailbreakchat.com maar die is helaas down gehaald

[Anoniem: 125883]

Misschien ben je hier iets mee?
https://github.com/0xeb/TheBigPromptLibrary

[Llopigat]

Bedankt!!

[4x4]

Geldt ook voo Co Pilot.

Een collega en ik wilden gisteren een stuk over het bestrijden van obesitas bij kinderen met Co Pilot schrijven maar daar deed hij moeilijk over. Iets met pesten en overwegen om de ingevoerde tekst niet te gebruiken.

[Llopigat]

Copilot is dan ook gewoon ChatGPT

[Juice2000]

Als je wilt spelen met lokale taalmodelllen, dan kan ik Jan aanbevelen, open source en te downloaden op https://jan.ai .
Je kan er een heel zwik lokaal draaiende ai-tekst-modellen mee downloaden en uitproberen.
ChatGPT zit er ook in, maar dan heb je wel een account nodig natuurlijk, en dat draait dan niet lokaal.
Bar goed in programmeren al dat spul.

[Ht87]

Leuke, die kende ik niet. Ik heb een tijdje gebruik gemaakt van poe.com, je hebt dan geen accounts nodig bij de losse LLM’s, maar hebt dan een aantal tokens die je bij de verschillende aanbieders kunt inzetten. Leuk om dezelfde vraag aan verschillende taalmodellen voor te leggen. Zo herschreef Mistral mijn teksten een stuk beter dan ChatGPT deed met dezelfde prompts.

Edit: ai, je had t over lokale LLM’s, ik las verkeerd excuus!

[Reactie gewijzigd door Ht87 op 22 juli 2024 13:29]

[Odysseus1985]

Is een Mini Large Language Model dan niet gewoon een Language Model?

[Recursio]

Goed punt. Ik heb dat nagevraagd bij de grootste dwerg ter wereld, en voor de zekerheid ook aan de kleinste reus ter wereld (toevallig beide even lang als ik) en zij denken van wel.

[pim]

GPT-4o Mini moet vanaf donderdag beschikbaar zijn voor gebruikers van de gratis versie van ChatGPT en betalende klanten.

Dat heet ook wel "iedereen".

[MennoE]

Niet iedereen is gebruiker van ChatGPT.

[Thijzer]

Enterprise klanten pas volgende week.

[Alxndr]

Kleinere modellen zijn minder krachtig dan grotere,

Goh echt waar? Maar hoe merk je dat dan als gebruiker?

edit: voordat iemand me te snel af is, dit heeft ChatGPT er zelf over te zeggen:

Vanuit het oogpunt van de gebruiker zijn er verschillende verschillen tussen een klein en een groot taalmodel. Hier zijn enkele van de belangrijkste:

Prestatie en Nauwkeurigheid:
Grote Taalmodellen: Deze modellen hebben doorgaans een hogere nauwkeurigheid en kunnen complexere vragen en opdrachten beter begrijpen en beantwoorden. Ze hebben meer trainingsdata en parameters, wat resulteert in een diepere en rijkere contextbegrip.
Kleine Taalmodellen: Deze modellen zijn minder nauwkeurig en kunnen minder complexe vragen en opdrachten aan. Ze missen vaak de diepte en het detailniveau dat grote modellen kunnen bieden.

Snelheid:
Grote Taalmodellen: Door hun omvang kunnen grote modellen trager reageren, vooral als ze op hardware met beperkte rekenkracht draaien.
Kleine Taalmodellen: Deze modellen zijn meestal sneller omdat ze minder rekenkracht en geheugen vereisen.

Hulpbronnen en Kosten:
Grote Taalmodellen: Deze vereisen aanzienlijk meer rekenkracht en geheugen, wat kan resulteren in hogere kosten voor opslag en verwerking, vooral in cloud-gebaseerde toepassingen.
Kleine Taalmodellen: Deze zijn efficiënter in termen van hulpbronnen en kosten, wat hen geschikter maakt voor toepassingen met beperkte middelen.

Capaciteit voor Generatie van Tekst:
Grote Taalmodellen: Kunnen langere en complexere teksten genereren met een beter begrip van context en coherentie.
Kleine Taalmodellen: Zijn vaak beperkt in hun capaciteit om lange en complexe teksten te genereren en kunnen eerder incoherente of minder relevante output geven.

Aanpassingsvermogen en Flexibiliteit:
Grote Taalmodellen: Zijn beter in staat om zich aan te passen aan verschillende onderwerpen en contexten, dankzij hun uitgebreide trainingsdata en parameters.
Kleine Taalmodellen: Hebben beperktere aanpassingsmogelijkheden en kunnen moeite hebben met minder vaak voorkomende of zeer gespecialiseerde onderwerpen.

Toegankelijkheid:
Grote Taalmodellen: Kunnen door hun hogere kosten en vereisten voor rekenkracht minder toegankelijk zijn voor kleinere bedrijven of individuele gebruikers.
Kleine Taalmodellen: Zijn vaak breder toegankelijk door hun lagere kosten en lagere eisen aan hardware.

Voor de gebruiker betekent dit dat de keuze tussen een klein en een groot taalmodel afhangt van de specifieke behoeften en beperkingen, zoals de complexiteit van de taken, de beschikbare middelen, en de vereiste snelheid en nauwkeurigheid.

[Reactie gewijzigd door Alxndr op 22 juli 2024 13:29]

[WaarAnders]

Kan dit ook uitgedrukt worden in tokens? Als we het over 5000 tokens hebben, is de mini dan minder dan het grote model?

En ook interessant, hoe verhoudt mini zich tot gpt3?

[Reactie gewijzigd door WaarAnders op 22 juli 2024 13:29]

[SE USER]

Ik vind ChatGPT eigenlijk niet goed. Alles wat ik vraag weet hij niet. Dan vind ik Copilot veel beter, die weet het tenminste wat ik vraag.

[Skit3000]

Ik denk dat het doel van een llm ook niet is om je vragen feitelijk te kunnen beantwoorden, maar om je opdrachten uit te voeren met de context die je geeft. Copilot is in principe gewoon een llm die voor je op internet naar het antwoord zoekt. De (betaalde?) versie van ChatGPT 4o doet dat ook indien nodig (en kan met tientallen andere databronnen/plugins overweg).

[Kapitein187]

Ik heb 4o mini even geprobeerd en het is met veel prompts inderdaad veel sneller met antwoorden.

[MindBender]

De feature waar ik dringend op zit te wachten, is dat ChatGPT zegt dat hij het antwoord op je vraag niet weet, in plaats van dat hij het gaat verzinnen en je het met het grootst mogelijke zelfvertrouwen vertelt.

Ik heb mijn plus abonnement beëindigd, omdat ik het nog niet bruikbaar vind. Wat mij nog het meeste verbaast is hoe slecht hij zeer eenvoudige opdrachten uitvoert: Het omwisselen van twee kleuren, in een tweekleurige illustratie geeft al de meest waanzinnige resultaten. Maar het computerspel snake implementeren in Python is geen probleem. (Hoewel dat natuurlijk ook veel zegt over Python en Python-programmeurs)