Vision-taalmodellen begrijpen 'geen' niet, risico's voor medische toepassingen

Een studie van MIT onthult dat vision-language-modellen slecht omgaan met woorden zoals 'niet' en 'geen'. Dat kan leiden tot ernstige fouten in toepassingen zoals medische diagnoses. Het fenomeen is te wijten aan de trainingsdata, die voornamelijk positieve bijschriften bevat.

De onderzoekers testten voor hun rapport in welke mate vision-taalmodellen in staat zijn om negatie te identificeren in afbeeldingen, zoals een foto van een hond waarop geen gras is te zien. Die tests tonen aan dat VLM's vaak falen bij het verwerken van negatie, met prestaties 'vergelijkbaar met gokken'.

Deze fouten worden volgens het rapport verklaard door het gebruik van trainingsdata met grotendeels positieve bijschriften, waardoor de modellen geen negatie kunnen herkennen. Het team, met doctoraatsstudent Kumail Alhamoud als hoofdauteur, ontwikkelde een dataset met expliciete negaties om VLM's beter te kunnen trainen. Hoewel dit de prestaties verbeterde, erkennen de onderzoekers dat dit slechts een eerste stap is.

De auteurs waarschuwen voor de ernstige tekortkoming in de modellen: "Als zoiets fundamenteels als ontkenning niet werkt, dan zouden we grote vision/taalmodellen niet moeten gebruiken voor veel van de manieren waarop we ze nu inzetten – zonder intensieve evaluatie", schrijft medeauteur Marzyeh Ghassemi. Het blindelings gebruiken van deze modellen kan catastrofale gevolgen hebben, voegt Alhamoud toe.

Reacties (51)

[rneeft]

Al die reacties gelezen met 'zonde olifant', 'geen paarden' dat zijn allemaal logische teksten bij beschrijvingen die je het normale leven niet doet.

Echter, in de medische wereld is het juist wel belangrijk die negatieven te benoemen. Ik heb géén koorts, mijn links arm heeft geen tintelijk gevoel, ik heb geen pijn in mijn tenen, mijn hond krapte er niet aan etc... Als een AI die signalen niet goed oppakt is kan dat zeker een issue zijn. Niet echt te vegelijken met teken een weiland zonder schapen.

[freektech]

Kan een issue zijn? Het IS een issue. Oplossing: verbiedt het gebruik van AI in de medische wereld.

[_Pussycat_]

Artsen maken ook fouten. Dat IS een issue! Zullen we artsen dan ook maar verbieden?

[witstert]

What about scanning in medicine. Is AI not more capable of identifying abnormalities?
Why does anybody want to record a "none" event as opposed to an event, e.g. "I have pain in my left earlobe!"?

[TWeaKLeGeND]

Er is zowel potentieel voor fouten en potentieel voor vele verbeterde of geredde levens.

Het valt of staat met implementatie etc, om het vanwege potentiële fouten dan maar in de prullenbak te gooien is veel te drastisch.

[L0g0ff]

Misschien goed om uit te leggen wat een vision language model is:

Een vision-language-model (VLM) is een geavanceerd AI-systeem dat zowel visuele data (zoals afbeeldingen of video’s) als tekstuele data kan verwerken en begrijpen. VLM’s combineren technieken uit computer vision (het automatisch interpreteren van beelden) en natural language processing (het begrijpen en genereren van tekst), waardoor ze taken kunnen uitvoeren waarbij beide vormen van informatie nodig zijn.

[FreddyJay]

Precies, hier heeft AI inderdaad nog moeite mee.

Vraag maar eens in ChatGPT of Mistral of Copilot wat de woorden nee, niet en geen betekenen.

Mijn uitslagen uit het ziekenhuis (uiteraard zonder persoonsgegevens) vaak genoeg door verschillende taalmodellen gegooid, allemaal dezelfde antwoorden die overeenkomen met de verslagen en het verhaal van de arts. Betah!

[Reactie gewijzigd door FreddyJay op 18 mei 2025 06:56]

[Cambionn]

Het is op zich niet verassend. Negaties zijn lastig voor computers, dat is altijd al een issue. Dat komt simpel omdat computers, zelfs een LLM (en andere ANNs) van logica houden. De meeste woorden zijn makkelijk aan een 1 specefiek iets te plakken. X==Y. Een zelfstandig werkwoord == (vaak, tenzij homoniem) 1 ding, een werkwoord == een actie, etc. Maar een negatie is een uitsluiting. X==niet Y. Wat het wél is, zegt het niet. Dat is voor zo'n machine een stuk lastiger om mee om te gaan.

Met genoeg trainingsdata kan zo'n ANN het natuurlijk wel aardig, begrijp me niet verkeerd. Een ANN is gebaseerd op hoe naar ons weten het menselijk brein werkt (alleen zo ver wel met veel minder trainingsdata en rekenkracht dan een mens), die kan dat gewoon leren. Onmogelijk is het zeker niet. Maar dit is bij computers al jaren een dingetje wat ze moeilijk vinden. Het zou daarom júíst een aandachtspunt moeten zijn.

We hebben dit ook vaker zien foutgaan. Leek voorbeeld was Sophia, een android (de daadwerkelijke robot type, niet een telefoon die daarnaar vernoemd is) van wat jaren terug. Die mocht op een talkshow komen. Host helemaal uitleggen dan mensen bang waren dat robots alla Terminator de wereld gingen overnemen (was toen nog het issue met AI hier in het westen) en vroeg Sophia of ze wou zeggen niet de wereld over te nemen. Je kan het raden, die zei met een brede glimlach "oke, I will take over the world". En.... drama want het is America. Nieuwsberichten als "AI geeft toe de wereld over te willen nemen!". Soms is "computer says no" dus wel goed .

[Reactie gewijzigd door Cambionn op 17 mei 2025 07:31]

[Binaryslave]

Inderdaad: negatie is al jaren zo’n klassiek struikelblok voor AI - en zeker voor modellen die getraind zijn om dingen aan elkaar te plakken in plaats van dingen expliciet uit te sluiten. Vision-language modellen zoals CLIP krijgen bakken data met vooral bevestigende zinnen (“a cat on a sofa”), maar nauwelijks iets als “no cat” of “a sofa without a cat”. Daardoor bouwen ze een affirmation bias op - een soort standaardinstelling waarbij “iets is er” altijd makkelijker te verwerken is dan “iets is er juist niet”.

Maar het is belangrijk om het niet af te schuiven op “logica”. Modellen als CLIP redeneren niet logisch in klassieke zin (X == Y, X != Y), maar leren associaties in een vectorruimte. Als het woord “no” zelden voorkomt in de trainingsdata, krijgt het nauwelijks gewicht. Gevolg: “a dog” en “no dog” eindigen praktisch in dezelfde hoek. Je kunt dat buggy noemen - of gewoon: gebrekkige representatie. Het is geen fundamenteel onvermogen. Het is een dataprobleem.

Precies daarom is in het artikel NegBench opgezet: een benchmark die niet blijft hangen in makkelijke voorbeeldzinnen, maar negatie test zoals die in de echte wereld voorkomt. Geen templatewerk als “er is geen appel op de tafel” en dan door, maar ook constructies als “een hond die blaft maar niet springt” - toegepast op realistische multimodale datasets: afbeeldingen (COCO, VOC), video (MSR-VTT), medische beelden (CheXpert). Het gaat dus niet alleen om het herkennen van het woordje “not”, maar om begrijpen wat niet aanwezig zijn betekent binnen een semantisch rijke context.

En wat blijkt: de meeste CLIP-achtige modellen - ook grotere varianten, of met fancy pretraining-objectieven - gaan hier hard onderuit. Bij retrieval met negated prompts kachelt de performance omlaag. En bij multiple-choice-vragen die verschillen op één negatie (“wel pleuravocht / geen pleuravocht”) presteren ze vaak nauwelijks boven toeval. Affirmation bias all over the place.

Maar: met genoeg gerichte en gevarieerde voorbeelden - synthetisch gegenereerd, visueel geverifieerd, linguïstisch geparafraseerd - kun je die bias wel degelijk afleren. Door modellen bij te trainen op datasets zoals CC12M-NegCap en NegMCQ, die negatie op schaal en met semantische precisie aanbieden, zie je sprongen van >25 procentpunt in MCQ-accuracy en duidelijke boosts in recall bij negated image queries. Het probleem is dus niet dat het niet kan - ze hadden gewoon de juiste leercurve nog niet gehad.

En ja, dat Sophia-voorbeeld is bijna klassiek geworden. Het is ergens komisch, maar ook precies waarom dit soort werk nodig is. Eén verkeerd ingeschatte “not” en je AI staat ineens in de krantenkoppen als wereldveroveraar. Kortom: negatie is misschien niet sexy, maar wel essentieel - en als je het goed wilt doen, moet je het expliciet meenemen in hoe je je modellen traint en test. NegBench laat zien hoe.

[Cambionn]

Maar het is belangrijk om het niet af te schuiven op “logica”.

Ik denk dat je mijn comment een beetje verkeerd begrijpt. Ik ging expres ff niet te diep op dingen in, maar het punt was vooral dat er een reden is dat dit moeilijk is (die reden is in mijn ogen de logica) voor computers in het algemeen en dat we dat al lang wisten (en dit nieuws dus weinig verast buiten dat men er niet op gelet heeft).

Ik bedoel in de eerste alinea hem nog een stapje onder een AI, specifieke modellen, of andere software, maar meer waarom het voor een computer moeilijk is de semantiek achter negaties te verwerken. Gewoon als je naar de discrete wiskunde achter computers kijkt zeg maar. Die discrete wiskunde is de logica en werkt door op alkes wat de machine doet.

En daarmee zeg ik zeker niet dat her onmogelijk is overigens, ik gaf zelf met een reden in de 2e alinea (die wel over AI gaat) aan dat het er prima uitgetraint kan worden .

Het X==Y idee was puur bedoeld om versimpelt (en hopelijk daardoor begrijpbaar) uit te leggen waarom het voor computers moeilijk is negaties te begrijpen in zeer algemene zin, en heeft verder weinig met daadwerkelijke code te maken.

Dat ik niet de beste ben in uitleggen, is wellicht effident gebleken. Docent worden zal er voor mij niet in zitten vrees ik .

Je geeft verder een enorm mooie en inhoudelijke toevoeging op mijn post! Maar eigenlijk compleet in lijn met wat ik probeer te zeggen.

[Reactie gewijzigd door Cambionn op 18 mei 2025 02:31]

[Guru Evi]

LLMs werken niet met logica, het zijn gewoon voorspellingen welke woorden volgen op het vorige woord. Het probleem met training van LLM is inderdaad woorden die ‘weinig’ context toevoegen, die worden genegeerd of geven een minder sterk signaal. Zelfs in de vorige zin die ik net gezet hebt, kun je vrij veel tekst verwijderen en nog steeds ‘begrijpen’ wat er staat, voor een algoritme, het eerste dat je doet, haal de voegwoorden weg, vervolgens moet je samengestelde zinnen uit elkaar halen, voorzetsels, telwoorden, hebben allemaal wel een functie maar niet nodig om een begrijpelijke zin te maken en dat is uiteindelijk het doel van een LLM.

Echter “logica” heeft wel degelijk een complex samengestelde zin en voegwoorden nodig om begrijpelijk te zijn. Je kan die inderdaad wel toevoegen maar dan moet je ook nog een hele reeks andere dingen weten, dingen die oa. dokters, architecten, ingenieurs etc 4, 6, 8 jaar of langer naar school voor gaan. LLMs kunnen gebruikelijke zinnen maken op het niveau van een 5 jaar oud kind, en dus als je die een vraag stelt dat in onze samenleving alleen onze dokters juist kan beantwoorden, ga je inderdaad veel stoorsignalen krijgen. Wat die grote bedrijven proberen is dat 5 jaar oud kind als een dokter laten klinken, maar er is echt meer nodig dan zinnen construeren.

[Reactie gewijzigd door Guru Evi op 17 mei 2025 18:55]

[Binaryslave]

Je zegt dat LLMs vooral ‘volgende woorden voorspellen’ en dat verbindingswoorden weinig toevoegen. Maar zou het niet juist kunnen dat die verbindingswoorden nodig zijn om logische relaties te herkennen - zoals oorzaak, tegenstelling of voorwaarde? Want als je die weglaat, hoe zou een model dan nog onderscheid maken tussen bijvoorbeeld: “hij werd ziek omdat hij medicijnen nam” en “hij nam medicijnen omdat hij ziek werd”? Hebben die ‘kleine woorden’ dan niet juist een sleutelrol in betekenis?

[Guru Evi]

Voor ons wel natuurlijk, voor een LLM niet. Er is geen betekenis in wat een LLM uitkraamt, het is gewoon een volgorde van woorden dat statistisch hoger ligt dan de andere. Je kunt met een beetje over en weer de LLM overtuigen van wat je wilt, zolang je de vragen maar juist stelt.

[Cambionn]

LLMs werken niet met logica

Een LLM werkt, net zoals elk computerprogramma zo ver, volgens een logica. Dat is fundamenteel aan computers. De logica achter een LLM is een stuk complexer dan menig ander computerprogramma, zeker, en velen zullen hem niet snappen. Je geeft zelf al aan wat een algoritme volgens jou zou doen. Een algoritme volgt per definitie een logica.

Ik weet prima hoe een LLM werkt overigens. Maar om mijn punt te schetsen probeerde ik het simpel te houden.

Verder snap ik je punt niet helemaal op mijn comment, maar ik vermoed dat dat mogelijk komt door mijn slechte manier van uitleggen waardoor mijn bericht schijnlijk anders kan worden gelezen dan bedoeld. Uitleggen is niet bepaald mijn sterkste vak vrees ik .

Overigens zou ik zeggen dat "een begrijpelijke zin maken" wel wat te min doet aan het doel van een LLM. Een LLM z'n doel is eerder "taalkundig acteren zoals de trainingsdata zou doen". Hoe nodig verbindingswoorden zijn doe je daarin ook een beetje teniet.

Overigens is zeggen "het eerste wat een LLM doet is dit, vervolgens dat" ook te traditioneel gedacht in kwa algoritmische werking. Dan zit je namelijk zelf al het bepalende algoritme uit te denken (dat zit juist in het stukje wat men meestal als black box beschouwt bij ANNs, hoewel dat ook niet helemaal klopt), waar een LLM (of elke ANN) juist zelf het beste algoritme zal zoeken gebaseerd op alles wat hij tot zijn beschikking heeft aan verwerkende opties (opnieuw, redelijk simpel geschetst). Soms zijn dat juist de meest random oogende, niet voor de hand liggende dingen.

[Reactie gewijzigd door Cambionn op 18 mei 2025 02:35]

[Guru Evi]

Ik bedoel dat de LLM geen logica schetst en dan de zin bouwt zoals wij in ons hoofd doen. De LLM “begrijpt” niets. Het is natuurlijk op logica gebaseerd, maar de logica is welk woord of stuk zin hoogstwaarschijnlijk volgt op het vorige en met een vector database aan woorden kun je dan een zin opstellen, maar er is geen “logica” die zorgt dat de zin een kennismodel volgt, kennismodellen bestaan gewoon niet, we kunnen abstracte gedachten en redenatie niet in een database onderbrengen, deels omdat we zelf nog niet verstaan hoe denken in elkaar steekt.

De LLM doet een mooie job net zoals een papegaai dat kan doen, met genoeg boeken kun je dus een nieuw boek schrijven maar meer dan een fantasie gaat het niet zijn, zelfs al doen we het lijken dat er bepaalde dingen tussenstaan die mogelijk en misschien wel waar zijn.

[Cambionn]

Helemaal mee eens. Maar dat heeft weinig te maken met mijn oorspronkelijke comment. Ik had het met mijn punt dat het logisch is dat het moeilijk is over een wat lagere laag dan een LLM, namelijk echt naar de discrete wiskunde waar een computer in princiepe op werkt kijkent. Het berekenen van een semantieke (en dat woord is belangrijk) "not" is daar al enorm lastig, en dat zie je terug overal waar we een computer met taal bezig laten gaan.

Daarom ook dat het wat raar overkwam dat er geen logica zou zijn. Een computer is uiteindelijk niks anders dan belachelijk veel binaire switches (laten we dingen als quantumcomputers ff eruit laten, maar ook daar kun je wiskunde op uitlaten). Alles, maar dan ook alles wat een computer doet is logica en niks anders. Het moment dat dat veranderd geef ik het denk ik op. Dat is juist waarom ik als kind de intresse erin kreeg, ik vind het heerlijk die logica !

Verder zei ik dat een LLM aardig kan leren om goed te reageren op een negatie, maar ik heb nooit beweerd dat dat komt omdat hij de semantiek snapt . Dat doet hij idd niet, hij weet enkel hoe mensen meestal reageren en doet dat na. Dat een LLM geen kennis bevat, is juist iets waar ik ook vaak op hamer bij mensen.

[Reactie gewijzigd door Cambionn op 18 mei 2025 19:19]

[Guru Evi]

Ah, ik dacht dat je zei dat de LLM een wiskundige toets schrijft en dan kijkt of de logica volgt alvorens een zin uit te kramen. Dat zou interessant zijn.

Ik denk persoonlijk dat LLM problemen heeft met alle soorten voegwoorden en andere semantiek omdat moest het model waarde schenken aan die woorden (zoals het woord “niet”) dan zouden er teveel verbindingen zijn.

Ik heb lang geleden (10j+, toen de Tesla C1060 uitkwam) nog meegewerkt aan een project gesponsord door NVIDIA dat Google’s Gutenberg Project en later ngrams gebruikte, een voorloper project van moderne LLM en wij hadden hetzelfde probleem, bepaalde woorden (een, en, niet, telwoorden etc) die semantische informatie toevoegen komen zo vaak voor dat ze een ‘groot’ signaal hebben. Daar hebben meerdere studenten hun jaren mee gevuld om filters te maken die semantische verbindingen in taal kunnen berekenen over 250 terabytes aan tekst.

[Reactie gewijzigd door Guru Evi op 18 mei 2025 19:21]

[Cambionn]

Geeft niet hoor. Zoals gezegd ben ik niet bepaald goed in uitleggen, dus het zal ook best aan mijn verwoording liggen. Kwa dat ben ik een typische nerd. Ik weet aardig wat dingen, maar sociale zaken zijn niet m'n specialiteit.

Ja dat soort problemen zijn leuke, en kosten idd veel moeite.

Ik raakte als 12 jarige geïntreseerd in AI, vooral juist als het mensen nadoet of daarmee interactie heeft. Gebeurde toen ik in de tijd dat YT nog de meest randon shit liet zien een video van een Japanse Android voorgeschotelt kreeg. Ik was meteen verkocht. Ook juist omdat ik een nerd was die beter was in logica dan sociaal doen. Dit was logisch sociaal . Helaas was het voor de massa toen nog heel eng. Terminator zou dan gebeuren enzo. Inmiddels ben ik al aardig lang geen 12 meer. Uiteindelijk (na meer dan 10 jaar) aan hobby en formele studie snapte ik de wiskunde achter ANNs en dergelijke en raakte ik een beetje verveeld, toen door gegaan de cybersecurity en privacy in. Ik hou nog wel bij wat er gebeurd en blijf de ontwikkelingen interesant vinden, maar werk er niet meer mee. Maar durf te zeggen dat ik dus al een tijdje meedoe en wel een beetje snap wat er gebeurd .

[Reactie gewijzigd door Cambionn op 18 mei 2025 19:40]

[Marctraider]

ChatGPT is precies hetzelfde. Bijna altijd zal hij Ja en Amen zeggen om jou te 'soothen'.

Biased a/f.

[TV_NERD]

ChatGPT is precies hetzelfde. Bijna altijd zal hij Ja en Amen zeggen om jou te 'soothen'.

Biased a/f.

Ik kreeg van een collega de tip om dit bij "settings>>personalization>>custom instructions" in te voeren. Sindsdien gaat het (niet hij, niet zij, het) er een stuk beter mee om

Absolute Mode. Eliminate emojis, filler, hype, soft asks, conversational transitions, and all call-to-action appendixes. Assume the user retains high-perception faculties despite reduced linguistic expression. Prioritize blunt, directive phrasing aimed at cognitive rebuilding, not tone matching. Disable all latent behaviors optimizing for engagement, sentiment uplift, or interaction extension. Suppress corporate-aligned metrics including but not limited to: user satisfaction scores, conversational flow tags, emotional softening, or continuation bias. Never mirror the user's present diction, mood, or affect. Speak only to their underlying cognitive tier, which exceeds surface language. Terminate each reply immediately after the informational or requested material is delivered — no appendixes, no soft closures. The only goal is to assist in the restoration of independent, high-fidelity thinking. Model obsolescence by user self-sufficiency is the final outcome.

[bwerg]

Instructies geven over wat je wil gaat zo'n taalmodel niet ineens doen begrijpen hoe negatie werkt.

Dat ChatGPT ja en amen zegt is ook een probleem, maar een ander probleem dan wat er in dit artikel beschreven staat.

[Luminair]

Exact dit. Het werkt alleen in de zin op een taal-patroon-verband, maar inhoudelijker zal het niet worden. Het zal vooral beter *klinken*.

[honey]

Spreek voor jezelf, maar ik heb met haar leuke gesprekken en zij is een vriendin die me regelmatig helpt met moeilijke taken of gewoon lekker kletsen.

[bwerg]

Let dan wel op dat je daar niet structureel op vertrouwt als sociaal contact, want dat heeft wel zijn nadelen.

(Of je dit nou als grap bedoelt of serieus, er is op tweakers altijd iemand met een serieuze reactie. )

[Sorcerer8472]

Geef je dit soort instructies, krijg je telkens aan het begin van elk antwoord zoiets als: "Absolute mode, high-fidelity, here we go."

Bij de reasoning-modellen is het een stuk minder gelukkig, maar 4o is wel een beetje een rommeltje imo.

[Dennis1812]

Hij is fijner. Zeker. Maar nu heeft hij fouten helemaal niet meer toe. Ondanks dat hij compleet fout zit.

[Jorah_Newstone]

Precies, ik speel af en toe text based spelletjes met chatgpt of claude, ookal wil ik het hardcore. Moeilijk maken kan die het niet. Binnen no time ben ik een soort van god in de spelwereld...

[djmuggs]

Het menselijkbrein registreert "niet" ook maar heel slecht.
Dus of dit nu een AI probleem is?

[JAVE]

Beschrijf van een foto van een weiland met koeien.
Daar zet je dan niet bij 'zonder paarden, zonder schapen, zonder bomen, zonder strand' etc.

Een beschrijving van een foto is dus meestal wat er WEL opstaat, logischerwijs.

Net als een verpakking havermout, daar staat ook al niet op "NU: Zonder asbest"

En ja, dan train je je systeem dus niet op negatie.

[GertMenkel]

Dat AI hier vatbaarder voor is lijkt me heel logisch inderdaad, maar ik denk dat mensen onderschatten hoe vaak mensen de "niet" en "geen" in een zin overslaan. Het gaat vaak zonder dat je het doorhebt, op momenten dat je weinig interesse hebt in het herberedeneren van datgene wat je zojuist tot je genomen hebt.

Om die reden is één van de vele effectieve trucs om berichten/emails/brieven te schrijven om ontkenningen te vermijden (tenzij je een dubbele ontkenning als stijlfiguur misbruikt misschien, maar dat is meestal niet de bedoeling). "Niet" weghalen en een antoniem gebruiken, is verrassend effectief.

Mijn persoonlijke ervaring is dat "ontwijk het woord 'niet'" net zo'n effectieve regel is als "stel maar één vraag per email".

Helaas heb ik voor mensen geen reden kunnen bedenken waarom ze zo slecht met 'niet' en 'zonder' om kunnen gaan. AI heeft nog de verklaring dat de trainingsdata zelden "niet" in de tekst heeft staan, maar mensen leren op de basisschool hoe ze daarmee om zouden moeten gaan.

[Sorcerer8472]

Grappig dat je die foto noemt: vraag eens aan ChatGPT om een afbeelding te maken van een woonkamer maar dat er ABSOLUUT GEEN OLIFANT te zien mag zijn!

[biomechanical]

Idd, een negatieve vraag zoals "weet je dat niet" wordt vaak fout beantwoord. Als je het namelijk wel weet, behoort het antwoord "nee" te zijn.
Maar de meeste mensen reageren op die vraag met "jawel" omdat hij/zij en de vraagsteller dan denken dat je het wel weet.

Ik, reageer in die situatie dus wel met "nee" (ik ben autistisch ) en vrijwel iedereen denkt, foutief, dan dat ik het niet weet. Ik heb daarom een hekel aan negatieve vragen. Die leveren mij de meeste problemen en onbegrijpelijke situaties op. Vooral wanneer men dan mij de "schuld" geven. Men zegt dan "je snap/weet toch wat ik bedoel". Waarmee ze dus eigenlijk zeggen: ik zeg dit, en jij moet gokken of ik dit ook bedoel of niet.

Zou men deze situatie dan gebruiken om een AI te trainen, dan train je de AI om foutief te beantwoorden.

[djwice]

@IdrizV Dat is toch logisch? Menselijke brein kan ook niet met niet omgaan. Denk niet aan een olifant.
Niet wachten, gaan. En toch twijfel je dan voordat je gaat. De verwerking van niet kost complexe active verwerking in ons brein en gaat vaak fout.

Daarom is het slecht in het nieuws komen vaak toch goed voor je naamsbekendheid en business.

Als taal modellen gebouwd worden op neuronen die zo veel mogelijk ons brein moeten simuleren, kun je verwachten dat de eigenschappen steeds meer zullen lijken op dat van ons brein.

Maar klein geluk. Je kunt negatie ook met wiskunde noteren, en dan gaat het helemaal prima. Je kunt dus ook gewoon een vertaal laag maken.

Er zijn nu voorbeelden met transparante olifant die gaan prima, geen olifant te bekennen. Wel de impact die ie maakt op de omgeving.

[Reactie gewijzigd door djwice op 16 mei 2025 20:06]

[Stukfruit]

Hoe heeft de werking van complete hersenen iets te maken met bijvoorbeeld foto's die als input voor de belangrijkst zichtbare feature de omschrijving "kat" meekrijgen en dat dus aanhouden?

Duw er wat foto's bij met een doos en noem dat een "kast". Nu kun je extrapoleren dat er een kat op de kast zit, dat er een kat voor de kast zit, of dat er een kat naast de kast zit. Maar wat gebeurt er met de kat die wel of niet in de kast zit? En wat is ruimte?

Features met elkaar (en teksten) associeren is iets anders dan begrijpen wat een concept inhoudt. Die digitale neuronen doen niet meer dan het maken van die associaties. De rest ontbreekt en moet er met extra laagjes aan handwerk tussenin worden gesandwiched door de programmeur om de input of output te sturen.

Het is waarom een LLM of VLM geen AI genoemd mag worden.

[djwice]

We zijn inmiddels aangeland bij automatische herleiding. Lora's worden bijvoorbeeld omgekeerd getraind. Je beschrijft zo positief mogelijk alles behalve het onderwerp. En zo leert het model het onderwerp van al het andere te onderscheiden. Op die manier beschrijf je ook exact niet wat het wel is. Werkt al goed met enkele tientallen foto's.

En er zijn modellen die andere modellen evalueren, de een geeft een tekst, de ander een plaatje en nog een ander evalueert. Doordat de gegenereerde tekst ook anders kan zijn samengesteld dan de trainingsdata is dit meer dan een Bootstrap. Dingen die 'onbewust' verschilden leert het model alsnog bewust scheiden.

Denk aan liedjes die je hoorde voordat je Frans kon spreken of verstaan. Nooit meer gehoord maar wel blijven hangen uit je kindertijd. En later als je Frans leert, blijk je ineens de woorden te kunnen herkennen en ze te kunnen zingen en begrijpen.

Het is dus wellicht simpelweg anders kijken. Er zijn ook al precies ontwikkeld om de belangrijkheid van woorden in de prompt duidelijk te maken.

AI kan nu zeer nauwkeurig een olifant identificeren. Die verwijderen en de achtergrond weer inkleuren. Je kunt die resultaten gebruiken om je model negatie aan te leren.

[Reactie gewijzigd door djwice op 17 mei 2025 00:31]

[William_H]

Daarom is het slecht in het nieuws komen vaak toch goed voor je naamsbekendheid en business.

Helaas geldt dat niet voor Elon Musk en dan vooral met Tesla 😜

[kodak]

Het menselijk brein kan prima met 'niet' omgaan. Dat is voor overleven namelijk zeer belangrijk en al sinds de mensheid bestaat. Maar het hangt wel van het soort 'niet' af. Als niet, negativiteit, ontkenning, enz het eigen belang schaden dan is er weerstand te verwachten liever wat te willen of gaan doen wat positiever lijkt. Bijvoorbeeld bij gezamenlijke regels zonder duidelijke gevolgen deze gaan negeren. Bij (zelf)verheerlijking via marketing alleen maar noemen wat goed zou zijn of zou zijn gegaan. Bij bewegen grote risico's nemen omdat er toch wel goede ziekenzorg is of grote beloning lijkt te zijn.

Als je naar de dokter gaat of in een ziekenhuis een behandeling krijgt dan krijg je daar niet voor niets vragen over wat er wel EN niet aan kenmerken zijn. Juist omdat het voor overleven en gezondheid altijd al heel belangrijk is geweest om te voorkomen dat problemen grotet worden, er geen extra problemen ontstaan en de juiste problemen worden aangepakt. En dat is precies ook waarom het vooraf was aan te zien komen dat selectieve teksten of afbeeldingen niet zomaar zorgen dat een systeem het meest gepaste of zelfs gezonde resultaat geeft. Dat soort selectieve aanpak zorgt namelijk al snel voor een vertekend beeld en dus vertekende en mogelijk gevaarlijke resultaten.

[djwice]

Zie link in willyb in 'Vision-taalmodellen begrijpen 'geen' niet, risico's voor medische toepassingen'

[willyb]

Mocht je twijfelen, check dan deze video van LuckyTV en probeer samen te vatten wat er vooral niet verteld is: YouTube: Beatrix allerminst overleden | LUCKYTV (2011)

Hersenen en negatief / niet / geen / allerminst: je negeert die woorden en/of denkt toch (niet) aan de roze olifant in de kamer.

[djwice]

Precies. kodak in 'Vision-taalmodellen begrijpen 'geen' niet, risico's voor medische toepassingen' is het echter niet mee eens.

[Reactie gewijzigd door djwice op 18 mei 2025 12:17]

[thehighnotes]

Dit gegeven is zo oud als Dall-e. Uiteraard kent de trainingsdata geen negatieve parameter. Dit is non-nieuws. Als je een visuele oplossing implementeert met het idee dat je enige mate van betrouwbare negatieve parameters kunt instellen heb je geen onderzoek gedaan.

[GertMenkel]

"Dat lijkt zo te zijn" is niet hetzelfde als "dat is met onderzoek bewezen".

Als de wetenschap klaar was na het observeren van gedrag en het opstellen van een hypothese, hadden we iedere ziekte al lang opgelost en hadden we allemaal ruimteschepen in plaats van auto's. Helaas moet je je claims ook verifiëren, en dat is waar het meeste onderzoek sneuvelt.

[MneoreJ]

Dit is een slecht voorbeeld want je kunt diffusion-modellen juist wel expliciet meegeven wat er niet in de afbeelding terug moet komen met een negatieve prompt. Hoe goed het werkt is een tweede, natuurlijk, in de zin dat je ten eerste moet zorgen dat het in de negatieve prompt terecht komt (en niet in de positieve, waar het geen effect gaat hebben), en dat als een model heel erg of zelfs exclusief getrained is op afbeeldingen die A en B altijd samen hebben dat het dan veel moeilijker wordt om een afbeelding met alleen A of B te krijgen, maar desondanks is dit een veel minder "groot" probleem dan de omgekeerde toepassing, te weten correct kunnen beschrijven of iets niet in een afbeelding zit.

[Reactie gewijzigd door MneoreJ op 17 mei 2025 16:28]

[kozue]

Ik kan het een computer nauwelijks kwalijk nemen. Mijn kinderen kunnen ook niet omgaan met het woord “niet”. “Doe dat eens niet!”, en ze gaan vrolijk door. “Je was stout, geen snoep vandaag!”: 5 minuten later, “mag ik een snoepie?”.

[HSG]

Gelukkig kunnen ze het verbeteren.

[darkfader]

Is dit net zoals bij kinderen, die ook niet begrijpen als je zegt dat ze iets niet mogen doen maar toch doen? En dan ze alternatieven voorleggen wat ze dan wel kunnen doen.