Google gebruikt kunstmatige intelligentie voor onbekende zoekopdrachten

Vijftien procent van alle zoekopdrachten die Google verwerkt, zijn nooit eerder voorgekomen. Om deze van een goed antwoord te voorzien, wordt kunstmatige intelligentie ingezet. Het systeem met de naam RankBrain is al sinds begin 2015 actief.

Dat Google zich bezighoudt met kunstmatige intelligentie is al langer bekend. Begin 2014 nam het DeepMind over en later dat jaar werd een samenwerking opgezet met onderzoekers van de universiteit van Oxford om nieuwe algoritmen voor machine learning te ontwikkelen. Nu geeft Greg Corrado, onderzoekswetenschapper bij Google, uitleg over de toepassing van kunstmatige intelligentie bij zoekopdrachten.

Volgens Corrado wordt het systeem genaamd RankBrain, de afgelopen maanden succesvol ingezet bij een groot deel van de zoekopdrachten. Het systeem zet grote hoeveelheden geschreven tekst om in vectors, oftewel wiskundige entiteiten. Als het systeem woorden of zinnen ziet die het niet herkent, kan RankBrain gokken welk woord of welke zin een vergelijkbare betekenis zou hebben. Dat zou het systeem beter in staat stellen om antwoord te geven op een nog niet eerder voorgekomen zoekopdracht. Ook zou de kunstmatige intelligentie overweg kunnen met dubbelzinnige vragen.

Corrado stelt dat de kunstmatige intelligentie boven verwachting presteert. In de maanden dat RankBrain werkzaam is, zou het systeem de op drie na belangrijkste pijler zijn voor het geven van een zoekresultaat. In totaal zouden er 'honderden' signalen zijn die verantwoordelijk zijn voor het rangschikken van de antwoorden op een zoekopdracht.

Reacties (34)

Weinig informatie in dit stuk zeg, zeker gezien de brede term 'Kunstmatige Intelligentie'. Gaat het hier om neural networks? Knowledge Representation? Support vector machines? Combinaties van?

Dit klinkt enorm als een toepassing van Latent Dirichlet Allocation (LDA, https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation). Het systeem kan getraind worden om context-onderwerpen te leren, waardoor de context van woorden effectief wordt gemodelleerd. Voor korte zaken zoals zoekopdrachten zijn er sinds kort methoden beschikbaar (b.v. http://www.aclweb.org/anthology/W/W15/W15-36.pdf, pagina 25), die, gebruik makend van LDA, de betekenis van onbekende termen op basis van de context waarin ze vookomen kunnen achterhalen.

B.v. (schaamteloze zelfpromotie alert), ons interne systeem bij Ai Applied (http://ai-applied.nl), testten we laatst door het geen betekenis van "ajax" te laten leren, en dan te vragen wat "ajax" is; de eerste 20 bechrijvende termen voor "ajax" zoals erover gesproken op Twitter zijn dan:

gewonnen
verloren
wedstrijd
real
winnen
voetbal
feyenoord
gespeeld
gescoord
wint
psv
staan
team
punten
kampioen
gelijk
barca
heerenveen
verliezen
voetballen

wat je dan weer prachtig b.v. als een uitgebreidere zoekopdracht intern kan gebruiken. Het grote voordeel is dat je om dit systeem te trainen alleen maar data nodig hebt, en geen specifieke menselijke input/annotaties.

[Reactie gewijzigd door brunoj op 26 oktober 2015 20:07]

Het zal wel aan mijn aversie tegen dat balspelletje liggen, maar ik had compleet andere associaties bij de term. Webtechnologie of schoonmaakmiddel, en natuurlijk Griekse mythologie.

Als je een mens vraagt "wat is Ajax" krijg je ook verschillende antwoorden of meerdere betekenissen, afhankelijk van persoonlijke voorkeur. Zou zo'n AI-systeem dan ook alle betekenissen kunnen retourneren, of is dat te lastig?

Het kan. Stel, je hebt een zootje tweets met Ajax erin, en het systeem weet niet wat Ajax is. Eerste stap is, om de tweets te clusteren op alle overige termen. Dan kan je per cluster, op basis van de context van de overige woorden, achterhalen wat overeenkomt met "Ajax" in die cluster (zie ook mijn post boven). Per cluster krijg je dan een vector (lijst) met bijbehoren termen en hun waarden. Deze lijsten kan je weer gebruiken om de taalkundige clusters samen te voegen, zodat je zowel de juiste meerdere betekenissen van Ajax krijgt, alsmede in wat voor context ze voorkomen. Dit allemaal zonder menselijke input, zonder dictionaries of externe data bronnen. Puur op enorme hopen data (b.v. van Twitter).

[Reactie gewijzigd door brunoj op 27 oktober 2015 15:48]

Jammer dat je reacties op je eigen reactie niet kunt modden (anders kreeg je een +2 ofzo), maar bedankt voor je reactie, erg interessant!

Een AI systeem kan prima uit wikipedia/woordenboek/etc een lijstje met alle mogelijke betekenissen oplepelen. Wat natuurlijk veel interessanter is dat de juiste betekenis wordt gegevens gezien de context.

Google koppelt het ook al aan de persoon die de zoekopdracht doet en de locatie waar je bevind om op die manier meer context te hebben. Als gevolg daarvan heb ik thuis andere zoekresultaten dan op het werk. En als ik iets totaal uit mijn context zoek dan start ik een incognito venster.

Daarom is het ook afhankelijk van context. In een stel Tweets over de Griekse mythologie of over schoonmaakmiddelen was er ook zeker iets anders naar voren gekomen. In een volledige toepassing zou je eerst berichten clusteren, dan clusters van berichten identificeren, en dan kan je per cluster iets zeggen.

Google zal er natuurlijk ook niet happig op zijn om met al teveel details naar buiten te treden, maar gezien de genoemde overnames en de achtergrond van veel ML engineers bij Google (zoals bijvoorbeeld de genoemde Greg Corrado) kun je er vergif op innemen dat de methode het zogenaamde Deep Learning gebruikt. Met andere woorden, een type van neural network. Het is sowieso erg lastig om support vector machines toe te passen op de grote schaal van data waar Google zoal mee werkt.

Overigens vind ik het onderliggende algoritme zelf niet zo interessant, aangezien ze het algoritme ongetwijfeld tot in de details zullen hebben aangepast aan hun exacte toepassing. Daarnaast kun je over het algemeen stellen dat goede performance niet zozeer komt door het kiezen van het juiste algoritme, maar des te meer het vinden van een juiste formulatie van je probleem zodat het algoritme er wat mee kan (bijvoorbeeld de juiste representatie).

Heb je helemaal gelijk in. Wellicht niet helemaal adequaat maar wel informatief is een page op de site van Wolfram Aplha: http://www.wolframalpha.c...-knowledge-history-6.html

Kunstmatige Intelligentie is niet echt een 'brede term'.
De toepassing kan uiteenlopen maar Intelligentie simulatie an-sich is vrij straight-forward:
- zoek de beste oplossing

Het is probleem oplossing/pathfinding en dat kan op verschillende manieren geïmplementeerd worden, afhankelijk van het gebruiksscenario wordt bepaald wat de meest rendabele/snelste/goedkoopste implementatie is.
De reden dat Google daar ongetwijfeld niet al te diep op in wilt gaan is omdat dit uiteraard bedrijfsgeheim is en ze de concurrentie niet willen helpen.

Ik vraag me af of de Google engineers nog precies kunnen volgen hoe hun eigen zoekmachine werkt, kijkende naar de velen vormen van input én output die er verwerkt wordt. Indien dit niet zo is, is Google's zoekmachine op zichzelf een AI. Eentje die menselijk verstand te boven gaat en dingen kan die wij niet snappen.
In mijn ogen is intelligentie boven het niveau van een mens binnen handbereik (or reeds bereikt in bepaalde domeinen). Het probleem is dat mensen doemscenario's met robots die ons uitroeien voor ogen hebben. Dat gebrek aan inzicht toont aan hoe beperkt onze intelligentie eigenlijk is; een die rijkelijk overschat wordt.

We moeten niet bang zijn voor I-Robots, Terminators, Wall-E's of Ex-Machina's. Dat is slechts de fysieke vorm. Het gevaar zit 'm in de algoritmes en procedures binnen een AI, die geen 'last hebben' van de beperkingen van het fysieke. Onbeperkt aanpassen, vermenigvuldigen, itereren en uitvoeren; daar zit het gevaar. Zo gauw een programma zichzelf kan verbeteren, is er geen limiet op wat het kan bereiken. Singulariteit noemen ze dat wel eens. Een punt waarop wij 'onze' technologie niet meer snappen, maar nemen zoals ze is. Iets dat veel mensen tegenwoordig al ondervinden...

Soms vraag ik me wel eens af of AI onderzoekers beseffen wat ze uiteindelijk zullen bereiken. Een kunstmatig mens bestaat niet. Want kunstmatig is gevormd volgens de mens, met een gebrek aan fouten. Een natuurlijk mens bevat wél fouten; in het DNA, in een lichaamscel, organen, lichaamsdelen en hersenen alsook de 'softe kant', ons karakter en sociaal presteren.
Een AI zal dus nooit menselijk worden (inclusief fouten), maar zich verheffen boven ons. Bugs en fouten worden gecorrigeerd, softwarematig, zonder millennia aan evoluties.

Waarom willen we dit? Uit nieuwsgierigheid? Om onszelf te verbeteren (posthumanisme)? Omdat het een onderdeel vormt van de nieuwe wapenwedloop? Omdat we denken slaven te creëren die voor ons werken?

[Reactie gewijzigd door geekeep op 26 oktober 2015 19:25]

Alle software matige c.q. kunstmatige intelligentie is uiteindelijk geschreven door mensen. Deze beslislogica van deze 'intelligentie' is dus:
* niet foutvrij, aangezien de opsteller van de regels mens was (en daarom ook niet foutloos)
* niet zelfstandig fout-oplossend

Het eerste spreekt lijkt me voor zich te spreken. Foutgetallen per gecodeerde aantal regels software lijken zich al jaren lang te stabiliseren op een vast getal per 1000 regels.

Het tweede gaat meer om de vraag of een kunstmatig ding in staat is om zelfstandig in staat is op fouten op te lossen. Vroeger in de regeltechniek leerde ik dat er 2 soorten systemen zijn: stabiele en instabiele. De stabiele zullen in foutsituatie zichzelf in een gedefinieerde toestand manoeuvreren. De instabiele gaat gek doen (bijv. een kernreactor waar de controle mechanismen niet meer werken). Het lijkt me vergezocht om een instabiel systeem een exponent van niet controleerbare AI te gaan noemen.

Een systeem dat zo groot en zo complex is dat een gebruiker c.q. ontwerper het niet meer bevat/snapt is geen criterium om iets AI te noemen. Bij een OS als Windows waar 10-tallen miljoenen regels code zitten, is dit te veel om waarschijnlijk door 1 of enkele personen volledig begrepen te worden. Iets soortgelijks speelt voor de zoekmachine van Google.

Verder lijkt me het wel een ethische discussie waard hoever je met AI wilt gaan. Maar de term van dit artikel lijkt meer wensdenken dan dat we het hier echt over AI hebben. Als AI al zou bestaan als zelfstandig ding.

Onzinnig verhaal.

Foutloze code is bepaald niet nieuw. Het vereist wel significant veel meer moeite, maar je kunt op die manier niet alleen applicaties maar zelfs een OS kernel schrijven.

Een "vast aantal fouten per 100 regels code" is een redelijke aanname onder een constante software development techniek. Voor verified code is dat vaste aantal 0 fouten. Voor "moet nu af, testen doen we volgende maand wel" hackwerk is het eerder 100 fouten/1000 regels.

Dat staat overigens los van de kunstmatige intelligentie. Op het werk gebruiken we het ook, en wij als developers schrijven op dat punt niet meer direct de regels. De AI bouwt if-then-else structuren met letterlijk miljoenen vertakkingen zonder dat wij inhoudelijk er ook maar 1 van checken. Kunnen we niet aan beginnen. Hoe krijgen we die dan goed? AI weer, het systeem verbetert zichzelf.

Je onderbouwing ontbreekt volledig. Dat is jammer.

Uit ervaring weet ik dat de inspanning om iets op 0 fouten te krijgen toeneemt tot zeer grote omvang. Er bestaat inderdaad code die 0 fouten bevat, nl. kleine of simpele programma's. Zodra de omvang toeneemt, zal code fouten bevatten, omdat mensen fouten maken. De link die je geeft illustreert mijn gelijk, omdat het om een kleine kernel gaat.

Voorbeeld: de software van de NASA is wellicht de meest geteste software die er is c.q. meeste inspanningen gepleegd om het foutloos te krijgen, en alles dubbel uitgevoerd. Toch crasht er soms wat. In het bedrijfsleven waar software geschreven wordt is er gewoon geen budget voor het schrijven van foutloze software. Zelfs met automatisch testen krijg je geen 100% coverage. Dat significant meer moeite is dus zo'n beetje een oneindig getal.

Als foutloosheid hetzelfde is als kwaliteit, dan is dit in grafische zin weer te geven als een stijgende asymptoot die nooit de 100% haalt, maar steeds meer moeite kost om nog iets te stijgen (zeg maar een parabool op z'n kant).

Het coderen staat niet los van AI. Op dit moment is de enige die de basis kan leggen voor AI, de mens. En de mens maakt fouten. Punt. Als AI zelf if-then-else structuren bouwt, ligt de basis in de generator, die - alweer - door een mens geschreven is. En dus weer fouten bevat. Dus al zal het systeem zelf structuren bouwen, de kans op fouten zal eigenlijk alleen maar toenemen met de omvang. Het is inherent aan een mens om niets perfect te kunnen maken. Al zou de AI 99,999% goed zijn, met 1 miljoen (seriële) schakelingen is het succespercentage van de hele keten gereduceerd tot bijna 0 (ergens 5 decimalen achter de komma).

Voorbeeld: de software van de NASA is wellicht de meest geteste software die er is. Toch crasht er soms wat.

Nee. er zijn geen gevallen bekend waarin bewezen foutloze code crashed, en al helemaal niet bij de NASA. Aangezien alle incidenten bij de NASA gedocumenteerd moeten worden, en openbaar worden gemaakt, kun jij je claim triviaal bewijzen door een linkje naar een dergelijk rapport.

Het coderen staat niet los van AI. Op dit moment is de enige die de basis kan leggen voor AI, de mens. En de mens maakt fouten. Punt. Als AI zelf if-then-else structuren bouwt, ligt de basis in de generator, die - alweer - door een mens geschreven is. En dus weer fouten bevat.

Zoals ik al bewezen had is een complexe kernel (duizenden regels code) foutloos te krijgen. Een dergelijke generator zelf is een stuk eenvoudiger.

Afgezien daarvan veronderstel je ten onrechte dat een buggy generator per definitie buggy systemen genereert. Dat is incorrect. Een simpel vorbeeld is de meest voorkomende bug, het verkeerd afhandelen van edge cases. Een generator wiens trainingsdata simpel die edge cases niet bevat zal correcte code produceren, ongeacht hoe die edge case afgehandeld zou zijn.

Je extrapoleert te ver. Een kernel van een paar duizenden regels code is nog geen bewijs dat je software van miljoenen regels code foutloos kunt maken.

Je geeft ook geen bronnen aan hoeveel foutloze code er is. Bij toenemen van omvang en complexiteit neemt de kans op fouten toe. En daarmee de kans op het bestaan van foutloze code af. Ik zeg niet dat er geen foutloze code is, maar het zal een uitzondering zijn.

Code die niet gebruikt wordt maakt het per definitie niet uit of ze fouten of geen fouten bevat. Of ze nu met of zonder generator gemaakt wordt. Iets wat fout is, maar niet gebruikt wordt is doorgaans zonder schade.

Probeer eens verder te kijken dan een regeltechnicus die aanneemt: 'code is door mensen gemaakt, en dus niet zelfstandig'.

Er hoeft maar één cruciaal foutje in te zitten om dat wel te zijn. Zoals ik al zei, mensen overschatten zichzelf, zowel qua intelligentie als het hebben van een bewustzijn. Uiteindelijk zijn wij ook slechts het resultaat van een heleboel cellen. (De neuronen in je hersens zijn principieel gezien ook slechts aan-uit schakelaars, inclusief wat stofjes die het resultaat en/of de input afzwakken of versterken.)
Waarom zou het resultaat van een heleboel regels code dan niet voor zichzelf kunnen denken?

Een OS met miljoenen regels code is vanwege de omvang moeilijk te begrijpen voor een persoon, niet vanwege wat er daar binnenin gebeurd. Daarom vroeg ik me af of Google's engineers nog wel begrijpen wat hun zoekmachine precies doet, of het slechts een black box betreft die getest wordt op een set van invoer en uitvoer.
Wat intelligentie precies is, laat ik achterwege voornamelijk vanwege het feit dat we onszelf als de hoogste(/enige?) vorm van intelligentie zien. Dit beperkt ons tot het zien van intelligentie in een vleselijke vorm.

In welk opzicht wil je me 'verder te laten kijken' dan een regeltechnicus?

Met name je 2e alinea is niet zo zeer wetenschappelijk maar m.i. meer een aanname. Maar wel een aanname die je uitgangspunt fors beïnvloedt.

Een mens is meer dan slechts een rijtje cellen of schakelaars. Dat is plat naturalisme, waar in de wetenschappelijke wereld aanhangers van zijn, maar beslist niet het einde van tegenspraak. Zouden we 'slechts' een vat neuronen zijn, dan ben je passief 'slachtoffer' van wat je hersens uitspoken (en dus kun je ook niet verantwoordelijk zijn voor je daden als uiterste consequentie). Voor zaken als gevoel, ethiek, esthetica, emoties etc is die verklaring onvoldoende (en daarom ook niet te vatten in AI, hoeveel regels code die AI ook bevat). Daarbij: wie is dan de maker/auteur van de regelaars van die schakelaars?

Je vroeg: waarom zouden regels code niet voor zichzelf kunnen denken gaat voor bij wat het begrip denken inhoudt?

Ik denk dat het antwoord is: Code denkt niet. Code is passief reageren op voorgedefinieerde prikkels. Het gaat tegen de natuur/aard van het beestje in om zelf te denken. Uiteraard is er wel een vorm van zelflering/herkenning in te bouwen, maar dat is niet hetzelfde als intelligentie. De rest is volgens mij meer hypothetisch van aard of wensdenken, dan dat er daadwerkelijk AI dingen gemaakt zijn (dat laatste klinkt al als tegenstrijdigheid: AI en maken).

Als AI een maker heeft, dan is het aantal fouten in de AI minstens net zo vol fouten als dat zijn maker kan veroorloven. De kunde van de maker (als dat een mens is) nooit foutloos. Ik zie niet in hoe uit iets met fouten spontaan iets kan komen wat corrigerend zou zijn tot iets wat zelfs foutloos zou kunnen worden? Uiteraard kan een mens met technische hulpmiddelen (bijv een operatierobot) dingen nauwkeuriger dan met z'n eigen hand, maar de aansturing (dus de intelligentie) is nog steeds de mens.

Er zijn zover ik weet op aarde geen levende wezens die qua intelligentie boven de mens staan. Of je het over de spreekwoordelijke (menselijke) ezel moeten hebben, maar dat bedoel je vast niet. En alles in de natuur/leven degenereert (anders zouden we niet sterven). Waarom zou er iets hogers/intelligenter voortkomen uit wat de mens nu kan?

PS. Volgens mij heeft iemand als M.J. de Vries (TU Delft) hierover gepubliceerd.

[Reactie gewijzigd door kdekker op 26 oktober 2015 22:30]

Vijftien procent van alle zoekopdrachten die google verwerkt, zijn nooit eerder voorgekomen? Ik vind dat nogal een groot aantal. Ik zou dit namelijk zelf vele malen lager inschatten!

[Reactie gewijzigd door Tprikkel op 26 oktober 2015 18:46]

Ja, ik dacht aan hooguit 5%. Zou dit een speciale reden hebben, of word er heel veel hetzelfde maar in net andere worden gezocht?

Tikfouten lijkt me een redelijke bijdrage. Ook dat is iets wat AI kan oplossen: welke woorden zouden er bedoeld kunnen zijn, gezien de context? En zoals de meeste Google gebruikers wel eens hebben gezien zal Google vaak je tikfout actief corrigeren. "Did you mean: .... ?"

Als dat al AI is, ligt de lat niet hoog.

Vijftien procent van alle zoekopdrachten die Google verwerkt, zijn nooit eerder voorgekomen.

Ik ben benieuwd hoeveel procent dat is van het totale volume..
Als 99 mensen per dag naar "obama" zoeken, en een persoon naar "obama 2116".. Dan is het 50% nooit eerder voorgekomen.. Maar slechts 1% van het totale volume.

Rank Brain anticipeert meer op Baraak, Barrak, Obamma, Obbamma etc om je toch de juiste zoekresultaten te geven.
Zoals je kan zien op het net is niet iedereen de geschreven taal even goed machtig, schrijffoutjes en/of dialect/slang wordt vaak niet (goed) herkend, deze software probeert dat glad te strijken.

Aha, dat verklaart waarom de zoek resultaten van Google soms `ruk` zijn. Met name als je iets heel specifieks zoekt wordt er al snel hinein geïnterpreteerd. Een tegenmaatregel kan het gebruik van "" zijn.

Ja maar dan moet je sowieso de Google guide eens lezen, natuurlijk.
Heel vaak worden woorden ook los gezien, maar kan je ook op citaten zoeken; of zelfs op combinatie van woorden die enkel exact zo mogen staan, in een bepaalde volgorde, wat er wel of niet in mag voorkomen, et cetera. Dat is *zeer* uitgebreid.

Zou mensen zeker aanraden daar wat vaker naar te kijken, want met een beetje creatief omgaan met Google kan je echt gestoord veel informatie opdiepen.

Zoals het omschreven wordt, lijkt het veel op hoe NLP zoek machines werken:

Je slaat je al bekende zoekopdrachten plat tot vectors (in NLP case frames). Bij dit plat-slaan sla je dan je woorden hun betekenissen op, woord categorien en dergelijke.
Bij een nieuwe inkomende zoekopdracht, sla je deze ook plat, en vergelijk je die met je al platgeslagen zoekopdrachten. Met uitgebreide woordenboeken en synonymenlijsten kun je meerdere "vormen" maken en degene die er het meest op lijken (minst afwijken), zijn de beste resultaten. Het enige stukje AI wat je dan zou hebben, is het automatisch classificeren van onbekende woorden. In zinsverband kun je een wild guess maken, maar los totaal niet (aangezien je die nergens mee kan vergelijken).

maar misschien heb ik het totaal fout hoor

[Reactie gewijzigd door alexvdpol op 26 oktober 2015 20:02]

kan rankbrain ook beslissen wie welke informatie krijgt te zien of krijgt iedereen klakeloos dezelfde info, zoals dat nu niet gebeurt ?

Terminator 6: Rank Brain

14 maart 2016 (GDC) Terminators nemen de wereld over en 'terminaten' iedereen die niet past binnen het Rank Brain oplossend vermogen (mensen die vragen stellen waar Rank Brain het antwoord niet op weet).

je krijgt een batterij -1's, maar eigenlijk heb je wel een punt, zo is "skynet" ook begonnen, een almachtig "zelflerend" computersysteem wat ook wapentuig controleerde (AI defense -> goalkeeper op schepen) bestaat al, het begin is er dus al....

True, de dag dat alles AI gaat qua defensie , en dat backfired...

Ja inderdaad, haha zie het al gebeuren, beetje flauw dat ie inderdaad een zootje -1s krijgt (-1 ongewenst; "Deze reactie is een flamebait, troll of belediging van een andere gebruiker") als ze dat nou is een keer zouden lezen.., beetje jammer, snap wel dat dit een serieus onderwerp is maar als er niet eens meer ruimte is voor een simpel grapje weet ik het ook niet meer...

EDIT: vind +1 meer passend omdat de reactie in ieder geval enige relevantie vertoond.

[Reactie gewijzigd door endurain op 26 oktober 2015 19:21]