Google toont AI-model RT-2 dat commando's kan omzetten in robothandelingen

Google Deepmind heeft het AI-model Robotic Transformer 2 getoond, waarmee het mogelijk moet zijn om taalcommando's te vertalen naar specifieke handelingen voor robots. Het bedrijf noemt dit het eerste 'vision-language-action'-model.

Volgens Google maakt RT-2 net als taalmodellen gebruik van data van het internet om tekstcommando's te begrijpen en om te zetten in specifieke robotacties. Het bedrijf stelt dat robots trainen tot dusver zeer complex was en miljarden datapunten vereiste. Ook bij Googles eerdere robot-AI-modellen, zoals RT-1 en PaLM-E, had de robot nog veel specifieke data nodig om concrete acties uit te kunnen voeren.

Om de robot bij eerdere modellen, bijvoorbeeld, afval weg te laten gooien, moest deze expliciet getraind worden om afval te kunnen identificeren, op te kunnen pakken en weg te kunnen gooien. Het nieuwe model zou de robot echter met een kleine hoeveelheid trainingsdata al zulke acties kunnen laten uitvoeren, ook als deze nooit expliciet op dergelijke handelingen is getraind. Hiervoor maakt het model gebruik van afbeeldingen uit een groot corpus van webdata om te begrijpen wanneer iets als 'afval' bestempeld kan worden.

Google heeft het nieuwe robotmodel getest met 'meer dan' 6000 verschillende taken. Bij taken die expliciet voorkomen in de trainingsdata presteert het nieuwe model net zo goed als het RT-1-model, stelt Google. Maar bij nieuwe, onvoorziene scenario's zou het succespercentage bijna verdubbeld zijn; van 32 procent bij RT-1 naar 62 procent bij RT-2. Volgens Google is er desondanks nog zeer veel werk vereist voordat robots behulpzaam kunnen zijn in mensgerichte omgevingen.

Een voorgetraind visual language-model is voor het RT-2-model gefinetuned om te werken met robots en webdata. Het model krijgt foto's doorgestuurd van de robot en geeft deze vervolgens handelingen om uit te voeren.

Reacties (37)

[BiaggioLuciano]

Hier al een paper van een vorige project omtrent dit onderwerp mede mogelijk gemaakt door Google researchers: Do as I can, not as I say. https://arxiv.org/abs/2204.01691. Mooie ontwikkeling en kan zeker wel een mooie inhaalslag worden voor Google mbt KI.

[Reactie gewijzigd door BiaggioLuciano op 29 juli 2024 00:51]

[IzzyG]

Dit zal waarschijnlijk veel invloed hebben op de snelheid waarmee de automatisering gaat. Goede zaak!

[dvtxc]

Ik twijfel net als @Ryunoru erover, of het een goede zaak is. Ik wil geen angst voor de toekomst hebben, maar ik denk dat onze samenleving nog helemaal niet op deze snelheid van de automatisering en de ontwikkeling van KI voorbereid is. Ik geloof wel dat onze samenleving in de komende 10 jaar zich veel meer zal veranderen dan zij in de afgelopen 10 jaar is veranderd.

De industriële revolutie vond ook niet in slechts 10 jaar plaats en heeft in principe slechts gedeeltelijk de behoefte aan spierkracht in een behoefte aan denkvermogen omgezet. De digitale revolutie heeft ook slechts gedeeltelijk een behoefte weggenomen en ons netto niet eens zoveel opgeleverd: we konden wel meer werk verzetten, maar de koopkracht is in die tijd niet gestegen.

We zien nu dat KI werkelijk het potentiaal heeft die laatste behoeftes aan denk- en organisatievermogen weg te nemen. Uiteindelijk zullen alleen bezitters in de economie overblijven: aandeelhouders, patentbezitters, hogere management. Maar zoveel mensen die beslissingen nemen, heeft een economie niet nodig. Huidige organisaties zijn ook een piramide met het gros van organisaties ijverige werknemers. IJverige werknemers verliezen door KI hun meerwaarde.

Ik vind deze inmiddels 9 jaar oud video wel grappig, waarin dit best aanschouwelijk wordt uitgelegd. We waren nog nooit op een punt in onze samenleving, waarop we over de zin en de toekomstbestendigheid van zoveel bouwstenen van onze samenleving hebben nagedacht. Onderwijs, een scholing, een baan, etc... Generatieve KI heeft nog geen creativiteit, maar werkt al even goed als een doorsnee mens creatief is. Wij krijgen ook slechts ervaringen en prikkels in het dagelijks leven die wij samenvoeren tot iets nieuws. Nu voeren wij nog prompts in, maar wat als we KI-modellen met elkaar informatie laten uitwisselen?

Ik was lange tijd felle tegenstander van een onvoorwaardelijk basisinkomen. Inmiddels denk ik steeds meer, dat het op lange termijn onvermijdelijk wordt.

[Reactie gewijzigd door dvtxc op 29 juli 2024 00:51]

[T2000Nl]

Ik vroeg laatst aan Bard of ie contact had met andere chatbots.
Hij noemde er 3 of 4 op met wie het communiceerde (volgens hem).

[dvtxc]

Generatieve KI's liegen echter meestal als je een suggestieve vraag stelt. Als je hetzelfde omgekeerd had gevraagd, krijg je vaak ook een bevestigend antwoord.

[majic]

Ik weet niet of ik zijn versie, of jou versie van Bard zorgwekkender moet vinden

[eettjjuuhh]

Basisinkomen is prima maar "zingeving aan het leven" om het maar zo uit te drukken is ook belangrijk. Wat gaan al die werkloze mensen doen? Welke prikkel blijft er over?

[Het.Draakje]

Je kunt prima een zinnig leven leiden zonder een baan. Sterker nog, de meesten hebben een baan om het geld en niet omdat het zo zinnig is.

Wil je iets zinnigs doen met je leven dan ga je het wereldrecord diepzeeduiken zonder apparatuur verbeteren. Of lekker muziek maken. Schilderen. Fotograferen. Met je ouders/(klein)kinderen ergens naar toe. Gewoon echt sociaal bezig zijn, zonder al die media. Ga parachutespringen of leer Tai Chi. Of karate.

[dvtxc]

Ik geloof wel, dat voor veel mensen het vinden van zingeving helemaal niet zo makkelijk is. Veel mensen functioneren juist omdat hun een gedeelte van hun vrije tijd ontnomen wordt. Het is niet voor niets, dat werkloosheid en het meer denigrerende begrip uitkeringstrekkers met bepaalde stereotypen worden verbonden. Als het vanzelfsprekend zou zijn, dat wij onze vrije tijd met zingevende activiteiten vulden, zou een groot deel van de psychologische behandelingen onnodig zijn. De realiteit laat ons toch zien, dat het niet altijd makkelijk is om vrije tijd zinvol door te brengen. De welvarendste landen hebben vaak gemiddeld de kortste arbeidstijden, maar tegelijkertijd ook het hoogste aandeel aan psychologische problemen en verstrekte antidepressiva. Deels omdat er meer aandacht voor is, deels omdat het ook werkelijk een nieuw welvaartsprobleem is.

Ik geef je gelijk, het is in principe prima mogelijk, maar niet voor iedereen gemakkelijk om om te zetten.

[Het.Draakje]

Shit, hoe moet het nu met mij, als (een van de vele) gepensioneerde. Is er een psychiater in de zaal?

Een baan hebben is niet per definitie een zinnige tijdsbesteding. Het is gewoon geld verdienen.

We verbinden werkloosheid en uitkeringstrekkers met een bepaald stereotype, omdat wij vinden dat zij geen zinvolle dagbesteding hebben. Omdat zij niet aan onze normen en waarden voldoen.

De vragen die je jezelf mag stellen zijn:

- wat vinden zij van hun leven, is dat zinnig of niet?
- Zijn onze normen zo geweldig dat ze voor iedereen moeten gelden?
- Is een 'normaal' leven met een baan, daarna voor de televisie hangen, en in het weekend wat boodschappen doen, wel een zinnig leven?

Volgens mij is 'een zinnig leven' voor iedereen iets anders.

Zelfs als je "het geluk hebt" om nooit zonder werk te zitten, eens zul je het zonder jouw baan moeten doen (want je gaat met pensioen). Als jouw baan jouw uitdaging/prikkel/zin in het leven is, dan heb je een probleem.

Psychoses hebben niets te maken met welvaart. Ik woon sinds mijn pensioen in een derdewereldland. Ook hier komen psychoses voor. Maar je hebt gelijk, in de rijke landen is er meer aandacht voor geestelijke ziektes. Hier is het gewoon, jammer, maar geen geld, dus geen eten (laat staan een dokter). En ja, dat gaat wel eens mis. Het leven is hier goedkoop. (En dan heb ik het niet over prijzen van artikelen).

[Verwijderd]

Ik kan je verzekeren dat psychoses bijvoorbeeld geen welvaarts probleem is en nooit zal worden. Als je niet meer werkt weet men niet wat men met de tijd moet doen. Er zal altijd wel werk blijven. Een robot zal niet goedkoper zijn in de afwas, als een combinatie, vaatwasser, keuken hulp. Zorg e.d. dat worden waarschijnlijk ook niet alleen maar robots. Ga wat van de wereld zien, zou ik zeggen

[Dnnk]

Waarom is een groot deel van de investeringen rond AI en automatisering de afgelopen maanden dan juist naar zaken als muziek maken, schilderen en fotograferen gegaan?

En wat doen we dan met de mensen die wel veel voldoening halen uit het werk wat ze doen? Blij zijn met de dingen die ze aan het maken zijn, trots zijn op de projecten die ze doen, en tevreden zijn over hoe ze klanten hebben geholpen. De waarde van veel van deze zaken wordt gedeeltelijk of in zijn geheel weggenomen door automatisering, wat ook het gevoel van waardering en voldoending gedeeltelijk of in zijn geheel weg zou halen. Dat heeft volgens mij enorme impact, en dat los je voor veel mensen niet op met karate en parachutespringen.

Automatisering met als doel dat niemand meer hoeft te werken heeft enorme impact op hoe we het leven zien en waarderen. Doelstellingen zullen drastisch veranderen, en het is helemaal niet gek om te denken dat dit voor veel mensen heel moeilijk of in het ergste geval zelfs onmogelijk wordt.

[Het.Draakje]

Voldoening halen uit je werk is niets mis mee. Blij en trots erop zijn ook niet. Maar, je werk verdwijnt. Een baan voor je leven bestaat niet. Omscholen, bijscholen en iets anders gaan doen. Betaald en onbetaald werk.

In mijn jeugd stond ik in de fabriek. Prachtig. Maar ik had wel gezondheidsklachten door de omgeving. Ben vervolgens de administratie gedaan. Ander bedrijf, andere stad. Vervolgens van mijn hobby mijn beroep gemaakt: IT. Ook daar meerdere functies vervult bij meerdere bedrijven. Allemaal niets bijzonders. Wel trots op mijn werk. Maar ik ben nooit Arbeider, Administrateur, IT-er geweest. Ik ben gewoon mijzelf. Met mijn eigen waarden, doelstellingen en ethiek. Die soms anders is dan wat anderen vinden.

Al minstens een paar eeuwen verdwijnen er banen, en meestal komen er anderen voor in de plaats. En soms niet. De vergroting van vrije tijd ten koste van betaalde arbeid is ook al enige tijd aan de gang. In mijn jeugd mocht ik nog op zaterdagochtend naar school (en de leerkrachten ook). Later een 40 urige werkweek afgebouwd zien worden naar 32 uur. (Ook wel werkweken van 60+ uren gekend).

Gaat automatisering impact hebben op ons leven? Uiteraard, daar zijn we het allemaal mee eens. En ja er zullen mensen zijn die dat eng vinden en niet voor kunnen stellen hoe het ook zou moeten zijn. Raad eens: je gaat eens met pensioen. Ook dan heb je geen baan. En dat hou je ook niet tegen.

Tijdig nadenken wat voor jou de zin voor het leven is. En desnoods de bakens verzetten. Soms vrijwillig, soms gedwongen. Maar onthoudt één ding: je werkt om te leven, je leeft niet om te werken. Een leven zonder werken is goed te doen (zolang je maar geld hebt).

Neen, af een toe een middagje karatetraining is niet echt interessant. Probeer eens wereldkampioen karate te worden. Dan heb je een uitdaging. Een blokfluitlesje is ook nauwelijks interessant. Ga eens voor een solo optreden in de Stadsschouwburg van Amsterdam. Mooie uitdaging.

[Dnnk]

Eigenlijk helemaal mee eens! Banen komen en gaan, en ja: iedereen zal zich op een gegeven moment moeten aanpassen. Het gaat in de reactie van @dvtxc echter over de snelheid en schaal van deze automatiseringsgolf, en dat men bang is voor de impact op de samenleving. Waar vorige veranderingen enigszinds gelijdelijk zijn gegaan, lijkt het er volgens sommige onderzoeken en voorspellingen op dat binnen korte tijd veel banen en tegelijkertijd veel hobby´s gaan veranderen of verdwijnen door de introductie van AI of andere automatisering.

Artifical Intelligence lijkt zich nu te focussen op het automatiseren van veel administratief "gedoe". Bovenstaand artikel geeft echter de focus op robotisering aan, en uit eerdere artikelen kunnen we ook opmaken dat verschillende bedrijven zich bezig houden met het automatiseren van de "creatieve" onderdelen, zoals muziek en kunst maken. Als de komende automatiseringsgolf zich op al deze gebieden kan richten wordt het verzetten van de bakens misschien erg complex, en voor sommigen zelfs onmogelijk.

Tijdig nadenken wat voor jou de zin voor het leven is. En desnoods de bakens verzetten. Soms vrijwillig, soms gedwongen. Maar onthoudt één ding: je werkt om te leven, je leeft niet om te werken. Een leven zonder werken is goed te doen (zolang je maar geld hebt).

Dat is een belangrijke toevoeging, en als de slechste scenario's uitkomen wordt dit misschien een enorm probleem. Waar komt dat geld vandaan? Wat moet je doen om dat geld te krijgen? En als we dan allemaal een "basisinkomen" krijgen, hoe gaan we dan om met zaken als inflatie? Wie mag bepalen hoe hoog een basisinkomen ligt, en wat je er allemaal mee mag kopen?

Ik deel de doemscenario's niet allemaal , en ben ook zeker niet pessimistisch. Toch vind ik het af en toe best spannend!

[Het.Draakje]

Uitkeringen kosten ook veel geld.

Rutger Bregman heeft daar een boek over geschreven. Gratis Geld Voor Iedereen. ISBN 9-789082-520347. (Er schijnt ook een Engelse versie van te zijn. (Utopia for realists 9-781408-893210).

Maar inderdaad, we leven in een spannende tijd.

[oltk]

Nee hoor, we willen onszelf redden. Ook bij het stoppen van een klimaatverandering, is dat en blijft dat het doel.

[SuperDre]

De maatschappij is er nog helemaal niet klaar voor dat AI/robots zo snel vooruit gaan, en uiteindelijk een hoop banen gaan inpikken, met grote werkloosheid tot gevolg.

[thePiett]

Volgens mij kunnen we wel wat extra werknemers gebruiken hier en daar. Overal mensen te kort

[SuperDre]

Ha, hier in nederland misschien, maar in genoeg arme landen, die afhankelijk zijn van bv fabriekswerk, is het een heel ander verhaal. Maar ook hier zal er door AI/robots in de komend decennia veel veranderen. Onderschat de vooruitgang van AI en robots niet, uiteindelijk zijn wij mensen ook niets meer dan biologische robots, en AI leert ondertussen ook op dezelfde manier zoals mensen leren maar, naar mate de computerkracht vooruit gaat, vele malen sneller. Regulering van AI doir overheden gaat hier niets tegen kunnen doen omdat ze niet elk bedrijf/instantie/(criminele)organisatie in de gaten kunnen houden.

[Ryunoru]

Geen goede zaak. Het gaat te snel voor de wetgeving om het bij te benen, met als gevolg dat we uiteindelijk - al of niet per ongeluk - een werkelijk artificieel bewustzijn gecreëerd hebben, dus èchte AI, met alle gevolgen van dien.

[mmjjb]

een werkelijk artificieel bewustzijn gecreëerd hebben, dus èchte AI, met alle gevolgen van dien.

Daar zijn we nog lang niet en betwijfel of we daar binnen de komende 5 jaar uberhaupt enigsinds bij in de buurt komen.

[Ryunoru]

Machine Learning / Deep Language Learning / etc. explodeerde in zeer korte tijd. Niemand had verwacht dat we nu al over AI zouden spreken. Wellicht geen echte AI, maar wel degelijk een enorme impact, en met name eentje waarvan zelfs de relevante wetenschappersn niet volledig begrijpen waarom het zo goed werkt.

Gezien we nog niet weten wat het bewustzijn precies inhoudt, is het goed mogelijk dat we er op korte termijn in slagen om een legitiem digitaal bewustzijn te creëren, waarschijnlijk zelfs zonder dat we het initieel doorhebben. Het kan ook nog honderd jaar duren voordat we zo ver zijn. Maar er is geen enkele indicatie dat het op korte termijn niet mogelijk zou zijn.

Een dergelijke gedachtegang is slecht, want het heeft als gevolg dat we gigantisch achter de feiten aanlopen. Op een gegeven moment hebben we iets gevaarlijks gemaakt en kunnen we niet meer terug, omdat we te naïef waren om op voorhand maatregelen te treffen.

[Verwijderd]

Een digitaal bewustzijn ik ben voor. Kijk maar naar de serie "upload" lijkt me een geweldige toekomst.

[Enai]

Welke gevolgen? Een AGI kan enkel outputs sturen naar goedgekeurde interfaces. Hij zal geen nukes lanceren tenzij je hem verbindt met het lanceersysteem voor de nukes.

[Ryunoru]

Een AGI heeft die beperking juist niet. Het kan voor zichzelf nadenken en beslissingen maken. Zichzelf kopiëren en verspreiden via het internet. Verbeterde versies van zichzelf maken. Instructies naar mensen sturen om hardware te fabriceren, al dan niet door ze te foppen met nepmails bijvoorbeeld. En wellicht op termijn een manier vinden om toch verbinding te krijgen met nukes.

Als we met AGI te maken krijgen, hoeven we ons echt geen zorgen te maken over lanceercodes voor atoombommen. Puur omdat we dankzij competitie om resources geen schijn van kans maken tegenover machines die een miljard keer zo snel kunnen denken, een miljard keer zo efficiënt en met een miljard keer zoveel in aantallen zijn.

Je kan denken dat we AGI kunnen voorprogrammeren om mensen nooit kwaad te doen op welke manier dan ook, maar dat vereist dat we een waterdicht programma maken - zie dat maar eens voor elkaar te krijgen in een wereld waarin geen enkel systeem hackproof is - en dat we dit op voorhand doen - veel geluk ermee, het huidige AI-debacle heeft al laten zien dat we keihard achter de feiten aanlopen en bedrijven zonder enig besef voor moraliteit de snelste en beste willen zijn.

Het idee dat we controle kunnen behouden over een legitieme AGI is een naïef fabeltje.

[RobTweaks]

+-12% van het totaal aantal werkzame personen in Nederland werkt bij in totaal meer dan 2300 overheidswerkgevers.
Bij de Rijksoverheid alleen al werken zo'n 110.000 mensen.

Dat zijn allemaal "pannekoeken"? Probeer het eens zonder enige overheidsdienst zou ik zeggen!

Ohw, het is overigens pannenkoek volgens de officiële spelling. Pas sinds 1995, dus misschien is dat nog even wennen voor jou als "niet-pannenkoek".

Aan de medetweaker. Excuus voor de rant. 12% van de bevolking wegzetten als debiel, dat ging mij even te ver. Voel je vrij om deze reactie als irrelevant te bestempelen.

[Reactie gewijzigd door RobTweaks op 29 juli 2024 00:51]

[jorisvergeerTBA]

Q: Fix global warming
A: Hold my beer....

En dat kinders, is hoe de echte terminator begon.

[derooke]

Ik blijf erbij dat het net als volledige autonoom rijden. Niet haalbaar is zolang de mensen het niet willen en het te duur is. Niemand (van de standaard werkende bevolking)kan en zal nooit een volledige autonome wagen kunnen bezitten (dus niet aan 30 per uur of alleen autostrade ect. Echt zonder sturen.en zonder tijd te verliezen (die taxi's verliezen echt heel veel tijd) er is een soort onzichtbare grens van kosten baten die maar niet doorbroken word en bij de space achtige dure sectoren zal dit wel deels doorkomen maar bij de lowkost (voeding,kuisen,verplegen) zal dit nooit volledig doorbreken door de kost, betrouwbaarheid, aansprakelijkheid enz
Dus het is handig dat het bestaat maar het is nu ook geen zo een revolutie,ze hebben er bestaande dingen voor gebruikt om dit mogelijk te maken. En vooraleer iets 99,9procent van de tijd goed werkt zal dit niet doorbreken volgens mij.(my 2 cents)

[Prince]

Eens, maar sterker nog: zelfs al zouden er maar 10 mensen per jaar sterven door autonome auto's, dan komt het er niet en kiezen mensen voor de betrouwbare oplossing die ze kenden en 10 DUIZENDEN doden per jaar oplevert. Ik vind dat persoonlijk erg voor die duizenden mensen die nog zouden leven.
Het is ook onmogelijk om geen doden te hebben. Je hebt nu eenmaal mensen die van een brug op de autostrade springen om er een einde aan te maken.
Zelfs al zouden de auto's zo extreem goed worden in ongelukken te vermijden, dan gaan mensen er wel een spel van maken om met de ogen dicht over te steken of zo. Ik zie zo de nieuwe tiktok trent aan komen waar ze meten hoe dicht de bumper bij hun was. De kortste wint.
De computers hebben een opmars in AI - Artificial Intelligence, maar wij hebben naar mijn gevoel een opmars in BS - Biological Stupidity.

[xception]

Als we niet opletten, eindigen we zoals in Idiocracy: https://www.imdb.com/title/tt0387808/

[StGermain]

Daar zijn we al heel hard naar op weg helaas.

[hans_debruin]

Idd maar het is niet zo dat mensen dommer worden. 30 jaar geleden toen we nog geen computers hadden viel dat alleen niet zo op. Maar nu we steeds meer simpel werk automatiseren krijg je steeds meer een kloof tussen slimme mensen en niet-slimme mensen.
Ik denk dat dit de echte crisis gaat worden. Een IQ-kloof.
En basisinkomen gaat dat probleem niet oplossen. Mensen met een basisinkomen vallen vaak al snel in de criminaliteit. Want iedereen wil een Mercedes rijden.

[oltk]

De laatste podcast van "Hard Fork" gaan Kevin Roose and Casey Newton op bezoek bij Google in MountainView om deze robots te bekijken en "aan de metalen tand te voelen"

Hilarisch.