Opera test AI-agent in de browser die taken op websites kan uitvoeren

Webbrowser Opera is een test begonnen met een AI-agent die Browser Operator heet. Deze AI-agent kan taken uitvoeren voor gebruikers op websites. Het gaat dan bijvoorbeeld om het zoeken naar en kopen van producten of het boeken van een hotel.

De Browser Operator zit in de Opera-browser zelf en begrijpt geschreven instructies van gebruikers, schrijft Opera in een aankondiging. Aan de hand daarvan kan de agent tal van taken uitvoeren. In een video geeft Opera meerdere voorbeelden, waaronder van iemand die graag sokken wil kopen. Diegene vraagt Browser Operator om twaalf paar witte Nike-sokken in een bepaalde schoenmaat te zoeken. Daarop gaat Browser Operator naar de website van Walmart, waar de agent een pak sokken vindt en de gewenste hoeveelheid toevoegt aan de winkelwagen. Ook kan de tool op commando zelf tickets voor events kopen en hotels boeken voor de periode waarin het evenement plaatsvindt.

Browser Operator gebruikt de AI Composer Engine van Opera om de geschreven informatie te verwerken. De AI-agent voert taken in principe zelfstandig uit, maar pauzeert even wanneer een gebruiker actie moet ondernemen, zoals het invullen van een formulier of het bevestigen van een bestelling. Opera benadrukt dat de gebruiker altijd de controle behoudt en de taken altijd kan overnemen van de Browser Operator. Ook kunnen taken volledig stopgezet worden met een stopknop.

Verder wordt de nadruk gelegd op privacy. Zo worden er geen screenshots of video's van de browsersessie gemaakt om te begrijpen wat er gebeurt. Ook is het geen versie van de browser die met de inloggegevens van gebruikers in de cloud draait. "De Browser Operator draait native in jouw browser, op jouw apparaat. Het gebruikt de DOM Tree en browserlay-outgegevens om de context te begrijpen, wat betekent dat het een tekstuele representatie van de webpagina gebruikt", aldus het bedrijf. De aanpak betekent dat 'jouw browsergeschiedenis, logins, cookie-instellingen, etc.' lokaal op het apparaat blijven staan.

Vooralsnog gaat het echter alleen om een testversie die vooral als proof of concept dient, zegt Opera. De testversie is bereikbaar via het zijmenu van Opera en de commandline in de browser. Opera verwacht 'in de nabije toekomst' een nieuwe versie van de Browser Operator uit te brengen.

Reacties (24)

[stefan76121]

72% eigenaar van een Chinees bedrijf ,lijk me dat de servers in China staan

[himlims_]

Menig dienst is +70% in handen van Amerikaans bedrijf, en de servers die in USA staan.

Met orange-clown en russische trekjes, weet niet waar je beter aan doet
(kans dat ik in China op vakantie ga is kleiner dan naar USA - dan zet mijn data maar in china neer)

[Vaatdoek82]

Zijn er al soortgelijke oplossingen die goed werken?

[Utrecht25]

Kort antwoord: Nee, tenzij het een zeer repetatieve taak is op een bekende site, maar daarvoor is dit inzetten ipv bewezen RPA technologie een rare keus.

Lang antwoord:
Basale dingen zoals het top nieuws opzoeken en dan naar iemand mailen kan wel. Maar ze lopen allemaal al snel vast op de meest basale taken, en een cookie popup brengt ze al in de war, en bijvoorbeeld een slider bewegen om bv te filteren op prijs heb ik nog helemaal niet gezien.
Daarbij zijn visuele LLM vrij duur (paar euro om wat op te zoeken...).

Lijstje:
https://operator.browserbase.com/
LaVague
https://www.skyvern.com/
convergence.ai/
CogAgent
Sentient Agent
Lijstje: https://www.cloudraft.io/blog/ai-web-agents

[djwice]

RPA kun je gewoon op deze manier automatiseren:
https://chromewebstore.go...giplmbcdmkkdfplenecpegfno

Klik record, voer handeling uit , stop recording.
Vervang je invoer door parameters.

Geef dit als API aan de AI en de AI kan de handeling uitvoeren.
Je kunt ook via een script zelf op basis van een csv lijst, of een json-lijst die api gebruiken, dan noemen ze het RPA.

En vaak betaal je als bedrijf daar best wat geld voor. Nu weet je hoe simpel het ook kan.

Ook voor Windows Desktop applicaties heb je zo'n recorder. Ook gewoon gratis.


Overigens ondermijnt RPA vaak de businesscase voor het vervangen van oude software, als gevolg daarvan zul je zien dat je hogere licentie kosten gaat hebben dan voorheen. En meer lock-in in je oude software dan toen het door mensen bediend werd; want RPA kan niet zo maar met je nieuwe software of proces om gaan, een mens is daarin veel flexibeler.
Gevolg is dat in nieuwe systemen oude niet efficiënte processen gekopieerd zullen worden, wat de nieuwe software minder effectief maakt. En je processen stug en onhandig over tijd.

[Reactie gewijzigd door djwice op 4 maart 2025 19:13]

[GurbieV]

Wie wil je spammen?

[WhatsMyUsername]

Marktplaats

[Olaf van der Spek]

Het gaat dan bijvoorbeeld om het zoeken naar en kopen van producten of het boeken van een hotel.

Kan ie ook cookies en tracking weigeren?

[Miglow]

Dat zou nog eens nuttig zijn. Geen legitiem of gerechtvaardigd belang, geen cookies, niks.

[subsonik]

En captcha's oplossen, dat zou heerlijk zijn

[SambalBij]

Kun je als website/webshop eigenaar dit wel blokkeren? Heeft het ding een specifieke user-agent die je kunt blokkeren, of kijkt hij en houdt hij zich netjes aan een robots.txt?

Kan me zo voorstellen dat je als webshop het na een paar dagen wel zat bent om orders te moeten annuleren en crediteren wanneer de zoveelste hallucinerende AI weer 125000 paar sokken heeft besteld...?

[Olaf van der Spek]

De AI-agent voert taken in principe zelfstandig uit, maar pauzeert even wanneer een gebruiker actie moet ondernemen, zoals het invullen van een formulier of het bevestigen van een bestelling.

[Llopigat]

Lijkt me niet een volledige oplossing. Mensen zijn zo enorm lui, die klikken gewoon zonder te lezen.

Ik zie het ook bij ons op het werk met 'copilot'. Mensen sturen de idiootste dingen door waarvan ze absoluut zouden weten dat het onzin is als ze er meer dan 2 seconden naar hadden gekeken.

Dit klinkt meer als een juridisch trucje om niet verantwoordelijk gesteld te worden als er wat misgaat ("ja maar de gebruiker had het bevestigd hoor!").

[Reactie gewijzigd door Llopigat op 4 maart 2025 16:27]

[watercoolertje]

Dezelfde user-agent als de gebruiker lijkt me, gezien je gewoon in je normale browser blijft en daar als gebruiker soms ook nog zaken moet invullen/aanvullen. Eigenlijk ben je gewoon normaal aan het browsen met een hulpje die je soms assisteert met interacties.

[Reactie gewijzigd door watercoolertje op 4 maart 2025 16:54]

[moonlander]

Mensen zijn inderdaad lui, lezen en kijken niet. Ik voorzie ook meer retouren, en tickets die je niet bedoelde... Nee ik ben ook voor om dit permanent uit te kunnen zetten.

Misschien krijg je straks, heb je je bestelling binnen 1 minuut gedaan? Oke ff terug en controleer nog maar eens wat je besteld hebt. En je zou dan zelf wel ai kunnen inzetten, wat heb je besteld? Op basis van die input een redflag geven of niet.

[svenM]

Het wordt van op de gebruikers pc uitgevoerd in zijn normale browser, dus even een andere useragent of iets dergelijks lijkt me niet te doen. Je zou de useragent kunnen laten wijzigen als de extensie in de browser zit , maar dan weet je nog niet of die actief is of niet.

[guarana]

Ik ben waarschijnlijk oud(erwets) en loop hopeloos achter, maar hierbij moet ik aan een bot/macro denken onder het mom van AI.

[fuzzyIon]

Daar gaan je bitcoins

[moonlander]

Of je besteld 20 bitcoin ipv 0,002

[hamsteg]

Modern JS wat ze er net uitgebonsjoerd hebben, over een paar maand wordt het er weer uitgesloopt want het is gevaarlijk.

[ultimasnake]

Ik zie dit eigenlijk vooral als een interessante manier om webapplicaties te testen zonder bijvoorbeeld met playwrite hele eigen scripts te maken… gewoon je bent ‘x’ en je moet ‘y’ waarin je minimaal ‘z’ mort bereiken… en gewoon zien wat voor een bijzonders het zoal doet, net als een gebruiker gewoon soms maar wat ‘doet’ wat je niet verwacht en de boel omflikkert in het begin

[eric.1]

Misschien iets te praktisch, maar wat lost dit op?

Ik vind AI een mooie tool wat waarde toe kan voegen. Maar dit is het vervangen van vrij basale, niet eens tijdrovende, taken wat eigenlijk alleen maar luiheid veroorzaakt...dat vind ik persoonlijk echt een enorme verspilling van de energie die dit kost.

[Dark Angel 58]

Ik vind dit wel handig… nieuwe generatie van online webshops, het bespaart heel enorm veel tijd, zo kun je meer gerichter zoeken.
Als de webshops hieraan niet willen meewerken, verliezen ze geheid meer klanten, omdat de consument meer tijd wil besparen in het zoeken (ik ook).
BOVENDIEN als de webshops hieraan willen meewerken, kunnen ze de prijzen van andere webshops zelf of automatisch opzoeken en hun eigen prijzen (misschien automatisch) aanpassen om nog beter te concurreren. Mijn god… dat is heel erg slim!!!! Zo trek je meer klanten binnen…