Microsoft laat Copilot Studio zelfstandig websites en desktopapps gebruiken

Microsoft introduceert een nieuwe functie voor Copilot Studio waarmee AI-agents zelfstandig websites en desktopapps kunnen gebruiken. De functie heet 'computer use' en lijkt op Operator van OpenAI en de gelijknamige functie van Anthropics Claude.

Computer use stelt AI-agents in staat om zelfstandig websites en desktopapps te gebruiken door op knoppen te klikken, menu's te selecteren en in zoekvelden te typen, meldt Microsoft. Agents kunnen taken uitvoeren, ook als er geen api beschikbaar is om verbinding te maken met het systeem. Copilot Studio kan onder meer agents creëren die gegevensinvoer kunnen automatiseren, marktonderzoek kunnen uitvoeren en facturen kunnen verwerken. Computer use kan ook detecteren of knoppen en schermen probleemloos blijven werken na het doorvoeren van wijzigingen, aldus Microsoft.

Eerder deze maand voegde de techgigant de soortgelijke functie Actions toe aan de reguliere versie van Copilot, waarbij de AI-assistent eveneens in staat is om zelfstandig taken uit te voeren in een webbrowser. Gebruikers kunnen Copilot bijvoorbeeld vragen om een reservering te maken in een restaurant of een hotelkamer te boeken. Copilot Studio is specifiek gericht op bedrijven en ontwikkelaars, en dient als hulpmiddel bij het bouwen van apps en AI-agents.

Reacties (33)

[fenrirs]

What can go wrong……

[Phanthix]

Ik snap je zorgen, maar tegelijkertijd is het ook te kort door de bocht. Deze zelfde gedachten waren er ook met de komst van de automatisering. Geen mens meer die alles met de hand hoefde uit te rekenen, maar met een druk op een paar knoppen kon de computer alles in het systeem zetten en zelf de berekening maken.

Ja het kan mis gaan, maar dat kan ook als je iets verkeerd programmeert zonder AI. Het is onbekend terrein en dat is spannend, maar dat betekend niet dat er, net zoals bij programmeren, geen standaarden gaan komen hoe je iets moet doen.

[Llopigat]

Ja maar er gaan ook echt dingen mis.

Denk aan de cloud, iedereen was er helemaal wauwie van. Vervolgens kwamen alle verhalen over slecht (of totaal niet!) beveiligde S3 buckets waarmee hackers hele databases konden exfiltreren. Ja dat doen ze zelf maar door alle hype destijds rondom 'cloud' werd er veel te overhaast gewerkt.

Deze zorgen zijn belangrijk om er vanaf het begin goed over na te denken wat er mis kan gaan in plaats van all-in te gaan prutsen "want we willen toch niet achterblijven" en dan later tegen de problemen aan te lopen. Want vergeet niet, met GDPR kan dat tot zeer hoge boetes leiden (om nog maar niet te spreken van de gevolgen voor klanten van wie de data uitlekt).

Ons punt op het werk is dat we het niet gebruiken tot die standaarden (intern) zijn bedacht, in plaats van er nu bovenop te springen omdat iedereen en alles nu AI hypet.

Het probleem nu is dat Microsoft in hun marketing nogal cowboyig is en zelfs bepaalde functies waar we niet eens voor betaald hebben, voor onze gebruikers activeert onder het mom van "promotionele toegang". En we daar achteraf achter komen en gebruikers al dingen hebben zitten bouwen zonder enige controle.

Dit bijvoorbeeld: https://blog-en.topedia.c...point-has-been-activated/ . Ja je kan het uitzetten maar dit zou absoluut opt-in moeten zijn, niet opt-out.

Dus nee, ik vind het helemaal niet te kort door de bocht wat @fenrirs zegt, het is wel een krachtige techniek maar eentje waar je eerst over na moet denken en dan pas implementeren.

[Reactie gewijzigd door Llopigat op 16 april 2025 15:01]

[fenrirs]

Exact. Op dit moment krijgen de tools dit niet eens goed. Laat staan als mensen het voor automatisering van bestellingen gaan gebruiken.

[remcos2]

Het grote verschil is dat normale automatisering deterministisch is. Een AI agent is dat niet. Dus kun je nooit 100% zeker zijn van het resulaat.

[DJ Henk]

Ja het kan mis gaan, maar dat kan ook als je iets verkeerd programmeert zonder AI.

Dat is nog steeds niet helemaal hetzelfde. Als je in software een bug fikst, dan is hij gefikst. Bij AI kan iets tien keer goed gaan en dan zonder enige wijziging van buitenaf gaat het de elfde keer fout. Met andere woorden, bij software kun je er in de loop der tijd steeds meer op vertrouwen dat het zal werken. Bij AI kan dat niet.

Automatisering door AI blijft dus altijd net zo gammel als de eerste bètaversie van gewone automatisering. Er is geen standaard die daar iets tegen gaat doen, want het is een fundamenteel probleem met hoe LLM's werken. Of, nou ja, de standaard is dat AI nuttig is, maar dat je het vooral niks zelfstandig moet laten doen.

[TweakerVincent]

Wss worden dit soort replies over x aantal jaar bekeken als de mensen in de jaren 90 die dachten nooit een mobiel nodig te hebben...

[Powerpuff86]

eigenlijk was dat ook wel een beetje waar toch?

[asing]

Achteraf bezien was de mobiele telefoon wel een goed idee. De smartphone die erop volgde hadden we beter niet kunnen uitvinden.

[fenrirs]

Ik zeg dit niet voor niks. Dagelijks zie ik hoe bepaalde AI modellen fouten maken in mijn vakgebied. Ook claims van geavanceerde op deep learning gebaseerde modellen voor voorspellen van variant impact kloppen slechts op ‘geselecteerde’ genen. Zodra ik het model (minimaal 2xH100 nodig voor inference) toepas op mijn eigen gen van interesse, klopt er helemaal niets van.


Mag ik dan geïnformeerd kritisch zijn?

[Sugocy]

Als ik mijn automatische muisklik scriptjes van vroegah denk.... black screens of death?

[Llopigat]

Ja, precies. Dat is dus precies de gedachte die wij hebben op het werk.

Het was al mogelijk om copilot agents toegang te geven om zelf informatie te verwerken. En voor ons is dat een groot risico m.b.t. GDPR, dat copilot door een foutje data verstuurt naar een partij die daar niet voor bedoeld is, of bijvoorbeeld teveel data dan eigenlijk bedoeld.

Om die reden houden we hier nog even de rem op, en staan alleen interactieve copilot toegang toe.

[Stijnvi]

De vraag is waar meer fout gaat, daar waar computers werken, of daar waar mensen werken. Een paar dagen geleden bleek nog dat men bij de overheid regelmatig vergat om de metadata uit PDF's te verwijderen alvorens deze te uploaden. Dit lijkt me iets wat een computer dan weer niet zou vergeten.

[Sicos]

Ah dat is dus net zoiets als Pega Robotics ... dat is ook gewoon een scherm automatiseerder die doet alsof die een gebruiker is die op knoppen klikt.

Wordt wel een beetje moe dat overal dat copilot en overigens ook Gemini knopje doorheen geramt wordt

[GertMenkel]

Ik denk dat Pega Robotics dichter tegen Power Automate aan staat. Dat is er ook vooral voor bedrijfsgebruik en automatiseren.

De Copilotversie lijkt op Power Automate te concurreren, ik denk daarom dat de Copilotvariant minder capabel zal zijn en vooral op consumenten gericht zal zijn.

[Llopigat]

Copilot Studio is gewoon een doorontwikkeling van Power Platform, onder een nieuwe naam (want alles moet nu bij Microsoft copilot heten, zelfs office )

En nee de copilotvariant is niet minder krachtig, het is gewoon power platform + copilot. Het is verbazend krachtig en zeker bedoeld voor zakelijk gebruik. Alleen het gebruik moet wel bewust gebeuren.

[Reactie gewijzigd door Llopigat op 16 april 2025 15:05]

[MaZo]

Niet concurreren. Dit is allemaal gebaseerd op bestaande Power Automate functionaliteit. Net als dat “actions” in een Copilot Studio agent reeds bestaande Power Platform connectors etc. gebruiken.

[Skit3000]

Die knopjes kunnen nu dus weer verdwijnen. Wil je iets samenvatten in Notepad, dan kan je de "OS-level" Copilot Studio gebruiken. Wil je in Paint een afbeelding genereren, dan kan dat via Copilot Studio. Wil je in Excel hulp bij het opstellen van een formule, dan kan dat met Copilot Studio.

[Maverick2001]

Dat laatste ben ik helemaal met je eens. Het moet overal maar dan ook echt overal in terugkomen. Dat geldt trouwens ook voor Adobe die zijn producten helemaal voorziet van generatieve AI. De mogelijkheden zijn eindeloos maar uiteraard zit er vaak wel een verdienmodel achter(Adobe is hier het beste voorbeeld van), de investeringen moeten op 1 of andere manier weer terug verdiend worden. Ik merk ook dat mensen lui worden door het gebruik van AI.
Het zelf uitpluizen hoe iets werkt is eigenlijk niet meer echt nodig. Je drukt gewoon op een button en klaar.

[JustFraKe]

AI die desktopapps kan gebruiken, hmmm....
Dat biedt een hoop mogelijkheden, maar ook risico's. Moeten we dit wel willen?

bijvoorbeeld vragen om een reservering te maken in een restaurant of een hotelkamer te boeken

Betekend dat de AI dan ook automatisch inlogt met je account voor i.e. booking punt kom?
Heeft de AI-assistent dan ook toegang tot deze inloggegevens? Heeft de AI dan niet al toegang tot (al) je inloggegevens (uitgaande dat je je ww-kluis al hebt ontgrendeld)? Ik krijg in ieder geval van deze ontwikkelingen een beetje de kriebels.


In een ander daglicht; kan je voortaan Copilot vragen om midden in je potje Counter Strike o.i.d het even over te nemen als je nodig naar het toilet moet (next level botting)

[GertMenkel]

Betekend dat de AI dan ook automatisch inlogt met je account voor i.e. booking punt kom?
Heeft de AI-assistent dan ook toegang tot deze inloggegevens? Heeft de AI dan niet al toegang tot (al) je inloggegevens (uitgaande dat je je ww-kluis al hebt ontgrendeld)? Ik krijg in ieder geval van deze ontwikkelingen een beetje de kriebels.

Lijkt me dat de AI niet zomaar je gegevens heeft, tenzij je die zelf opgeeft. Wat ze wel zeggen:

Additionally, computer use runs on Microsoft-hosted infrastructure, meaning organizations don’t need to manage their own servers.

Op zich nog steeds automatisch te regelen met een wachtwoordkluis, maar je zult die gegevens op een manier naar MS zien te krijgen. Overigens kun je een hele hoop informatie vinden op internet zonder in te loggen, door slechts een email in te vullen.

Ik kan me ook voorstellen dat Microsoft dit gebruikt om "log in with Microsoft/Outlook/Windows Live" te boosten. Iedere website met zo'n knop kan direct met Copilot integreren voor gebruikersgegevens, zonder dat er wachtwoorden hoeven worden ingevuld.

[Reactie gewijzigd door GertMenkel op 16 april 2025 14:41]

[walteij]

Op zich nog steeds automatisch te regelen met een wachtwoordkluis, maar je zult die gegevens op een manier naar MS zien te krijgen.

Daar heb je dan weer een azure key vault voor, waarin je kunt aangeven welke Azure diensten van welke keys/secrets gebruik mogen maken.

[Franckey]

Het is bij sommige werkgevers verboden dat iemand anders jouw computer gebruikt terwijl jij ingelogd bent. Het lijkt mij ook onwenselijk als Copilot namens mij iets doet. Prima als Copilot mij helpt, maar dan wel onder een eigen account. Dan kan je het ook goed regelen met rechten en logging.

[k995]

Nee die copilot doet dat onder jouw account hoor

[Ruuddie]

Lijkt me super handig bij het ontwikkelen van een website of app. I.p.v. je probleem te omschrijven kan je hem gewoon de link laten openen en zelf het probleem laten bekijken en testen.

[whersmy]

Kan ik dit gebruiken om bijvoorbeeld Photoshop acties uit te laten voeren?

[curkey]

Volgens mij is Adobe zelf al met wat dingen bezig hier. Ze hadden recentelijk nog een partij overgenomen dacht ik

[Slashdotter]

Lijkt mij een flinke overlap hebben met Power Automate Desktop.

[MaZo]

Geen overlap. Het gebruikt in de backend gewoon dezelfde, bestaande techniek. Net als dat Agent Flows gewoon Power Automate is, alleen dan geïntegreerd in een agent.

[illya89]

Een beetje Selenium op steroïds.

[nicenemo]

Lunch or Launch?

[FalconerHG]

Uit
Uit
Uit