Microsoft Copilot kan taken uitvoeren in browser en eerdere gesprekken onthouden

Microsoft heeft diverse nieuwe functies voor zijn AI-assistent Copilot aangekondigd. Zo kan de chatbot binnenkort gesprekken onthouden, zelfstandig taken in een webbrowser uitvoeren en meerfasig onderzoek doen. Dergelijke functies zijn al langer in andere chatbots aanwezig.

Microsoft heeft onder meer de functie Actions toegevoegd aan Copilot. Net als Operator van OpenAI, Mariner van Google en Computer Use van Anthropic kan de chatbot hiermee zelfstandig taken uitvoeren in een webbrowser. Gebruikers kunnen Copilot bijvoorbeeld vragen om plekken te reserveren in een restaurant of een hotelkamer te boeken. Volgens Microsoft werkt Actions in combinatie met de 'meeste' websites.

Daarnaast kan de chatbot nu eerdere gesprekken met gebruikers onthouden. Als ze in een gesprek bijvoorbeeld zeggen wat hun favoriete vakantiebestemmingen zijn of dat ze geen vlees eten, houdt Copilot daar in toekomstige gesprekken rekening mee. Gebruikers kunnen zelf bepalen welke informatie de chatbot onthoudt. Ook is het mogelijk om deze functie in zijn geheel uit te schakelen.

Verder heeft Microsoft de mogelijkheid om diepgaand, meerfasig onderzoek te doen toegevoegd aan Copilot. De AI-assistent kan voor een opdracht een groot aantal documenten lezen en afbeeldingen analyseren en een onderzoeksrapport opstellen. De chatbot kan ook podcasts genereren om complexe onderwerpen uit te leggen. Google voegde in september een soortgelijke functie toe aan zijn digitale notitieboek NotebookLM.

Tot slot maakt Microsoft zijn Copilot Vision-tool beschikbaar voor de smartphoneapps van de chatbot en de aankomende native Windows-app. Via de desktopapp kan de assistent met het scherm meekijken en vragen over de inhoud beantwoorden. De Android- en iOS-versie kan daarentegen vragen beantwoorden over wat de gebruiker met de telefooncamera filmt of over foto's uit de telefoongalerij. Vision was voorheen enkel via het web te gebruiken.

Microsoft zegt dat deze functies in de komende maanden geleidelijk worden uitgerold. Het is niet duidelijk of alle toevoegingen ook meteen in Europa beschikbaar komen.

Reacties (29)

[Leaplasher]

Zo te lezen opt-out in plaats van opt-in?
Snap de strategie wel vanuit Microsoft, alle onwetende gebruikers geven op deze manier een schat aan informatie aan je bedrijf. Als je het omdraait heb je als bedrijf minder data waarschijnlijk.

Het zou tijd worden om opt-in modellen te gaan verplichten. Zeker met AI wat nu te pas en on te pas opgelegd wordt binnen verschillende diensten.

Er zijn zeker goede toepassingen voor AI, ik vind wel dat ieder voorzich en vooraf, een keuze dient te kunnen maken of zijn of haar data daarvoor ingezet mag worden of niet. Met opt-out is dat niet zo en vind ik een slechte aanpak.

[Reactie gewijzigd door Leaplasher op 5 april 2025 12:14]

[dasiro]

in Office365 / Microsoft365 / Microsoft 365 copilot zie je in de copilot app duidelijk aan de rechterkant je historiek staan en dat is bij de meeste gebruikers ook wenselijk. Ik kan me eerlijk gezegd niet herinneren of er ooit een prompt voor is geweest om dit aan te zetten, al viel het me wel vanaf het 2e gesprek op tov de gewone versie.

[GameNympho]

Als eerste ook gelijk van de pc gegooid, Office365 / Microsoft365 / Microsoft 365 MET copilot ineens om mijn pc.
Ik begin me zwaar te irriteren aan al dat geduw met AI, als ik terug duw, miepen ze ook, waarom doen ze het dan toch? Ik kan gelukkig nog zelf nadenken.
Datagraaierij

[Llopigat]

In M365 copilot chat (de "web" tab als je ook de betaalde copilot in office hebt, als je niet betaalt is er geen keuze en is dit de enige chatbot in office) was het tot voor kort niet standaard. Het is pas toegevoegd, een maand of twee geleden. Tot dan werd er geen historie opgeslagen.

De historie wordt daar trouwens opgeslagen in een verborgen map in de gebruiker zijn outlook mailbox.

Dit is trouwens een van de bezwaren die ik heb tegen het "copilot" fenomeen. Er zijn nu al 28 produkten met copilot in de naam, die ook nog eens elke paar maanden compleet hernoemd worden. Dus het is 1 grote puinhoop. Niemand snapt het meer, zelfs onze MS consultants niet.

We krijgen ook vaak vragen van gebruikers: "Waar kunnen we Copilot Pro" bestellen. Nou niet dus, want Copilot "Pro" ondanks de "Professioneel" in de naam is alleen maar voor consumenten.

[Reactie gewijzigd door Llopigat op 5 april 2025 14:29]

[Carlos0_0]

Zo te lezen opt-out in plaats van opt-in?

Ja Copilot wordt overal ingeduwd, van Edge tot windows zelf tot aan paint / kladblok.
Het staat overal standaard aan, en je mag zelf uitzetten indien je het niet bevalt.

Zoiets als dit mag aangekondigd worden, zoals je zegt idd geef iemand de keuze.
Als je een app opent geef de keuze, of je wil in of uitschakelen(Even schermpje wat is nieuw etc).
En dan wil je deze geweldige nieuwe functies inschakelen(Moet toch een beetje leuk verkocht worden), en dan ja of nee optie klaar.

[Reactie gewijzigd door Carlos0_0 op 5 april 2025 11:23]

[Mizgala28]

Ook een reden waarom ze steeds moeilijker maken om een lokaal account aan te maken, met een lokaal account werkt co-pilot in die apps niet eens (niet "by default")

Of het data verzamelt geen idee, maar ze koppelen dat natuurlijk het liefst aan je account.

[Carlos0_0]

Een lokaal account nog steeds super simpel, windows pro kan je gewoon kiezen aanmelden domein --> hij gaat dan een lokaal account aanmaken.
Maar goed 9/10 mensen koopt een laptop of iets ergens, en krijgt windows home editie. dus ja dan wordt het lastiger inderdaad.
En het zal vast data verzamelen(Ga ik maar even van uit), het wordt aan je account gekoppeld en klaar.

Het zelfde leuke geintje doet Microsoft nu ook met Edge, ik heb het al even niet als primaire browser meer gebruikt(Heel sporadisch soms).
Ik open hem nu en hij heeft een update gedaan, en ineens is mijn zoekmachine weer Bing geworden(blijf toch eens van mijn instellingen af zeg pff).

[Reactie gewijzigd door Carlos0_0 op 5 april 2025 11:56]

[MrMonkE]

Ik wacht met smart tot het in mijn winphone verschijnt.

Die ga ik morgen even aan zetten denk ik, kijken of hij nog werkt.

[synoniem]

Voor mij is dat alleen maar een reden om Windows en Microsoft applicaties nog meer te mijden. Privé heb ik genoeg aan Libre Office en Firefox. Mijn werkgever is overigens ook niet dol op externe AI's in zijn infrastructuur dus wordt alles met group policies uitgeschakeld tenzij het op de eigen infrastructuur draait.

[Carlos0_0]

Bij mij ook ik heb nu ook de foto's app al verwijderd, want las recentelijk hier ook AI/Copilot in komt.
Kladblok/paint/ sticky notes zijn ook vervangen voor de oude klassieke variant, die op win7/10 nog zat.

Office is vervangen voor Onlyoffice, ziet er een stuk beter uit dan Libreoffice.
Ik gebruik office zo vaak, dat ik zie ik nu al 3 versies/updates achterloop (Dus ja een betalend Microsoft office heb je dan al helemaal niet nodig).

[Bertil126]

Weet iemand of de uitrol nog afhankelijk is van de taal die je gebruikt in je os?

[eheijnen]

Er hoort toch wel bij dat je fatsoenlijk kunt instellen wat ding allemaal kan en mag. Je wilt natuurlijk niet dat ie helemaal los gaat en je bankrekening leegmaakt....

[Stukfruit]

Waarom is in het artikel en in het bronartikel nergens een video met Copilot die een nuttige actie op het web uitvoert te vinden?

Want tot nu toe vind ik alleen dit soort officiële en minder officiële filmpjes en deze tonen aan dat het totaal nutteloos is voor het daadwerkelijke uitvoeren van taken, behalve als je niet goed kan zien, omdat het zaken op het scherm omschrijft.

Het is ook merkwaardig dat het uitvoeren van taken in de browser mogelijk zou zijn, want normaalgesproken heb je daar bij mijn weten gespecialiseerde tools voor nodig die via een pas recent "gestandaardiseerd" protocol een browser kunnen besturen, zoals bijvoorbeeld Playwright.

Daarnaast zijn er nog de vele beperkingen die door sitebouwers worden opgeworpen (laten we beginnen bij het benoemen van het ultieme kwaad: de captcha) om automatisch gebruik te voorkomen of op zijn minst te vertragen. Ik kan me niet voorstellen dat Microsoft ingaat tegen wat ze o.a. zelf aanbieden of gebruiken (Cloudflare?).

Is dit meer dan het voorlezen van wat op het scherm te zien is en een venster scrollen, of is het valse reclame voor "taken uitvoeren" terwijl het eigenlijk geen taken uitvoert bovenop het omschrijven van zaken zoals wat er bijvoorbeeld op Wikipedia staat? (zie screenshot in artikel over cameratech)

Er staat weliswaar een beperkte video voor Copilot Shopping bij, maar ook dit laat weinig zien. Wat is de bron van de shopping data? Is het een willekeurige zelfgekozen site of gebruiken ze op de achtergrond een API van een zelfgekozen dienst (bv. Amazon) zodat ze zoals die ene verguisde browserplugin lekker marges kunnen meepakken? Kortgezegd: hoe werkt het?

Overigens zou het natuurlijk geweldig zijn als het bestaat, maar dan zie ik er liever een open source variant van via Ollama oid. met een leuk "open" model erachter

Edit: gevonden voor Langchain. Volgens de documentatie zou het een beetje beter zijn dan OpenAI's Operator.

[Reactie gewijzigd door Stukfruit op 6 april 2025 02:09]

[Skidmarks]

Kan copilot dan ook gelijk alle cookie pop ups declinen en ook voor nieuwsbrieven e.d.

[SinergyX]

Prima, maar ik snap nog steeds de logica niet van Microsoft om Copilot in elke 'versie' uniek te maken, je hebt dus office copilot, je hebt Windows copilot, Edge Copilot, maar deze 3 werken allemaal los van elkaar.

Hoewel we allemaal "Copilot" worden genoemd, zijn we geoptimaliseerd voor verschillende omgevingen:
Hier in de chat: Brede ondersteuning, brainstormen, creativiteit, en informatie.
Edge Copilot: Specifiek voor browsergerelateerde taken
Office Copilot: Gericht op productiviteit binnen Microsoft Office
We werken niet direct samen of communiceren met elkaar. Elk van ons functioneert onafhankelijk in zijn eigen omgeving—of het nu binnen Office, Edge, of hier in de chat is

Sommige mensen zullen happy zijn met Apple's AI, Googles versie of zelfs een ander, Copilot werkt voor mij meer dan prima, jammer dat ze alleen niet samenwerken.

En mbt inprivate tabbladen in Edge, het is een enkelvoudige toestemming om pagina's te lezen:
Nee, als onze chat gesloten is, kan ik geen inhoud van een InPrivate-pagina lezen, zelfs als je eerder toestemming hebt gegeven. Ik werk alleen wanneer je onze chat opent en een verzoek doet. Zonder een actieve interactie of specifieke vraag van jouw kant blijf ik inactief, ongeacht de instellingen.

[Reactie gewijzigd door SinergyX op 5 april 2025 12:17]

[riyakuya]

Ik moet eerlijk bekennen dat ik nog altijd geen behoefte heb aan al dat AI gedoe en liever gewoon een simpel en goedwerkend OS heb zonder al die poespas. Dat is ook de reden dat ik een maand of 2 geleden overgestapt ben naar Linux Mint, en ik heb geen seconde meer teruggekeken. Het is best storend dat ik overal AI door mijn strot geduwd krijg. Op een Windows pc vanuit Microsoft en op mijn telefoon vanuit Google en Samsung. Ik begrijp dat ze reclame willen maken voor hun eigen producten, zeker gezien de populariteit ervan nu, maar om de haverklap berichten en notificaties over AI voor mijn neus krijgen komt meer als spam over. Wanneer ik AI wil proberen doe ik dat zelf wel. Ik heb Gemini een tijdje gebruikt wat best vermakelijk kan zijn, maar behalve het 'het is een leuke gimmick voor een tijdje' gevoel heb ik er nooit meer iets mee gedaan. Wellicht dat mensen uit andere doelgroepen er meer plezier en productiviteit uithalen. Ik prefereer toch echt gewoon een 'rustig' systeem dat me niet lastig valt en mij zelf laat doen wat ik wil.

[kdekker]

Het valt me op dat icm AI de terminilogie vaak menselijk is. Of ik zoek spijkers op laag water? Maar 'onthouden', de 'i' van 'intelligent'. Zijn we als mensen echt zo dom en zien we het verschil niet, of geloven we zo in techniek, dat AI een volledige vervanger van de menselijke intelligentie (en creativiteit, nieuwe ideeen etc) zou zijn?

Ik zou het wat vinden als Tweakers een kritisch artikel gaat schrijven over wat nu AI kan, hoe AI in elkaar steekt (volgens mij is daar nog een stuk uit te leggen), wat de positieve, maar ook negatieve kanten er van zijn, welke ethiek achter AI zit (intellectueel eigendom, kan AI werkelijk zelfstandig opereren, en op onverwachte situaties acteren) en de verhouding AI en science fiction. de EU AI-act en een paar politieke standpunten (vanuit NL en/of BE) perspectief mee laten wegen, is wellicht ook een idee?

Lijkt me een forse uitdaging, maar juist voor niet-tech, of beperkte-tech mensen, of tech-mensen die minder met AI te maken hebben (de groep die echt van de hoed en de rand* weet, is volgens mij vrij klein) om hier een mooi artikel over de maken.

* er zijn weliswaar veel AI gebruikers, maar hoe en wat (inclusief mezelf) een AI model in elkaar steekt is veel onbekender (zelfs bij data scientists). En dat de ene AI de andere niet is (LLM, generatief, segmentatie, noem het maar).

[Sandor_Clegane]

Nee hoor, dat is met een reden: zelfde waarom al die chatbots een Whatsapp-achtige interface hebben, antropomofiseren we er lekker op los.

[CivLord]

Het valt me op dat icm AI de terminilogie vaak menselijk is. Of ik zoek spijkers op laag water? Maar 'onthouden', de 'i' van 'intelligent'. Zijn we als mensen echt zo dom en zien we het verschil niet, of geloven we zo in techniek, dat AI een volledige vervanger van de menselijke intelligentie (en creativiteit, nieuwe ideeen etc) zou zijn?

Dat is niet alleen voor AI zo. Al jaren denk ik in termen als 'onthouden' wanneer mijn passwordmanager mijn wachtwoorden onthoud, mijn browser mijn favorieten of mijn OS mijn instellingen. En na een updrade kom ik er achter dat mijn OS sommige instellingen is 'vergeten'.
Misschien is het een aversie tegen (het pushen van) AI, waardoor dat taalgebruik je nu tegen staat.

[Deruxian]

Ik probeer het wel eens te gebruiken in Word/Powerpoint. Maar dit ding kan helemaal niks? Zal aan mij liggen maar die Paperclip van vroeger kon meer

[Zanthr]

Ik heb een verbatim van een financieel overzicht ingeladen in Excel en daar heeft hij een prima balans van gemaakt, inclusief formules. Dat kon Clippy niet...

[Burgertrut]

Kan hij dan ook bijvoorbeeld tweets of Reddit posts deleten? Ik heb een programmaatje dat het wel kan. Ook door de browser te bedienen. Cyd.social.

[La1974]

Ik heb een programmaatje die plaatst die berichten niet eens. Nog beter

Maar zonder gekheid. Iets meer context had handig geweest. Met het programma wat jij noemt kan je je geplaatste berichten op bijvoorbeeld X verhuizen naar BlueSky of gewoon deleten omdat je klaar bent met meneer Musk zijn speeltjes.

Maar in plaats van verwijderen kan je net zo goed je account deleten lijkt me. Nog beter.