Copilot kan in bètabuild hele scherm van gebruiker analyseren

Gebruikers van Copilot kunnen op Windows binnenkort hun hele desktop delen met de AI om op basis daarvan vragen te stellen. Copilot Vision kon dat eerst met bepaalde vensters, nu ook met het hele scherm.

De aanpassing van Copilot Vision zit in een Insider-build van Windows 11. De functie heet Copilot Vision Desktop Share. Die maakt het mogelijk om het hele scherm te delen met Copilot. Op basis daarvan kan de assistent content op het scherm lezen en antwoorden daarop geven.

Een dergelijke functie zat al langer in Copilot, maar dat was beperkt. Het was daarbij alleen mogelijk bepaalde vensters te delen. Nu kunnen gebruikers een complete desktop delen. Als zij Copilot openen, kunnen ze bepalen welke desktop ze willen delen met de assistent. Het is daarna mogelijk het delen weer uit te schakelen.

De functie heeft wat weg van het controversiële Recall, maar Copilot Vision werkt op afroep en is opt-in. Bij Recall wordt er op bepaalde momenten een screenshot gemaakt, dat door Recall weer wordt geanalyseerd. Dat gebeurt aldoor. Bij Copilot Vision is het alleen mogelijk om actief het scherm te delen, waarbij gebruikers zelf moeten aangeven welk venster ze willen delen.

Reacties (29)

[Bor]

De kans op het onbedoeld delen van informatie wordt groter en groter met elke toevoeging. Het is lastig onder controle te houden en de voorwaarden van dit soort diensten zijn maar al te vaak ondoorzichtig.

[The Zep Man]

Het is lastig onder controle te houden

Voor de bewuste enterprise/gebruiker is het niet moeilijk. Het is (vooralsnog) opt-in en niet opt-out. Het probleem begint pas wanneer je zo'n dienst wel gaat gebruiken, want dan kom je in grijs gebied terecht. Wat vandaag niet verder wordt verwerkt kan morgen wel verder verwerkt worden.

Een probleem is dat voor een beursgenoteerde multinational de data te waardevol is t.o.v. de mogelijke repercussies van misbruik. Het logische gevolg is daarom dat de data misbruikt zal worden.

[Reactie gewijzigd door The Zep Man op 16 juli 2025 13:40]

[Bor]

Onder controle houden geldt ook wanneer je opt in natuurlijk. Er zijn maar weinig controls om het eea toch nog enigszins te beperken of te monitoren. Voor je het weet deel je zaken die niet gedeeld zouden moeten of mogen worden.

[Z80]

Als je de enterprise hebt ja.

Maar de kleinere bedrijven hebben een pro versie draaien. Het wachten tot er gevoelige data op straat komt te liggen en het vingerwijzen naar de schuldige kan beginnen. Waarbij het voor de eindgebruikers te hopen is dat dit in de usa gebeurd bij een bedrijf met een goede advocaat.

Deze datagraaierij kan alleen maar gestopt worden als het pijn doet. Heel veel pijn. Verplicht vernietigen van alle verkregen data (dus ook de data die mogelijk wel legaal verkregen is), een geldboeten die ook echt de winst van meerdere jaren vernietigd.

[Llopigat]

(vooralsnog)

Precies dat je dit er zelf al bij zet illustreert het probleem. Microsoft is zo ongelofelijk gebrand op het aan de man brengen van alles copilot dat het niet onmogelijk is dat ze dat opeens standaard aan gaan zetten. Net zoals de recall functie.

Sowieso heeft Microsoft niet de juiste ethiek op dit gebied. Dat bleek al uit hun grote ogen toen mensen niet blij waren met het opt-out zijn van Recall. Mensen willen niet dat al hun data geregistreerd wordt? Goh wat gek, wie zou dat niet willen. En moest dat halsoverkop teruggedraaid worden. En hetzelfde geld voor veel van hun andere diensten (office analytics bijvoorbeeld, wat nu viva heet).

Ze hebben dit zakelijk ook pas geflikt. Opeens krijgen alle medewerkers popups van "Hee goed nieuws! Jullie hebben nu promotionele toegang tot copilot agents!". Terwijl wij intern nog helemaal niet hadden besloten om die functie af te nemen en aan wie we die dan precies beschikbaar zouden willen maken. Daar donderen ze gewoon tussendoor. We zijn erg voorzichtig met zaken als GDPR en dit valt bepaald niet in goede aarde als ze dat er zo doorheen rammen. Wij denken namelijk eerst goed na voor we iets doen.

Natuurlijk was er wel een vinkje om dat uit te zetten maar dat werd ook op hetzelfde moment pas bekend gemaakt toen de functie al uitgerold werd. Dus dit veroorzaakte veel twijfel omdat veel mensen die popups al gehad hadden. En ook toen weer was er geen begrip voor onze situatie "Oh maar waarom willen jullie dat dan niet? Het is toch gratis?".

Microsoft heeft een enorm Amerikaanse instelling waarbij alles "data driven" op de eerste plaats staat (ook omdat dat voor hen een value-add is), en ze snappen totaal niet de gevoeligheden die wij in Europa hebben op dit gebied.

[Reactie gewijzigd door Llopigat op 17 juli 2025 00:21]

[mdc]

Je hebt echt gelijk.

Het voelt inderdaad alsof we iedere dag gebombardeerd worden met nieuwe zaken waarmee grote bedrijven onze data kan gebruiken.

Het doet mij denken aan een soort van 'obfuscation' waardoor we geen weet meer hebben welke data wel of niet geleeld wordt.

[Randfiguur]

Inderdaad, en het gebeurt denk ik maar deels expres.

We leven in een tijd waarin steeds minder mensen de processen 'achter de schermen' van hun devices snappen, deels omdat die processen exponentieel geavanceerder en gelaagder worden. Ik denk dat de algemene ontwikkeling van de gemiddelde mens zodoende geen gelijke tred houdt met de ontwikkelingen op techgebied. Iets als 'klassiek' bedraad bellen was mogelijk nog volledig te snappen voor degene die zich er even in verdiepte, ook al was die technologie voor zijn tijd revolutionair. Nu zijn bijvoorbeeld AI-systemen zelfs voor hun bouwers letterlijk een black box!

[Tintel]

Ja - nog even we halen de UTP-kabel er weet uit (of de wifi antenne's)....

[Llopigat]

Niet eens zo'n gek punt.

Ik schroef altijd de WiFi/Bluetooth modules uit de NUCjes die ik als servertjes gebruik. Die hebben ze immers toch niet nodig en dat kan alleen beveiligingsproblemen opleveren als ze onverhoopt gehackt worden.

Helaas kan dat vaak niet meer omdat die nu ook vaak vastgesoldeerd zitten Dan maak wel de antennes los maar dat is niet 100% effectief (machines die er pal naast staan ziet hij dan nog wel)

Uitzetten in de BIOS kan ook maar dat is geen afdoende mogelijkheid als hij aan een KVM zit. En voor mij geldt gewoon: Communicatiekanalen die niet nodig zijn moeten ook niet werken.

[Reactie gewijzigd door Llopigat op 17 juli 2025 00:24]

[Tintel]

Communicatiekanalen die niet nodig zijn moeten ook niet werken.

idd

[Nico de Vries]

Je kunt ook wachten op het moment dat werkgevers dit soort data gaan gebruiken en met AI analyseren om werknemers te controleren. Vragen als "wie fraudeert", "wie houdt zich niet aan de afspraken en procedures" en "wie moeten we ontslaan bij de volgende bezuiniging".

[Badtothebone]

Daarom moet je als het kan een OR oprichten of al hebben. Die kunnen bedrijven terugfluiten. Zit zelfs in een Tech bedrijf OR ook uit het VS maar kantoren in NL en wij hebben meerdere keren policies enzovoort geblokkeerd in NL terwijl ze in de rest van de wereld ingegaan zijn. Niet leuk voor de uitvoerders uit de VS maar NL kantoor is NL arbeids regels en wetten naleven en niet anders

[kdekker]

In een iets andere context: Windows 11 verbergt standaard welke apps geinstalleerd zijn. Je tikt maar wat in de search box, en als er een app/programma gevonden wordt, dan 'yeah', maar anders stuurt (ik denk Windows naar bing) weer een bak data. Omdat onze verbindingen met internet zo snel en een maar kB, of zelfs MB aan data niet opvallen, kan een OS of programma ook veel makkelijjker data opsturen. De gebruiker typt toch maar wat, zonder al te veel benul.

In dat opzicht zou je zeggen dat de ontwerpers van Windows, maar dus ook CoPilot (zei het met nu nog opt-in) gebruik maken van de psychologie van de gebruilker. Die ramt toch maar raak op zijn/haar toetsenbord. Et voila, daar heb je weer een bron van data.

Dat delen van informatie gebeurt dus steeds meer onbewust en wordt onder je vandaan gehutseld. Weliswaar op expliciete acties van de eindgebruiker, maar die verder niet beseft (of nadenkt) wat er weggetrokken wordt. Hetzelfde geldt voor lukraak apps installeren op je telefoon. Bijna ieder bedrijf maakt van data vergaren een kernactiviteit. Dat met 'domheid' van de gebruiker maakt bestrijden heel erg lastig.

[Kvuivbribumok]

Ik ga tot 2032 Windows 10 LTSC gebruiken voor mijn gaming machine (voor de rest ben ik al overgestapt naar een macbook) en hopelijk heeft steamOS tegen die tijd support voor AAA games zoals PUBG en co. Je kan duidelijk merken dat Windows niet meer zo belangrijk is voor Microsoft en dat het meer gaat om services pushen en data verzamelen voor hun AI.

[418O2]

Want alle teams zitten alleen nog maar op AI?

Dat er iets wordt gebouwd wat jou niet aanstaat wil niet zeggen dat MS alleen maar dat doet

[anboni]

Nee, de teams worden allemaal langzaam maar zeker vervangen door AI....

[Scriptkid]

En jij denkt dat de Apple AI achter blijft.

[SSSQ]

Heb je bazzite al eens gegeprobeerd? hier een video van JayztwoCents

YouTube: I FINALLY listened to you and tried Linux... Why did I wait so long?

bazzite link

https://bazzite.gg/

[Reactie gewijzigd door SSSQ op 16 juli 2025 16:23]

[Kvuivbribumok]

Heb die vid ook gezien maar, als ik mij niet vergis, geen enkele linux distro kan bvb PUBG spelen door de anti-cheat.

[Milmoor]

Dit lijkt me een eerste stap om programma’s daadwerkelijk te gaan aansturen vanuit AI. Dan moet hij kunnen “zien” wat er gaande is. Alles met API’s regelen is dan niet nodig.

[latka]

Dat is voor de cli al goed bruikbaar (agentic mode AI). Kan het straks ook met GUIs. Is niet zo heel veel anders (maar met de diversiteit in schermen wellicht wel wat foutgevoeliger)

[sircampalot]

Dan is de GAPI geboren.

[whersmy]

Stel ik wil een nieuw programma leren, kan ik nu gewoon vragen wat ik wil leren en vervolgens krijg ik instructies? Bijv. In PS of AE.

[Prakman]

Exact dit zit toch in Vertex AI van google? (cloud.google.com). Niet gek dat ook Copilot er nu mee komt ;-)

Ik heb er wel eens iets mee gedaan, maar ik zie niet zo snel een voordeel.

Wel leuk om met een AI te kunnen praten en te vragen of die ook ziet wat ik zie "ik zie dat je muis op een koe houdt, deze koe is gras aan het eten" ...

Als ik iets probeer te configureren met hulp van AI heb ik tot nu toe weinig succes gehad. Dan werkt een tekst prompt met screenshots toch beter.

Iemand een andere ervaring?

[nzall]

Kan ik deze feature combineren met deep research achtige toestanden? Ik denk dat dit interessant kan zijn om op basis van een lijst van pakweg monitors of GPUs ze allemaal ineens te onderzoeken. Ik heb dat in het verleden al eens gedaan met Gemini, maar dan puur met tekst, en ik heb achteraf een aantal monitors moeten toevoegen.

[Killertjuh]

AI Studio van google kan dit al..

YouTube: Gemini 2.0 Screen Share AI Chat Feature - How to Use Tutorial | Google AI STUDIO

[HummerHealey]

Ik werk vaak met hoogst vertrouwelijke documenten. Dit en Recall is een zorgelijke ontwikkeling.

[mutley69]

Dit is totaal onaanvaardbaar! Microsoft moet met zijn AI van MIJN data blijven! Waar is de vertrouwelijkheid gebleven. Microsoft is een totaal onbetrouwbaar leverancier, net als Apple, Google e.a.

Tijd dat de EU een superstrenge AI-wetgeving uit brengt! Net zoals ik dat syncen van onedrive niet wens te accepteren en die login via Hello, of op hun cloud-omgeving!!!

Microsoft moet dringend de klant gaan respecteren. Bij mij liggen ze al voor 99.99% buiten en dat laatste 0.01% daar zijn ze goed voor bezig om dat te bestendigen!!!

[Roel1966]

Ik vraag mij echt af wat dan nu het nut ervan is dat je aan Copilot dan dingen kan vragen die op je deskopt staan, kan mijzelf geen enkele nuttige functie voor de geest halen. Sowieso staan bij mij al standaard microfoons en webcams uit en ik die handmatig inschakel. Dus dan moet ik eerst een microfoon gaan inschakelen om vervolgens dan Copilot iets te vragen, tja..... Maar goed, ook Copilot staat bij mij voor zover mogelijk uitgeschakeld net als alle andere AI flauwekul.