Cortana in Windows 10 krijgt reminders op basis van beeldherkenning in foto's

Microsofts digitale assistent Cortana krijgt in Windows 10 een functie om gegevens van posters van bijvoorbeeld evenementen te halen en gebruikers daaraan te herinneren. De functie duikt op in een build van Windows 10 in het Insiders-programma.

Cortana kan posters van evenementen automatisch zien in de foto's-app en als dat niet werkt kunnen gebruikers die een stylus hebben daarmee de relevante informatie omcirkelen om de digitale assistent erop te wijzen, schrijft Microsoft.

Om de functie te laten werken moet de computer op Engels staan met als regio de Verenigde Staten en moet Cortana toegang hebben tot foto's. Bovendien werkt het alleen op een laptop of tablet als die is aangesloten op netstroom en op een netwerk zonder datalimiet zit. De functie maakt gebruik van de beeldherkenning van het systeem achter Cortana. Cortana werkt vooralsnog niet in het Nederlands.

De verbeteringen aan Cortana behoren tot de vele nieuwigheden in de Insiders-build van Windows 10. Insiders-builds zijn bedoeld voor mensen die nieuwe functies in het besturingssysteem willen testen voor een nieuwe versie uitkomt. Dankzij feedback van gebruikers van Insiders-builds wil Microsoft die versies van het besturingssysteem van foutjes ontdoen. Microsoft bereidt zich voor op de Fall Creators Update van Windows 10, die dit najaar moet uitkomen. In aanloop daarnaartoe verschijnen daar builds van online.

Deze build krijgt behalve Cortana's posterherkenning ook een heel nieuwe lay-out voor het Action Center, gebaseerd op het nieuwe Fluent Design. Gebruikers kunnen bovendien weer favorieten in browser Edge vastpinnen aan de startbalk. Ook zijn er veel wijzigingen bij het gebruik van een stylus voor input in deze build van Windows 10.

Reacties (32)

[Loller1]

De focus van dit nieuwsartikel is wat mij betreft nogal iets te veel op wat in deze massive update een "detail" is. Er zitten nog zat andere dingen in:

- Edge heeft een full screen mode en websites kunnen terug gepind worden aan de taakbalk
- Aantekeningen op EPUB bestanden in Edge, en verbeterde PDF aantekeningen
- Een hele hoop wijzigingen aan de F12 tools
- position: sticky ondersteuning
- Start en Action Center hebben een véél performantere blur gekregen (arcrylic ipv hun eigen systeem), en AC heeft een nieuw ontwerp
- Links in de Share UI
- Een hele reeks nieuwe instellingen in Settings, onder andere een verbeterd overzicht van installerende updates
- WSL vereist geen Developer Mode meer
- Een volledig vernieuwd on-screen toetsenbord met swipe gestures
- Verschillende wijzigingen aan input en accessibility
- De lijst gaat door en door

[Genius-General]

Dus als ik het goed begrijp kijkt hij in de foto app om te kijken of daar ook een poster staat en daar automatisch een evenement aan koppelt?
Of als je een evenement hebt geplaatst in je agenda bv haalt hij dan een poster op?
(Let op, het is nog vroeg )

[Reactie gewijzigd door Genius-General op 28 juli 2024 23:53]

[watercoolertje]

Dat eerste maar dan wel op het moment dat je met andere dingen bezig bent. Je maakt nu bijv. Een foto en morgen avond als je weer moet opladen dan krijg je ineens de vraag of je iets met die data wilt.

Het idee is goed, maar ik zou die vraag direct na het maken van de foto willen.

[Geertje]

Volgens mij hebben ze daar de 'Cortana lasso tool' voor...

Cortana Lasso: Are you a pen user? If so, Cortana can now help keep track of future events on your screen! Use the new lasso tool to circle the relevant information and Cortana will recognize the time, and offer suggested follow-ups through a context menu. Keeping track of upcoming events has never been easier! To try it out, go to Settings > Device > Pen & Windows Ink > Press and hold, and select Cortana Lasso in the dropdown picker. Find a website with upcoming event info, or an event poster someone shared in social media – once you have the event on your screen, just press and hold the pen back button, circle the time information, and watch Cortana do her magic. That easy!
https://winblogs.azureedg...2f877efde1ecf-300x296.png

Wellicht interessant om de hele blog met release notes te lezen

[Reactie gewijzigd door Geertje op 28 juli 2024 23:53]

[warhamstr]

Regel eerst maar dat Cortana in ieder geval Engels kan praten hier in NL. Al deze functionality heeft hier niemand iets aan.

[Lagonas]

Daarom is de functie op dit moment alleen nog als je EN de taal op engels hebt, EN de regio op VS. Als je dan nog verwacht dat die in Nederland goed zal werken dan ligt het niet aan Cortana.

[warhamstr]

En als je om bepaalde redenen je regio niet op VS kan/mag instellen?

[Geertje]

Je hoeft alleen nog maar de taal in engels te zetten - wat ik trouwens sowieso veel fijner vind bij Windows - en daarna Cortana settings te openen en de taal kiezen die ze moet gebruiken.

Opent - voor het mini-groepje dat nog Win 10 mobile devices heeft - gelijk een fijne group aan features. To name a view:
- SMS-en via tablet/PC
- Notificaties van mobiel op tablet/PC
- Notificaties op je andere PC om door te gaan waar je op de tablet mee gestopt bent (bijv deze tweakers pagina lezen)

[WoutervOorschot]

Dat is al lang niet meer nodig, het zou mooier zijn als Cortana gewoon NL zou spreken natuurlijk, maar je kan in de Cortana instellingen kiezen als welk land je het wilt gebruiken als je regio niet ondersteund is.

[slopert]

Daar ligt het dus wel. Zorg dat de basis functionaliteit in ieder geval wel werkt in Nederland. De extra's maken mij dus niet uit.

Met Skype translator hebben ze de technologie al in huis, dus waarom Cortana niet?

[Tweaker1234]

Cortana kan Engels praten in NL.
Inmiddels alweer een tijdje

Hoe? Zet alles, inclusief regio, op NL en de (spreek)taal op Engels.

[Reactie gewijzigd door Tweaker1234 op 28 juli 2024 23:53]

[Adri Frijters]

Waar kan ik nalezen hoe ik de instellingen moet zetten om op mijn phone cortana moet activeren waarbij bing in NL blijft zoeken?

[Loller1]

Cortana kan in het Engels gebruikt worden ongeacht waar je bent. Dat is al sinds de Anniversary Update zo.

[Adri Frijters]

Maar hoe dan??

[rud]

En als ik het goed begrijp upload hij die poster dus naar Microsoft (omdat het alleen werkt als je verbonden bent met een netwerk zonder data limiet)?

Maw in principe upload hij alles naar Microsoft??? Dit voelt eng...

[batjes]

Want je wil een smartphone laten OCRen. Misschien als het erg goed getrained is, maar dit kost bergen, echt bergen aan data. Om dit lokaal op een simpel single/dual core ARM te kunnen draaien.

Het kost een boel perfomance, welke de gemiddelde smartphone niet bezit. Als ik al zie wat voor een moeite een i7 kan hebben met wat OCR taakjes, snap ik best wel waarom MS en andere partijen dat lekker in de cloud doen.

Naast dat MS hun systeem wil trainen, en daar kan het de data van gebruikers goed voor gebruiken.

[Origin64]

Het trainen van OCR software kost bergen data, het uitvoeren ervan toch niet per se?

[batjes]

Het uitvoeren niet persé inderdaad. Een goed geoptimaliseerde one item OCR tooltje, kan als deze getrained is, makkelijk op een single core ARM draaien.

Cortana doet heel wat OCR techniekjes tegelijkertijd uitvoeren, en dan wordt het op de low end toestellen toch al heel snel krapjes kwa beschikbare resources. Helemaal als het toestel ook nog andere processen heeft draaien. Maar dat moet het netwerk goed getrained voor zijn. Niet al te lang geleden met een OCR projectje bezig geweest die 9 letters moest herkennen die vrij random displayed werden (soort captcha). Dat trainen heeft 3 maanden en vele honderdenduizenden voorbeelden per letter gekost, voordat dit niet meer een volledige high end i7 in beslag nam en op de low end machines ook kon draaien. En dat was vrij simpel wit op zwarte achtergrond.

Ik heb wel een vermoeden, Apple gaat die kant namelijk ook op, dat als de low end smartphones het bij kunnen benen, en het netwerk is goed genoeg getrained, dat een groot deel gewoon offline uitgevoerd zal worden. Want dat is voor MS ook een heel stuk goedkoper dan een stukje van hun server park hiervoor reserveren.

Maar vooralsnog, zijn deze technieken en assistenten nog vrij jong in hun development cycle. Dus voor we echt zo ver zijn, zijn we denk ik al snel een paar jaar verder.

[Reactie gewijzigd door batjes op 28 juli 2024 23:53]

[Origin64]

Ik zit nog te wachten totdat een bedrijf als apple of microsoft datgene wat ze roepen over privacy ook echt in de praktijk gaan brengen, bijv. door de optie te bieden ipv allerlei data naar hun servers te uploaden, iets als deze OCR wel lokaal uit te voeren, of desnoods op een server die je zelf draait op je (hopelijk zuinige) media pc thuis, oid. ook al duurt het wat langer. mensen die zich geen zorgen over privacy maken, gebruiken lekker de cloud oplossing.

ik zou zo'n assistent alleen al nooit gebruiken, omdat ik niet wil dat wat ik zeg en doe zomaar wordt opgenomen en op een niet transparante manier door een groot bedrijf wordt opgeslagen.

[Reactie gewijzigd door Origin64 op 28 juli 2024 23:53]

[Dinny]

daarom heb ik cortona disabled hoe smarter de apparatuur, hoe dommer de mensen erachter ( denken moet je trainen ) en ik ben geen cloudgebruiker. xprivacy helpt m'n smartphone apps te beperken.

[laue]

Als je daar bang voor bent kun je ongeacht het merk/platform direct je smartphone in de prullenbak gooien.

[BJD1997]

Waarschijnlijk staan je foto's toch al als "back-up" in OneDrive dus ze hebben je foto's al lang in handen (die je met je Windows Phone maakt).
Overigens komen je foto's van een iPhone ook automatisch in iCloud te staan. Ook doet Google doodleuk hetzelfde maar dan met Google Photo's (waar ze suggesties doen voor verbetering voor foto's filmpjes maken etc. en dit weer aan jou voorstellen)

[stevens20]

Krijgen we dan straks ook van die facebook taferelen? "precies een jaar geleden stond je met Piet op de foto, weet je hoe het met hem gaat? neem contact met hem op" Hier zijn zijn gegevens...

Of mensen die het over mij hebben via whatsapp en hun foto's automatisch laten uploaden naar onedrive. Dat ik dan de vraag krijg of ik behoefte heb om contact met ze op te nemen.

Persoonlijk zou ik het fijn vinden als dit alleen met mappen gebeurd waarvan je het wil. Ik bedoel, je zou maar het jaaroverzicht van een band naar iemand sturen. Dan krijg je van ieder concert die melding.

[Kenhas]

Tja, het is niet dat het automatisch in je agenda terecht komt, volgens mij. Je moet nog altijd bevestigen. Bevestig je het niet, dan ga je er ook geen melding van krijgen. Althans, dat hoop ik

[wibra]

ik dacht aan reminders als "tijd om je te scheren!"

[TdoubleU]

Wat ik vreemd vind, is dat de 2 opties zijn: Herinner mij hieraan en dit is geen evenement. Als ik niet herinnerd wil worden moet ik dan dit is geen evenement aanklikken? Want het voelt voor mij aan alsof ik dan meld dat Cortana dit verkeerd heeft opgemerkt, wat dus niet zo is, maar ik ben gewoon niet geïnteresseerd.

[StefanJanssen]

Hoe vaak maak jij een foto van een poster als dit niet iets is waar je aan herinnerd wilt worden?

[Verwijderd]

Ik denk eerder aan de posters die op de achtergrond van je selfie staan.

[StefanJanssen]

Ik verwacht dat er gekeken zal worden of er personen op staan, zoniet probeer het uit te lezen en te vragen om het op te slaan. Als er mensen op staan verwacht ik dus niet dat hij de poster wilt uitlezen.

[Verwijderd]

Laatst beetje zitten klooien met Cortana, blijft toch wel een grappige en verrassend goed werkende assistent, het is jammer dat we niet wat meer controle krijgen (laat me gewoon zelf commandos toevoegen denk ik dan) en ik wacht nog steeds met smart op ondersteuning voor Nederland (dus niet persee de taal, maar dat Cortana in ieder geval Nederlandse begrippen/gebruiken enzo begrijpt) maar al met al, ja, best tof.

Als alternatief voor zelf commandos toevoegen heb ik wel wat gevonden trouwens, als je een snelkoppeling maakt in je start menu kan je Cortana vragen die te starten, daarmee kan je dan (via een omweg, helaas) dingen doen die ze officieel nog niet kan (om maar wat te noemen, media control, een steam game launchen, dat soort ongein)

[Origin64]

imo is het meer moeite om:
je telefoon uit je broekzak te halen
de foto app te openen
op de poster te mikken
op je touchscreen op de foto knop drukken
wachten tot de foto genomen is en in de galerij verschijnt
wachten tot cortana herkent dat het een poster is
evenement aan cortana bevestigen

dan het is om:
telefoon uit broekzak te halen
agenda te openen
naar juiste dag te scrollen
evenement handmatig in te voeren met korte afkorting die je zelf wel herkent als naam

beetje zelfde idee wat ik altijd had bij qr codes. ik typ de url bijna sneller in

[Reactie gewijzigd door Origin64 op 28 juli 2024 23:53]