Microsoft vraagt patent aan op snel reagerend touchscreen

Microsoft heeft bij het Amerikaanse patentenbureau Uspto een aanvraag ingediend voor een touchscreenpatent dat input van de gebruiker kan voorspellen. Dit moet de reactiesnelheid van het aanraakgevoelige scherm aanzienlijk verhogen.

De touchscreentechniek die in de patentaanvraag wordt beschreven beschrijft hoe de software op basis van input van de gebruiker voorspelt waar de volgende aanraking op het scherm plaats zal vinden. Ook wordt er rekening gehouden met de huidige staat van de interface, die aanrakingen op een bepaalde plaats meer of minder aannemelijk maken. Al deze informatie moet ervoor zorgen dat de inputlag bij het door Microsoft ontwikkelde touchscreen afneemt van 100ms naar 1ms.

Terwijl het systeem mogelijke scenario's voor een volgende aanraking berekent, wordt de benodigde data daarvoor opgeslagen in de cache. Daardoor kan het systeem snel reageren als de gebruiker iets doet wat werd voorspeld. Het lijkt echter aannemelijk dat het scherm trager reageert als er een niet-voorspelde aanraking wordt geregistreerd.

Het is niet de eerste keer dat er iets naar buiten komt over een dergelijk snel touchscreen van Microsoft. Eerder gaf het bedrijf met een video details over zijn nieuwe snelle aanraakgevoelige schermen, waarbij werd vermeld dat het voor een 'realistische' gebruikerservaring moet zorgen. Volgens Microsoft zijn huidige touchscreen met een inputlag van 100ms, of 50ms bij snellere varianten, te langzaam om een realistische interactie met een virtueel object te bieden.

Google heeft ook software ontwikkeld die touchscreens aanrakingen laat voorspellen. Een dergelijk systeem is ingebouwd in Android 4.1 Jelly Bean en moet de interface soepeler aan laten voelen. Het is onderdeel van Googles 'Project Butter', dat is opgezet om lag bij de bediening weg te werken.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (51)

[mrc4nl]

Microsoft surface (de oude tafelcomputer, niet de tablet) , maakt ook gebruik van projectietechniek:
Camera's en projector zitten op de bodem en kijken tegen de glazen plaat aan.
De aanraking kan dus heel snel gedetecteerd worden als een " camera" en hoeft geen speciale algorritmes om te plaats van de aanraking te herkennen.

Hier is een plaatje:http://www.radupoenaru.com/wp-content/uploads/microsoft-surface-diagram.jpg

De herkenning kan stukken sneller,de beeldopbouw is vaak al genoeg,
meeste schermen zijn 60 hz, dat is 1.6ms per frame.maar in het dagelijks leven, heeft mn smartphone meer last van de trage cpu dan de snelheid van de aanraking.

edit: foutje 1ms is idd 1/1000 seconde geen 1/100.
maar dan nog...

[Reactie gewijzigd door mrc4nl op 28 juli 2024 01:10]

[accountabc]

1/60 = 16.6, geen 1.6 .

Lijkt me mooi om dit in mobiele telefoons geimplementeerd te zien. Lagere responsetijd kan veel schelen om een vloeiendere ervaring mogelijk te maken

[Reactie gewijzigd door accountabc op 28 juli 2024 01:10]

[beyonix]

Aaaaaarrrrggh, my eyes!

[Reactie gewijzigd door beyonix op 28 juli 2024 01:10]

[computerjunky]

wil niet vervelend zijn maar de touch apparaten hier in huis bewegen soms al als je vinger er alleen nog maar overheen gaat en het plastic niet eens raakt hoeveel sneller wil je het hebben...


dit is net zoiels als een vrowser die 0.01 seconde sneller opend en daardoor aangekondigd word als de snelste browser maar het feit blijft instant is instant.


daar komt nog bij dat een mens niet te voorspellen is en dus de verkeerde actie kan voorspellen wat dus accuduur vreet voor niets omdat het iets verkeerd bekekend heeft en alsnog een andere opdracht moet versturen.

wat mij betreft dubbel nutteloos dus.

[Reactie gewijzigd door computerjunky op 28 juli 2024 01:10]

[Niemand_Anders]

daar komt nog bij dat een mens niet te voorspellen is

Hoezo niet.? Daarbij wordt niet de actie van de mens voorspelt, maar de voortgang van de app. Ik kan voorspellen dat bij hoger/lager jij kiest voor hoger of lager. Als jij de camera software start, kan ik voorspellen dat jij een foto wilt maken, dus let ik extra op de 'foto' knop.. Bij de meeste applicaties zijn er maar een beperkt aantal mogelijkheden. Die mogelijkheden kunnen op basis van historische gegevens steeds verder beperkt worden.

Neem de 'Lekker weertje' app. Die heeft een viertal buttons onderaan het scherm. Het OS kan daarvan alvast de voltages van die 4 lokaties opslaan. Klik iemand dan op zo'n 'hotspot' dan kan het systeem direct de actie uitvoeren. Nu raak jij het scherm aan, worden de voltages omgezet naar een x,y array en moet daarna op basis daarvan bepaald worden wat jij nu wilde doen.

Als je niet klikt op een hotspot dan zal het OS gewoon de oude procedure moeten doorlopen. Maar veel apps hebben een beperkte invoer. Dit patent maakt het mogelijk dat je een aantal stappen overslaat waardoor de reactie snelheid omhoog gaat..

[beyonix]

Mensen perfect voorspellen is inderdaad onmogelijk. Je kunt echter wel adaptief zijn in je voorspellingen van wat een gebruiker gaat doen, op basis van de sensor gegevens die je reeds hebt ontvangen, waarbij je meer rekening houd met recentere stimuli. Op die manier kun je rekening houden met versnellingen/vertragingen en curves, als je sensor genoeg punten kan meten in de tijd dat je zo'n beweging maakt. Dat kan niet altijd werken, abrupte stops/versnellingen kunnen maken dat de voorspelling doorschiet. Maar zoals het artikel ook al aangeeft, zal het systeem waarschijnlijk trager zijn wanneer een verkeerde voorspelling word gemaakt.

Daarbij vraag ik me wel af hoe onafhankelijk je dit kan maken van de onderliggende applicatie? Als je het volledig onafhankelijk zou willen maken, moet je virtuele instanties aanmaken van een proces en dan rekenkracht uitdelen om mogelijke nieuwe vinger-posities te verwerken op basis van de waarschijnlijkheid van die posities. Het zou veel efficienter zijn om dat soort dingen binnen de applicatie af te handelen, maar dan laat je de keuze, en het werk, aan de applicatie-ontwikkelaar.

Na snel doorlezen van de aanvraag is dat me niet duidelijk. Misschien willen ze per applicatie wel gewoon een drag-icoontje-optie geven, en dan het juist tekenen van een drag-operatie in het systeem afhandelen... Dat zou op zich wel werken denk ik, al zal je het in games mogelijk toch wel zelf moeten afhandelen.

[ArcticWolf]

Zo te zien is dit patent een keer goed omschreven, vergeleken met andere patenten die ik heb gezien
ik vind het iig een mooi stukje techniek! 1ms zal volgens mij echt goed aanvoelen

[Reactie gewijzigd door ArcticWolf op 28 juli 2024 01:10]

[johnkeates]

Inderdaad, dit is gewoon iets 'echts'. En hoewel ik mijn twijfels heb bij het prototype (lijkt een soort van micro firmware oid, geen compleet os met app en layers enz. dus minder vertraging door software), is het hele idee natuurlijk heerlijk. Gewoon iets dat je bijna realtime kan gebruiken, in plaats van actie en wachten op reactie, want dat is gewoon vervelend.

[mkools24]

Inderdaad, eindelijk een werkend prototype en niet alleen een geschetst idee op papier. Dat zou gewoon de standaard eis bij iedere patentaanvraag moeten zijn.

[Dakreal]

Een patent is een vastlegging van intellect, niet van hardware.

[Verwijderd]

Welk prototype. Het filmpje gaat over een aanraakscherm met een reactietijd van 1ms, terwijl het patent juist bedoeld is voor aanraakschermen van 100ms.

Het eerste is natuurlijk veel beter, maar waarschijnlijk nog duur bij de huidige stand van de techniek, vandaar dat men het tweede heeft ontwikkeld.

Als Google dat al in Android heeft verwerkt, laat het zien dat MS ook hier weer achterloopt. zij hebben nog maar net een patent aangevraagd, Google heeft het al in het product geïmplementeerd en in de markt. Dat er vervolgens nog een ander filmpje bij wordt gezet, suggereert dat ze nog helemaal niets kunnen laten zien.

Ik vind dat bedrijven als Nokia en MS met dit soort berichten alleen laten zien hoe zeer ze achterlopen op Apple en Google. Apple en Google kondigen in hoog tempo reële nieuwe diensten en producten aan. Bij Nokia en Microsoft krijgen we van deze toekomstvisies.

Nou als Android dit al in Jellybean heeft zitten, dan zegt dat alleen maar dat Google daar is waar Microsoft nog van droomt. Laat MS liever eens iets zien wat nog niemand anders aan gedacht heeft en niet als droom, maar als product. Daarmee scoor je.

Overigens is dit filmpje een goede verklaring waarom de pentablet mislukt is. Een echo ontregelt de hersenen, dat is bij geluid zo en ook bij het zien. Je hersens worden als het ware voortdurende teruggefloten door wat ze zien afwijkt wat ze verwachten te zien. Daardoor gaat je stotteren.

Het is dan ook een onprettige gewaarwording om te schrijven met een pen op een tablet. Juist de fijne motoriek is heel gevoelig voor dit soort lag. Je kan dan nog beter schrijven met je ogen dicht dan dat je er naar kijkt.

Voor het schrijven en tekenen zal de voorspellingstechniek weinig waarde hebben, want dat is redelijk onvoorspelbaar. Waar het patent meer op doelt, is dat voorspeld wordt welke volgende knop ingedrukt gaat worden. Van de sequenties kun je waarschijnlijkheidstabellen maken en in volgorde van waarschijnlijkheid vast instructies en bijhorende data in het geheugen laden. Een nadeel van de techniek is misschien dat hij tot wat hoger stroom gebruik leidt, want hij zit ook allerlei werk te doen dat nooit gebruikt wordt. Het is een vorm van caching en branche prediction zoals die ook in processors wordt gebruikt, maar dan op macro niveau.

Voor de gebruiker is dit natuurlijk prettig. Niet alleen de interface is sneller maar ook programma's starten sneller op. MS heeft natuurlijk ook al de nodige ervaring met prefetching in Windows. Als het gaat om vloeiend werkende interfaces kan je gerust bij MS aankloppen. Het zou me zelfs niet verbazen als ze dit soort technieken al langer gebruiken. Het is nu de mode geworden om alles te patenteren, zodat je anderen met patenten om de oren kan slaan.

Als MS echt zou willen scoren dan moesten ze tablets uitbrengen met 1ms responstijd waar je wel vloeiend op kan tekenen en schrijven. Misschien dat dan het pennetje een tweede leven kan krijgen. Tegenwoordig mag je werkbonnen op een tablet ondertekenen, dat ziet er dus echt niet uit, daar zou je voordeel kunnen halen uit zo een systeem. Ik geloof echter niet dat het schrijven het tikken ooit weer gaat terugdringen. De meesten van ons kunnen al niet meer langdurig schrijven. Maar meer natuurlijk kunnen tekenen zou wel een prettige toevoeging zijn. Ook om annotaties op te maken in documenten is het prettig en bij het gamen biedt het zeker voordelen.

Dus MS geef ons geen verhalen, geef ons een tablet met een 1ms vertraging. Geef ons iets wat de anderen niet hebben. Of zit dit straks weer als eerste in de iPad4?

[Reactie gewijzigd door Verwijderd op 28 juli 2024 01:10]

[Verwijderd]

Mooi, je telefoon wordt er niet sneller van, maar het voelt wel zo veel sneller aan . Heerlijk.
EDIT: telefoon, elk touch apparaat natuurlijk.

[Reactie gewijzigd door Verwijderd op 28 juli 2024 01:10]

[Verwijderd]

Sterker nog, deze techniek is helemaal niet uniek voor touch. Als ik het zo even vlug doorleest bepaalt het apparaat simpelweg wat de meest waarschijnlijke eerstvolgende actie is. Vervolgens voert hij op de achtergrond deze actie alvast uit, maar cachet hij het resultaat. Als deze actie vervolgens daadwerkelijk wordt uitgevoerd dan hoeft alleen nog maar het resultaat uit de cache gehaald te worden. Dat de actie op het touchscreen wordt uitgevoerd is hierbij slechts een bijzaak, dit kan net zo goed door een toetsenbord of een muis o.i.d. gedaan worden.

Dit is overigens iets wat bijvoorbeeld processoren al jaren doen, maar dan op een veel kleinere schaal (branch prediction.) Slim dat Microsoft dit ook op de invoer wil toepassen!

[Reactie gewijzigd door Verwijderd op 28 juli 2024 01:10]

[Verwijderd]

Mooie uitleg; maar dat veroorzaakt dan wel een paar vragen. Zoals jij het beschrijft vind ik het totaal geen patent waard, omdat het niet echt iets nieuws is qua scherm. Ze zorgen er softwarematig voor dat er 'wellicht' een snellere reactie kan komen van je scherm, maar doe iets onvoorspelbaar en je hebt dan eigenlijk gewoon de standaard reactietijd van 50 of 100ms.
Vrij kansloze patentaanvraag imho.

[Verwijderd]

kansloze patentaanvraag? Ik vind dit nog redelijk patent waardig gezien de andere pantenten *kuch* slide to unlock *kuch*.

Ik kan me voorstellen als jij als bedrijf een manier hebt gevonden om software of hardware matig de input lag te verlagen tot 1 MS dat je niet wil dat iedereen ermee aan de haal gaat en geld mee verdient.

[Verwijderd]

De vraag is.. is het slim of gewoon volgen?
Jelly Bean draait op fixed 60 FPS + touch prediction zoals hier wordt beschreven...

http://www.youtube.com/watch?v=krrLfZjirv8

[Reactie gewijzigd door Verwijderd op 28 juli 2024 01:10]

[Verwijderd]

Mooi, je telefoon wordt er niet sneller van, maar het voelt wel zo veel sneller aan . Heerlijk.
EDIT: telefoon, elk touch apparaat natuurlijk.

De bruikbaarheid ervan wordt wel sneller, en dat is belangrijker dan 100ms sneller opstarten.
100ms per sec.lag is veel. Als je dat terug kunt brengen naar die 1ms dan is dat erg mooi voor het effect van die "Touch" (aanraak en registratie)
Ik vraag mij alleen af of dat niet tenkoste van de nauwkeurigheid gaat. Volgens mij zei hij van niet

[Reactie gewijzigd door Verwijderd op 28 juli 2024 01:10]

[Verwijderd]

Responsiviteit is erg belangrijk, een goede zaak is deze ontwikkeling dus!

[guapper]

patentaanvragen voor een stukje software wat eigenlijk een patch is om de reactiesnelheid van de hardware te bevorderen is geen goede ontwikkeling.

Dat op deze manier de software iets sneller zal reageren is mooi, maar een patent voor predictive input... beter van niet.

[HotFix]

Dit patent beschrijft niet enkel software. De huidige hardware in onze touchscreens is nog niet in staat 1ms input lag te behalen, maar de besproken hardware zou dit in principe moeten kunnen. Het zal echter nog wel even duren voordat we dit gaan zien in onze draagbare media, maar zodra het er is zal dit een gigantische vooruitgang zijn!

[BramT]

Het gaat hier overigens wel om de software (algoritme). Het enige stukje hardware wat hier in staat is een scherm dat al 'op afstand', zeg 1 cm, je vinger kan detecteren. Die schermen bestaan overigens al.

Wat MS is hier doet is mbv van zo'n scherm en software de totale software lag verminderen van 0,1 naar 0,001 sec. Het is dus niet de hardware die dit 'doet', maar de software, eventueel (maar niet noodzakelijk) m.b.v. het eerdergenoemde scherm.

De lag zit 'm namelijk niet in het scherm zelf. De touch-input wordt vrijwel direct doorgegeven aan het OS en de applicatie. Het probleem is dat die applicatie 'even' nodig heeft om de reactie uit te rekenen en te tonen. Dit is de lag die men ervaart. Deze lag wordt nu geminimaliseert door alvast uit te rekenen wat het OS verwacht dat de gebruiker gaat doen. Zodra de gebruiker dit dan ook daadwerkelijk doet is het resultaat direct beschikbaar.

Als het puur aan de hardware had gelegen dan kom je natuurlijk nergens met dit patent. Dan moet je bij de schermfabrikanten zijn.

[Reactie gewijzigd door BramT op 28 juli 2024 01:10]

[skillet]

Maar is voor deze techniek nu een ander scherm benodigd (zoals microsoft suggereert in de video) of andere software ( met voorspellende kenmerken zoals android jelly bean)?
Of wellicht beide?

[Reactie gewijzigd door skillet op 28 juli 2024 01:10]

[ThomasG]

Het detecteren van de vinger positie gebeurt 'hardware' matig, dus heb je in ieder geval een ander scherm nodig (een deel via de firmware, maar een groot deel via het scherm zelf). Vanzelf sprekend dus ook andere software wat met een snel reagerend scherm om kan gaan, en wellicht bepaalde functionaliteit verfijnd. Voorspellende software kan een uitkomst zijn in sommige applicaties, zoals bijvoorbeeld een foto album waar je foto's kan slepen. Maar bij bijvoorbeeld een doolhof game waarbij precisie en snel van richting veranderen belangrijk is, juist een nadeel.

[Fjerpje]

Vooral voor architecten is dit een zweer welkome ontwikkeling. Weliswaar niet een doorbraak maar toch zeer goed voor tekenen en allerhande toepassingen.

[guapper]

Als ik het goed begrijp is een architect niet erg voorspelbaar.

Formulieren waarin vakjes moeten worden aangevinkt en dergelijke zijn dat wel, en daar is dit dan ook voor bedoelt als ik het goed lees.

[Fjerpje]

Nee, daar is dat niet voor. Als je het filmpje had gezien dan had je het wellicht begrepen.

[BramT]

Architecten en tekenaars gaan hier niks aan hebben. Het OS/de app kan niet alvast berekenen wat zo'n persoon gaat tekenen.

Dit patent slaat niet op snelheid van het scherm/hardware!

[Verwijderd]

Ik ben niet zo thuis in patentaanvragen, dus weet niet zo goed hoe specifiek het moet zijn. Maar het lijkt me dat je hier ook een zelflerend systeem bij wil hebben, a la Swiftkey X op Android. En dan niet alleen specifiek voor het toetsenbord, maar er moet ook iets geprofileerd kunnen worden wat betreft interface gebruik lijkt me, in ieder geval een veelbelovende techniek!

EDIT
Miste de stap:

Compute an estimated probability based on prior usage data

[Reactie gewijzigd door Verwijderd op 28 juli 2024 01:10]

[Amanoo]

Is dit nu niet prior art omdat Google hier al mee bezig is in Jelly Bean?
Of gaat het om een specifieke techniek (voor de verandering)?

[Loller1]

Zeer mooi, ik heb altijd gevonden dat de huidige touchscreens zo onnatuurlijk aanvoelen doordat deze juist achterlopen op je hand, als ze zo gelijk lopen, moet dat toch stukken beter voelen.