Microsoft Research toont UI met pen en touch

Microsoft heeft in zijn onderzoekslaboratoria een techniek ontwikkeld die pen-input en multitouch-gevoeligheid van beeldschermen combineert. De techniek werkt samen met Microsofts Surface en maakt gebruik van een infraroodpen.

Het Microsoft Research-project dat de combinatie van pen- en touch-input realiseerde, is door de betrokkenen Manual Deskterity genoemd. Onder anderen Bill Buxton, een vooraanstaande interactieontwerper en hoofd onderzoek bij Microsoft Research, is voor het project verantwoordelijk. Manual Deskterity tracht de voordelen van touch-input te combineren met de mogelijkheden die een pen op een aanraakscherm biedt: sommige taken zijn eenvoudiger met de pen te doen, terwijl voor andere taken multitouch te prefereren is.

Het toepassingsgebied is echter vrij beperkt: de demonstratie toont een Surface-applicatie waarin de gebruiker met foto's en post-its speelt. In- en uitzoomen gaat als 'vanouds' met pinchen, maar foto's uitsnijden en uiteraard bijschriften schrijven zijn makkelijker met de pen. Microsoft ontwikkelde een speciale infraroodpen, die samenwerkt met zijn Surface-technologie. Die techniek neemt multitouch-input van vingers waar door middel van een infraroodcamera.

Microsoft Research voorspelt dat de techniek achter Manual Deskterity op korte termijn voor eindgebruikers beschikbaar komt. Onder meer de N-Trig-hardware van Dells XT2-tablet ondersteunt de techniek.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (51)

[PhWolf]

Het ziet er allemaal heel intuitief uit moet ik zeggen, al denk ik wel dat het aardig wat gewenning vergt om alle pen+vinger combinaties te leren. Het gebrek aan UI is natuurlijk wel een verademing.

[RM-rf]

Het ziet er allemaal heel intuitief uit

Meen je dat werkelijk? het enige dat erg 'intuitief' uitzoet is dat degene die de demo doet dus kennelijk goed weet wat alle handelingen kunnen doen... speciaal die handelingen met pen en touch ...

enkel, hoe weet je dat eigenlijk als 'gewone' gebruiker tenzij je eerste een hele tutrial moet doorlopen ?
de handelingen zijn namelijk een beetje onvoorspelbaar .... de ene keer met één vinger een foto vasthouden en dan een 'kopieer-actie' doen je 'pen' te klikken en bewegen is leuk, maar als je dat niet weet, niet direkt iets dat je op de gok doet...


hetzelfde met de 'uitsnede die gedaan wordt door twee vingers op de foto te plaatsen en dan langs de rand je pen een lijn te zetten....

'intuitief' is daaraan nu helaas heeel weinig... hooguit zouden sommige handelingen een bepalde 'gewenning' kunnen krijgen, zoals nu al met het 'pinchgebaar'

[KilZone]

Dat ligt er aan hoe je 'intuïtief' wilt definiëren, want het betekent iets anders dan wat jij nu doet voorkomen. Je 'intuïtie' is hetgeen dat jij iets aanvoelt zonder er over na te denken, wat dat betreft heb je gelijk dat dit niet direct 'intuïtief' aandoet.

Echter als je er langer over nadenkt, dan kom je tot de conclusie dat in deze wereld bijna niets direct 'intuïtief' is. Als baby krijg jij heel veel dingen aangeleerd en daardoor creëer je een 'intuïtie' voor bepaalde dingen.

In de computer is niets intuïtief totdat je ermee leert werken. Zelfs het vingergebruik op de iPhone is niet iets wat je zonder gewenning kan doen. Er komen bij mij nog steeds mensen langs die zich afvragen waarom de icoontjes op hun scherm trillen.

Echter als je kijkt naar het dagelijks leven dan leer je als baby, je kunt schrijven met een pen en met je hand verplaats je dingen. Als je dit generieke, zonder te kijken naar het kopieren, dan is dit voorbeeld heel intuïtief. Je kunt namelijk invoeren met de pen en verplaatsen met de hand. (Het zelfde geldt voor het snijden, want dat doe je normaal met een 'mes'...)

Kopiëren kan je niet zonder apperatuur, dus leer je dat als baby niet. Daardoor zal ieder apparaat die zo'n functie ondersteunt niet op volgens je intuïtie werken, je het het immers nog nooit eerder gedaan. De nu gebruikelijke concensus is dat je klinkt en drukt op kopiëren, maar als je er dan over nadenkt is het filmpje veel logischer.

Wat je namelijk doet is, vasthouden met de hand en invoeren met de pen. Dit invoeren is in dit geval een kopie van het origineel maken, maar het blijft invoeren. Al met al kan je deze hele interface terugbrengen tot: verplaatsen met je handen, invoeren met de pen. En dat is wel intuïtief.

[RM-rf]

Al met al kan je deze hele interface terugbrengen tot: verplaatsen met je handen, invoeren met de pen. En dat is wel intuïtief.

Heb je het filmpje gezien.....? het kopieren doe je bv door je handen op één plek te houden en de pen op de foto te 'drukken en die dan te verplaatsen...

Nogmaals.. dat vind jij 'intuitief'? (Twee afzonderlijke handelingen die je toevallig net gelijktijdig moet uitvoeren, zonder dat er verder 'feedback' is dàt je die zou kunnen uitvoeren...)

'Intuitief' is, wat voor definitie je er verder ook bijzoekt altijd en handeling die een persoon kan uitvoeren op basis van de informatie en feedback die direkt voor hem aanwezig is en zonder specifieke gebruikerskennis bij te moeten leren.
(heel terecht noem je bv de wakkelende icoontjes in de iPhone ook iets dat 'niet intuitief' is, dat is het idd niet, al heben ze het daar iig nog geprobeert te ondervangen door ook een 'x'-kruisicoontje eraan toe te voegen om de gebruiker de informatie te geven dat er ook iets 'verwijderd' kan worden, wat hooguit een 'poging' is de intuiviteit te verhogen)

'intuitief' betekent vooral dat je als gebruiker in staat bent bepaalde handelsbeslissingen te nemen op een snelste mogelijk wijze door de informatie te verwerken betreffende de objecten én welke handelingen nodig zullen zijn deze te verwerken op een wijze zoals je dat wilt (Recognition primed decision)..

Het punt is echter dat als je bv een handeling wilt doen als kopieren 95% van de gebruikers _niet_ zullen weten hoe dit te doen, omdat er niks is dat hen ook mar een minimale 'aangave' geeft _hoe_ zulk een handeling te ondernemen....
en dus zullen al die gebruikers stilvallen en zullen ze bv de handleiding erbij moeten nemen om uit te vinden hoe het moet ...


dan kun je veel eromheen praten, maar dat betekent dus gewoon dat die Interface aan 'intuiviteit ontbreekt en afhangt van bepaalde hanelingen die hooguit bewust 'erbij geleert' kunnen worden

[Reactie gewijzigd door RM-rf op 26 juli 2024 21:16]

[KilZone]

Ik moet dit nogmaals typen omdat je in de tussentijd je stuk hebt aangepast, maar okee. Het woordt 'intuïtief' is anders dan jij het laat zijn, het is afgeleid van het woordt 'intuïtie' wat uit het Latijn komt. Hier betekende het ooit 'innerlijk aanschouwend' en tegenwoordig betekent het ongeveer wat jij zegt 'het rechtstreeks vatten van het wezen van een zaak'.

Als je deze letterlijke definitie neemt, dan is het inderdaad zo dat niet al deze dingen geheel intuïtief zijn. Al moet ik zeggen dat ik wel vaker langs de rand van een stuk papier of foto heb getekend (deze als lineaal gebruikend), maar dat terzijde.

Wat echter de vraag blijft, wanneer heb je intuïtie voor iets? Hoe zou jij kopieren als intuïtief ervaren? Om maar een ander voorbeeld te geven, wanneer je een baby (tot 6 maanden) roept reageert hij niet op zijn naam, terwijl volwassene intuïtief opkijken. Dit komt omdat ze dit hebben aangeleerd en er een connectie in hun hersenen voor hebben aangemaakt.

Het kruisje wat jij noemt voor het verwijderen van een applicatie op de iPhone is intuïtief omdat de algemene concensus is dat een kruisje staat voor 'sluiten' of 'verwijderen'. Echter ik geloof niet dat 40 jaar geleden mensen dit intuïtief zouden noemen.

Kortweg, zoals vgroenewold, de invoer is intuïtief en de handelingen misschien (nog) niet. Maar dat heeft puur te maken met wat jij als achtergrond hebt en wat je als baby aangeleerd krijgt!

Kopiëren: In de niet digitale wereld is het onmogelijk om een kopie van iets te maken tenzij je het overschrijft. Als baby leer je dus nooit kopiëren en dus zal geen een handeling intuïtief overkomen. Jij hebt waarschijnlijk al een tijd gewerkt met de computer (bijna alle Tweakers) en dus heb je intuïtie voor bepaalde knoppen op je PC of Mac. Maar uitgaande van een knop of deze actie komt deze actie toch het meest in de buurt van een logische handeling.

Als je een plak worst op je brood wilt doen, dan pak je de bak met wordt. Daarin liggen alle plakjes op elkaar en als je er een wilt hebben, hou je met de ene hand de worst tegen en met de andere haal je er één plakje van af.

Zo werkt het kopieren hier ook. Je houdt met één hand de foto tegen, zodat deze niet wegschuift, en met de andere trek je er een plakje van af. Al met al denk ik niet dat het veel intuïtiever kan dan dat.

Je doet het met de pen omdat je iets 'extras' wil invoeren en niet wilt verplaatsen. Zou je het met twee handen doen, dan trek je er aan, dan zou het scheuren, vrij logisch gebeurd in het echt ook.

@RM-rf Dan blijft mijn vraag aan jou, wat kan jij dan intuïtief of instinctief zonder dat je ooit hiermee iets gedaan hebt? Daarmee bedoel ik niet persé iets op computer gebied, maar in het dagelijk leven. Je vindt handelingen intuïtief omdat je bepaalde dingen bent aangeleerd. Mijn hele punt draait om dat geheel, niet om het feit of dit nu intuïtief is of niet.

@RM-rf: Ik wilde nog even erbij zeggen dat ik wel begrijp wat je bedoelt! Ik ben het op vele punten wel met je eens en ook met vgroenewold over de 2D vs 3D omzetting. Maar het gaat mij even om het feit dat intuïtie afhankelijk is van je achtergrond, hetzelfde geldt voor het nu aangevoerde 'instinct'. Verder is de naam misschien een moeilijk voorbeeld, maar het idee is wel hetzelfde.

[Reactie gewijzigd door KilZone op 26 juli 2024 21:16]

[RM-rf]

Je voert het begrip 'instinctief' nu opeens door tot 'alle' succesvolle interface-handelingen, alsof een gebruikershandeling die effectief aangeleert kan worden hierdoor óók opeens 'instinctief' wordt..

Met alle respect, maar dat is een wel héél vergaande eigen definitie die ook bij mijn weten door niemand in de usability-theorieen of interfáce design gedeeld wordt.
(je voorbeeld van het opkijken bij het noemen van je naam snap ik eigenlijk al helemaal niet, dat heeft met 'instinct' weinig te maken, is mogelijk eerder een vorbeeld van en bepaald 'reageer-vermogen op een prikkel of een conditionering' maar dat heeft juist niks te maken met 'instinct')

'Instinctief' is echt enkel een handeling die zònder voor-kennis en op basis van de voorhande informatie gewoon door iedereen uitgevoerd kan worden, zonder dat deze gebruiker daarvoor eerst 'op zoek moet gaan ' of iets extra moet aanleren...
je kunt niet iets 'dat mensen eerst moeten aanleren, vervolgens 'instinctief' noemen, als die het aangeleerd hebben.

Dat is verder niet erg, computer-interfaces kennen nu ook al sowieso een hoop interactie-handelingen die niet intuitief te noemen zijn... bv sneltoetsen (CTRL-C, CTRL-V) zijn geen intuitieve handelingen, dat een hoop gebruikers ze wel kennen is echter een kwestie van het aanleren daarvan, wat ieder mens best wel kan...

ook die mobiele touch-interface zal, als hij werkelijk zo doorgevoerd wordt en een hoop aantal gebruikers kan vinden, mogelijk een groot deel daarvan 'laten aanleren' wat precies die handelingen doen en hoe ze te gebruiken... en daarin succesvol zijn, en prima te gebruiken.
enkel, dat maakt die handeling en interface nog zeker niét 'instinctief'.

[Reactie gewijzigd door RM-rf op 26 juli 2024 21:16]

[vgroenewold]

Hier geef ik jou gelijk in ja, invoer met een pen en het verplaatsen met de hand, is zeer zeker intuitief zoals Killzone mooi uitlegt... maar hier gaat men daar veel verder in, men maakt enorm veel combinaties die totaal niet natuurlijk zijn, niet op specifiek deze manier. En waarom niet? Omdat het 2D is. Een mens vindt veel zaken intuitief in een 3D omgeving, het scheuren van een papier doe je door deze vast te houden en te scheuren... niet door erop te klikken en met een vinger langs te bewegen. Dus de invoer hier is intuitief, de rest moet vooral aangeleerd worden. Daar moet ik dan wel bijzeggen dat ik niet denk dat het heel lastig aan te leren is en als men deze technieken helemaal doorvoert in het gehele systeem, is het op een gegeven moment weer logisch. Maar dat is iets anders dan intuitief inderdaad.

[BramSd]

Hulde. Mooie uitleg. Ik kijk uit naar de tijd dat wel allemaal dergelijke 'surface's' in huis hebben.

[flamingworm]

gewenning idd, maar alles ziet er natuurlijk uit, zoals een foto vasthouden met 2 vingers waardoor je een rechte rand krijgt, scheuren doe je met je vingers, knippen met de pen etc. allemaal superlogisch

Ik ben onder de indruk !

[PegOpDeWeg]

ja leuk om te zien en knap allemaal maar wat moet je er mee?

Ik heb een post-it gescheurd. goh leuk.
Een foto gepakt en transparante kopietjes gemaakt en nu?

Ik bedoel hiermee te zeggen, dat er geen enkel praktisch nut te vinden is anders dan je tijd verdoen met schuiven van plaatjes, oprekken van afbeeldingen en dat soort onzin.

[watercoolertje]

Ben je echt zo niet slim (andere woord klinkt een beetje hard) dat je niet door hebt dat dit om een demonstratie gaat van een techniek (het combineren van 2 verschillende touches), en dus niet van een programma opzich (uiteraard wordt er een programma gebruikt om de techniek te laten zien)?

de demonstratie toont een Surface-applicatie waarin de gebruiker met foto's en post-its speelt

[Reactie gewijzigd door watercoolertje op 26 juli 2024 21:16]

[HerrPino]

ja leuk om te zien en knap allemaal maar wat moet je er mee?

Nou, het werkt intuitief en sommige mensen doen niet anders dan dit de heeeele dag. Ik ken ze. We hebben hier designers welke van die moodboards maken, en die knippen en plakken de gehele dag.

[gizmostudios]

"Dat soort onzin" is wel hoe designers tot een ontwerp komen. Je neemt alle dingen die je interessant vindt en betrekking hebben tot je ontwerp, en gaat daar mee spelen.

In Photoshop doe je precies hetzelfde, behalve dat je eerst de laag moet selecteren, daarna de juiste tool kiezen, een maskerlaag aanmaken, brushsettings instellen... Je snapt het al: behoorlijk omslachtig allemaal als je ziet hoe snel en intuïtief het kan met multi- en pentouch.

Als je deze technieken juist implementeert in een programma als Photoshop (Apple probeerde het al met z'n multitouch trackpad en Photoshop... niet echt een succes) dan zie ik de workflow wel een enorme boost krijgen.

Veel designers beginnen op een fysieke werktafel met knipsels en gekleurd papier omdat het veel intuïtiever werkt om daarmee te schuiven/knippen/scheuren/snijden. De computer is toch een barrière vanwege de huidige user input. Dit neemt dat weg!

Persoonlijk vind ik het zéér interessant!

[vgroenewold]

Vindt je? Ik zie hier nu eindelijk eens een hele nuttige toepassing van het gebruik van een stylus. Dit vond ik nooit interessant, multitouch ftw zeg maar, maar deze combinatie ziet er top uit! Ideaal voor presentaties, maar ook voor tablets bijv. Jammer alleen dat het waarschijnlijk teveel resources nodig heeft (vooralsnog) en dus alleen in de grotere displays en bij presentaties wordt gebruikt. Maar nuttig nonetheless, je gebruikt geen papier meer, je haalt je informatie gewoon vanaf je netwerk er even bij, je tekent even wat informatie bij je presentatie (omdat daar discussie over is ontstaan in het publiek) etc. Ik geef toe dat het erg grappig blijft dat invoer middels een pennetje, nog steeds als zeer prettig wordt ervaren door mensen, ondanks dat het traag is en vaak onduidelijk. Maar het is nu eenmaal zo en ik heb het idee dat de techniek tegenwoordig meer meegaat met hoe een mens graag interacteert en niet perse wat het meest efficiente moet zijn. Tekenen op een bord en opschrijven van punten doet je ook beter na laten denken heb ik vaak het gevoel, je bent wat creatiever bezig dan simpelweg een ingestudeert praatje te geven.

Nu zijn er al pogingen tot zulke presentatie-borden, op mijn werk hebben we een dergelijk iets in gebruik, maar de schermen en de soeplheid van het systeem vind ik niet bij Surface in de buurt komen.

[nika]

Doet een device als de Wacom Bamboo niet hetzelfde? Alleen dan niet onscreen?

[graey]

Je beantwoord je eigen vraag al; nee, hij doet niet hetzelfde. Daarnaast gaat dit meer om de software-kant dan de hardware-implementatie. Ja, de hardware-kant is ook belangrijk, en daar hebben ze ook hun eigen manier voor bedacht, maar het belangrijkste lijkt mij in ieder geval hoe je omgaat met deze (gecombineerde) vorm(en) van invoer.

[cybermarc]

tja dat was dus ook mijn eerste gedachte, dat doe ik al off screen met m'n Bamboo in combinatie met BumpTop.

wel grappig dat de on screen touch/pen combinatie op deze manier doorontwikkeld wordt, het is de volgende logische stap in software besturing.

[bonus]

Ja ik denk toch dat dit steeds meer gaat komen, sterker nog had het eigenlijk alllang verwacht. Dit lijkt me zo makkelijk werken. Tuurlijk zal niet alles gaan, maar...
Beeldscherm in de tafel en dan schuiven en zo. Of gamen, bordspel (Risk b.v). of muziek makenof layout (DTP). Lijkt me super, hoop alleen dat ze goed nadenken over de pen.

In het verleden wel een van die touchboards gehad waar je dan b.v. 2 keer moest drukken met de pen ofzo maar dat levert na verloop van tijd ook een knap pijnlijke schouder op...

[Reactie gewijzigd door bonus op 26 juli 2024 21:16]

[kozue]

Allang verwacht? Het is er ook allang al, tenzij ik iets niet helemaal snap. Mijn Nintendo DS kon ik vele jaren geleden al besturen met zowel de stylus als m'n vinger, wat is hier zo nieuw aan? Maarja, tis van MS he, dan is het ineens nieuw, ofzo...

[Verwijderd]

Of je legd je iPad op tafel....

[SunnieNL]

gaat niet werken op een ipad omdat die volgens mij geen pen ondersteund (en dus ook geen handschrift herkenning??)

Maar kan me erin vergissen.

[martijnsch]

Klopt, geen handschriftherkenning, maar er zijn wel mensen die een soort van stylus hebben gemaakt voor de iPhone, dus het is wel mogelijk.

[Neko Koneko]

Ja leuk, een miniatuurscherm dat de hele tijd wegschuift door zijn gladde onderkant. Surface gaat verder dan dat, ik zie in de toekomst een scherm dat (zo goed als) de hele tafel in beslag neemt waarmee je alles kunt doen wat hierboven wordt genoemd. Zie ik op zo'n klein ipadje nog niet gebeuren eerlijk gezegd.

[Verwijderd]

Behalve dat je je ipad niet op tafel kunt leggen, de onderkant is namelijk niet vlak waardoor het ding schommelt liggend op een plat oppervlak en bediend met 2 handen... je moet de ipad op schoot leggen als je 2 handen wilt gebruiken (of een kussentje op tafel oid), of de ipad met 1 hand tegenhouden en met de andere hand bedienen.

[elmuerte]

Hebben ze nog steeds geen andere fatsoenlijk voorbeeld gevonden dan de standaard foto collectie?
(Wat is eigenlijk de gesture voor het omdraaien van de foto zodat je de achterkant kan zien?)

[Slashdotter]

Het voorbeeld moet zoveel mogelijk mensen aanspreken en een foto collectie is juist het beste perfect daarvoor

[SgtElPotato]

Ziet er wel goed en soepel uit. Mooi dat ze de palm van je hand negeren.
Ben benieuwd.

[Fitz]

Lijkt me prachtig om dit in de keukentafel te zien (incl XXXL screenprotector)
's ochtend krantje kijken met filmpjes e.d. (interactief) met notities van vrouwlief aan de zijkant (13:00 naar de tandarts). Met vrienden/familie foto's bekijken en evt ganzeborden of monopolie. en weet ik veel wat je er allemaal meer mee kan. Op naar 2015!

[watercoolertje]

Waarom een screenprotector ga je hem in je broekzak mee nemen ofzo

[Framoes]

Ik ben zeker onder de indruk. Als ze dit nou weten toe te passen op de Courier is de kans op een groot succes echt vele malen groter.

[Relief2009]

Beperkt toepassingsgebied? Dus tweakers.net als ik een telefoon pak en ik laat in een korte video zien dat je er mee kunt smsen, is de telefoon opeens beperkt tot alleen het smsen?

Wat een ongefundeerde onzin voor een tech website. Ik zie niet in waarom je met de deze techniek in de toekomst geen videos zou kunnen bewerken of waarom je deze software niet zou kunnen uitbreiden met behulp van paint.net.

Met een beetje fantasie zie ik hier heel veel mogelijkheden.

[Reactie gewijzigd door Relief2009 op 26 juli 2024 21:16]

[hsb85]

doet mij eigenlijk denken aan de Microsoft Courier, die zou toch ook zo´n soort ondersteuning krijgen. maar goed dat het binnenkort voor de eindgebruikers beschikbaar is

Die MS Courier lijkt mij wel wat

[Mr. Awesome]

Zoiets zijn ze op mijn school (Fontys ICT) ook mee bezig. Maar ik vraag me altijd af of dit ook echt professioneel gebruikt zal worden?