Apple krijgt patent op besturing computer via gebaren in de lucht

Apple heeft een patent gekregen op een methode om een computer te besturen via gebaren die een gebruiker maakt in de lucht. Daarvoor is een 3d-sensor nodig aan de voorkant van de computer. Het TrueDepth-camerasysteem van de iPhone X zou die rol kunnen vervullen.

De ontwikkelaars die het patent voor Apple aanvroegen, werkten voorheen bij PrimeSense, het bedrijf dat de Kinect ontwikkelde en dat in 2013 door Apple is overgenomen. Daardoor is het logisch dat zij het TrueDepth-camerasysteem in gedachten hadden bij het ontwikkelen van de in het patent beschreven techniek, schrijft PatentlyApple.

Het patent Three dimensional user interface session control using depth sensors omschrijft de besturing van een computer door ervoor te zitten en met de hand bewegingen te maken. Daarbij is eerst een 'focus gesture' nodig, waardoor de computer weet dat de gebruiker de interface wil bedienen en niet bijvoorbeeld gebaren maakt in een gesprek met iemand. Apple denkt daarbij aan een zwaaibeweging of een beweging waarbij de gebruiker de hand in de richting van de computer beweegt.

Het TrueDepth-camerasysteem van de iPhone X kan het gezicht waarnemen in 3d doordat een dotprojector tienduizenden puntjes met infraroodlicht projecteert, terwijl een infraroodcamera die puntjes weer kan uitlezen. Zo'n systeem zou ook geschikt zijn voor deze interface.

Het is onbekend of Apple plannen heeft de techniek te gaan toepassen in zijn desktopcomputers of laptops. Het bedrijf uit Cupertino doet jaarlijks vele patentaanvragen, waarvan er veel nooit als gebruikte techniek terugkomen in producten. Enkele jaren geleden kwam er wel een add-on uit voor het besturen van pc's met dergelijke bewegingen, de Leap Motion. Onder meer HP zette dat in laptops, maar het is nooit uitgegroeid tot een veelgebruikte functie.

Reacties (71)

[ArjenIsM3]

In autos (BMW?) kun je bijvoorbeeld het volume ook al bedienen met gebaren toch? Wat is het verschil?

Edit: YouTube video

[Reactie gewijzigd door ArjenIsM3 op 23 juli 2024 04:40]

[Crp]

Het verschil is dat BMW er geen patent op aangevraagd heeft.
//edit
Als ik het zo zie lijkt het meer een combinatie patent te zijn die opgebouwd is en refereert naar eerdere patenten die door die personen en bedrijf in het verleden zijn ingediend. De focus lijkt ook meer te liggen op bediening van een computer/tablet/telefoon. Ik denk ook dat ze voornamelijk dit patent in dat gebied gaan toepassen/beschermen. Dus heeft een bedrijf als BMW niets te vrezen.

[Reactie gewijzigd door Crp op 23 juli 2024 04:40]

[nallath]

BMW heeft iets te vrezen als ze eerst een gebaar willen hebben om de gesture control aan te zetten (zoals anderen al gemeld hebben; het hand gesture equalivent van "hey siri" of "okay google")

Nu denk ik dat het voor BMW vooral zal zitten in de combinatie. Je kan ook gemakkelijk "langs" dit patent komen door eerst de voice recognition te gebruiken en dan de gesture control & voice recognition aan te zetten.

[Boost9898]

En wat is het verschil met een xbox kinect?

[Zwerver]

De ontwikkelaars die het patent voor Apple aanvroegen werkten voorheen bij PrimeSense, het bedrijf dat de Kinect ontwikkelde en dat Apple in 2013 overnam.

...

[Verwijderd]

Leuk, maar zo werkt het natuurlijk niet, je kan niet even wat mensen opkopen en dan roepen dat jij iets heb bedacht wat ondertussen al jaren bestaat, dan is er prior art en hoor je dat patent gewoon niet te krijgen.

Los van de kinect hebben we nog:
- Intel Intellisense RealSense
- Leap Motion
- Playstation Eye (was simpeler, maar voldoet nogsteeds aan beschrijving van patent)

Oh en voor degene die in de war zijn door de vermelding van 2013, het patent is pas veel later aangevraagd:

... patent 9,829,988 which was originally filed in December 2016.

(bron: eerste link in artikel)

[Reactie gewijzigd door Verwijderd op 23 juli 2024 04:40]

[Aaargh!]

Los van de kinect hebben we nog:
- Intel Intellisense RealSense
- Leap Motion
- Playstation Eye (was simpeler, maar voldoet nogsteeds aan beschrijving van patent)

Nee, geen van die 3 voldoet voor zover ik kan zien aan dit patent.

Heb je het patent überhaupt gelezen ?

Hint: Dit patent gaat niet over een camera met dieptezicht of besturing van een computer met zo'n camera. Bij patenten moet je altijd de claims lezen, de beschrijving e.d. is alleen bladvulling.

Kort samengevat is dit een patent op het activeren (en deactiveren) van een gebaren interface door middel van een speciaal gebaar. Met andere woorden, dit is het gebaren-equivalent van wat "Hey Siri" is voor stembediening.

[Verwijderd]

Kan me vergissen hoor maar volgens mij is dat ook niet helemaal nieuw. Kijk eens bij naar de junXion software van STEIM: http://steim.org/product/junxion/ wat menigeen gebruikt denk ik bij het aansturen van softsynths op PC's en Mac's m.b.v. o.a. de Leap Motion controller. Zijn op YouTube tal van videootjes te vinden waarin mensen de Leap Motion daarvoor gebruiken.

Overigens is dat gebruik van de Leap Motion ook weer niet zo nieuw want Roland had in 1998 al de D-beam op meerdere synths zitten en Alesis had zijn AirSynth. Tegenwoordig nog wel nieuw te krijgen en leuker is de Kommander van Koma, een VC/Gate motion controller waarmee je van alles kan doen: https://koma-elektronik.com/?product=kommander

[Zwerver]

Dat klopt, maar ik kan me niet voorstellen dat Apple dit had toegewezen gekregen als PrimeSense nog bestaan had als zelfstandig bedrijf. Een patentaanvraag en toewijzing kan ongedaan gemaakt worden door er bezwaar tegen aan te tekenen door het bedrijf dat het eerder verzonnen heeft.... En Apple heeft dat bedrijf opgekocht.

[Verwijderd]

Apple heeft PrimeSense opgekocht ja, maar Leap niet, Intel niet, Sony niet, etc, die bedrijven kunnen (en moeten wat mij betreft) dus dit patent terugdraaien.

Wat me veel meer stoort is dat er in Amerika (vooral als het over Apple gaat?) überhaupt niet word gekeken naar prior art totdat er iemand begint te steggelen, het is toch juist het werk van het patent bureau om te zorgen dat er geen onzinnige patenten worden toegewezen, maar dat is ondertussen al jaren het werk van de concurrentie geworden, vrij belachelijke ontwikkeling in mijn ogen, kan je net zo goed dat hele patent gebeuren in de prullenbak gooien.

[gjmi]

Terugdraaien? Het patent is aangevraagd en nog niet toegekend.

Maar als er een aantal bedrijven zijn die er patenten op hebben, waarom Apple dan niet?
Prior art is hier niet van toepassing, prior art is zoiets als het wiel.
Dacht je niet dat al die andere bedrijven patenten er op hebben?

En zal gaan om de details van uitvoering en niet om de algemene term.

[Crazy D]

Er wordt in de aanvraag procedure wel degelijk gekeken of iets patent waardig is, maar dat gebeurt niet bij het indienen maar in het proces van indienen tot toekennen/afwijzen. Heeft niks met Apple te maken, geldt voor alle patenten. En ook dat, mocht een patent toegewezen worden en er blijkt prior art te zijn, dat er pas iets aan gedaan wordt als de prior art wordt bewezen.

[nallath]

Nee, het gaat niet om de techniek hoe de handgebaren gezien of gedetecteerd worden, het gaat om een bepaalde workflow. Sensors die iets 3D kunnen zien waren al ver voor de Kinect uitgevonden.

Nu maakt het overigens weinig uit of een bedrijf nog bestaat. Op basis van prior art kan iedereen bezwaar aantekenen. Er word in Amerika wel wat naar prior art gekeken, maar dat is eigenlijk zo summier dat ze het bijna net zo goed kunnen laten.

[Verwijderd]

Ik denk dat je Intel RealSense bedoelt.

[Verwijderd]

shi- klopt, aangepast en bedankt

[BasSchouten]

Ik vermoed dat dit gewoon een aanvraag is die gebruikt kan worden om startups royalties te laten betalen of gewoon uit de markt te kunnen weren, en dat ze dit nooit tegen grote partijen zullen inzetten, wetende dat tegen een partij die de legal costs kunnen betalen ze dit nooit zullen winnen. Apple doet dit al jaren.

Overigens wordt er sinds 2013 wel steeds meer gedaan aan patent misbruik in de VS, maar de vraag is even hoe dat zich gaat ontwikkelen, het nieuwe leiderschap van de USPTO onder Trump is waarschijnlijk de patent lobby iets gunstiger gezind dan Michelle Lee dat was.

[Verwijderd]

Leuk, maar zo werkt het natuurlijk niet, je kan niet even wat mensen opkopen en dan roepen dat jij iets heb bedacht wat ondertussen al jaren bestaat, dan is er prior art en hoor je dat patent gewoon niet te krijgen.

Bedoel je dat het US patent office een fout heeft gemaakt?
Dat is niet zo want dit gaat over een andere vorm van implementatie en is dus onder de huidige regels absoluut wel patenteerbaar. Ik ben bang dat je patenten niet geheel begrijpt. Ook als iets al verzonnen is en je er iets anders mee kan doen is dat vrijwel overal beschermbaar.

Het kan zijn dat je het er niet mee eens bent maar beweren dat "zo werkt het natuurlijk niet" is onjuist. Zo werkt het dus wel en daarom is het patent al uitgereikt. Iets wat duidelijk in het nieuwsartikel vermeld is overigens.

[Noresponse]

wat dacht je van gebaren voor mobieltjes

[Diz-X]

Apple heeft niet de ontwikkelaars die voorheen bij PrimeSense werkte overgenomen, maar het hele bedrijf! Een simpele google actie had je dat kunnen weten:

https://techcrunch.com/20...se-acquisition-confirmed/

In de iPhone X zit deze diepte camera nu verwerkt.

[Reactie gewijzigd door Diz-X op 23 juli 2024 04:40]

[Zwerver]

Waar zeg ik dat alleen de ontwikkelaars overgenomen zijn?

[DigitalExorcist]

Het verschil is dat dit waarschijnlijk wél gaat werken

[Aaargh!]

Wat is de overeenkomst tussen Xbox Kinect en dit patent. Anders dan dat je de Kinect zou kunnen gebruiken voor implementatie van dit patent zie ik geen enkele overeenkomst.

[dehardstyler]

Ik heb gister een Hololens op gehad en daar zit het al in? Kan Apple nu gaan "patent trollen"?

[D3F]

Ik denk dat de techniek erachter anders is. Dat zal ook wel de reden zijn dat Apple het patent nu heeft.

De Samsung telefoons hadden toch immers ook al besturing zonder het scherm aan te raken?

[SPee]

Nee, dit is echt gewoon slecht uitzoekwerk van de USPTO.
Als er direct al 2 andere voorbeelden genoemd kunnen worden, wat stelt het dan voor? Dat is toch niet meer innovatief?

[D3F]

Omdat de ene auto rijdt oo benzine, wil niet zeggen dat de andere dat ook doet. De implementatie is waarschijnlijk anders.

[Aaargh!]

Dit patent gaat over het activeren en de-activeren van een gebaren interface met een speciaal gebaar, analoog aan wat "Hey Siri" doet voor stembediening. Zit zoiets in Hololens ?

[slaapzakineeent]

Ja maar dat is alleen om het menu (start) te open

[Aaargh!]

Dit patent gaat specifiek over gebarenbediening aan/uit schakelen.

[dehardstyler]

Ja, je kunt met een gebaar een menu'tje openen en dan kan je daar bijvoorbeeld kiezen dat je op de muur wilt schrijven of een foto maken. Dat gebeurt dan allemaal in een Skype gesprek zeg maar. Ik had dan die Hololens op en dan ziet iemand via Skype waar ik in het gebouw loop en waar ik bijvoorbeeld een aantekening op de muur geschreven heb. Geinig ding om eens op te hebben!

[Verwijderd]

Zucht. Het gaat om de implementatie. Niet om het idee zelf.

[dehardstyler]

Zucht. Waarom geef je in godsnaam zo'n onzinnig patent uit?

[raymon_56]

Niet alleen daar in, je kan ook iets bestellen met hetzelfde effect:
https://en.wikipedia.org/wiki/Leap_Motion

Dus snap niet waarom dat er nog patenten worden uitgereikt, houd alleen nog maar de techniek tegen.

[Verwijderd]

Apple is al jaren een patent troll? ze hebben patenten op ronde hoekjes, swipen, etc. Allemaal belachelijke patenten die nooit uitgegeven hadden mogen worden, net als deze.

[Thonz]

Wat doet apple hier anders of nieuw, dat juist zij het patent krijgen?

[glaaj]

In het artikel staat aangegeven dat de ontwikkelaars van het bedrijf wat de kinect destijds heeft gemaakt het patent hebben aangevraagd. Apple kocht het bedrijf een aantal jaar terug en is dus eigenaar.

[Reactie gewijzigd door glaaj op 23 juli 2024 04:40]

[NSG]

En Leap Motion dan?

https://www.leapmotion.com/product/desktop/#106

[Verwijderd]

Dit is onjuist, het patent is in december 2016 aangevraagd, door Apple zelf.

[dwilmer]

Ik denk dat het vernieuwende aan deze uitvinding is dat je aan "session control" kan doen in de 3D-interface. Ik weet het niet zeker, aangezien legalese niet makkelijk te doorgronden is, maar ik denk het wel, ook doordat het woord "session" vetgedrukt is in de patentaanvraag. Bovendien erkennen ze het bestaan van eerdere 3D-interfaces.

[Aaargh!]

Bij patenten gaat het alleen om de claims, de rest is toelichting. Dit gaat over het aan/uitzetten van gebarenbediening m.b.v. een speciaal gebaar. Zeg maar “hey Siri” voor gebarenbesturing.

[totaalgeenhard]

Dit is wat apple altijd doet... iets afkijken iets nietszeggends erbij verzinnen en patent aanvragen.

[Neko Koneko]

Duim omhoog steken om een Facebook post te liken, middelvinger opsteken om een boze smiley te posten, de mogelijkheden zijn eindeloos

[HaterFrame]

Die zijn inderdaad eindeloos, maar ook onwijs onpraktisch met de huidige manier van werken achter een pc. Ik zie hier eerder goede toepassingen in voor gebruik met minder validen. En dat word nu dus weer nodeloos duur omdat er een patent op zit....

[Berlinetta]

Ik wou dat ik deze reactie kon opslaan.

[sownheard]

Apple heeft all gebaren die je kan uitvoeren om de muziek van een macbook te bedienen.
(je moet wel even voor zoeken waar je dat functie kan aan zetten)
Op dit moment merk ik wel dat de functie bijna niemand gebruikt wordt dus ik denk dat gebruikers deze tech niet zo heel interessant gaat vinden.

[Reactie gewijzigd door sownheard op 23 juli 2024 04:40]

[Berlinetta]

Ik wou net zeggen dat je een speciaal programma moest hebben.
Maar het kan dus ook zonder.
https://www.google.nl/sea...i22i29i30k1.0.sRhYTKqWfJU

[Reactie gewijzigd door Berlinetta op 23 juli 2024 04:40]

[Renald0]

Mij lijkt domotica oplossingen met handgebaren wel leuker dan 'ok google/hey Siri' moeten zeggen.
Draaibeweging naar de lamp om te dimmen bv.

[BikkelZ]

Toepassingen: Siri voor doven en stommen. Maar ook geinig voor de weermannen onder ons.

Ik zie meer heil om het te gebruiken in een groot scherm, bijvoorbeeld een 4K TV. Wellicht een Apple TV die je zonder remote kunt gebruiken (nooit meer zoeken!)? Hoewel het ook een manier kan zijn om touch toe te voegen aan een computer zonder dat je scherm vies wordt krijgt je er wel even goed "gorilla arms" van.

[SpoekGTi]

Euh, Xbox Kinect anyone? Tis wel besturing voor een console, maar ja tis wel met gebaren

[glaaj]

"De ontwikkelaars die het patent voor Apple aanvroegen werkten voorheen bij PrimeSense, het bedrijf dat de Kinect ontwikkelde en dat Apple in 2013 overnam."

Het staat niet voor niets vermeld in het artikel

[lukjah]

Irrelevante reactie. Kinect heeft nog steeds prior art en het is dus maar de vraag hoe geldig dit patent is.

[Stygeon]

Prior art HEB je niet, maar BEN je. Prior art = stand der techniek.

Als een aanvrage op datum X is ingediend, dan is (rare uitzonderingen daargelaten) alles dat vóór die datum publiek was dus prior art. Dus voor ongeveer alles dat computer-gerelateerd is, is de bijbel prior art, omdat de bijbel al bestond voordat er octrooien op computer-toelie werd aangevraagd. En voor alles dat Apple ooit heeft aangevraagd is Disney's verfilming van sneeuwwitje prior art, omdat die film ouder is dan dat hele bedrijf. Maar: het is waarschijnlijk geen relevante prior art (hoewel er hilarische voorbeelden zijn van "business method patents" die door de bijbel geanticipeerd werden). Prior art is natuurlijk pas boeiend als ie relevant is voor de aanvrage.

Een ander ding dat ook voorbij kwam: "kan Apple nu gaan trollen door dit tegen kinect te gebruiken."
Zulke vliegers gaan niet op (zelfs al zou deze aanvrage letterlijk over de kinect gaan). Als ik beticht wordt van inbreuk, en ik doe iets dat al oud is (zoals een kinect verkopen), dan kan ik gewoon zeggen: "maar wat ik doe was al stand der techniek op moment van indiening van de aanvrage voor dat octrooi!" Nu heeft de octrooihouder twee opties: zeggen "ja, dat is waar" en daarmee geeft ie toe dat zijn octrooi ongeldig is, omdat het blijkbaar niet nieuw is. Om dat te ontwijken, kan hij ook zeggen "oh ja, je valt toch niet onder mijn octrooi." Op dat moment ben ik ook van het gezanik af. Oftewel: je kunt nooit succesvol trollen door later iets te willen verbieden dat al bestond.

[WhatsappHack]

Dat ligt eraan wat de purpose is en hoe het gebruikt wordt. Prior-art is zo makkelijk nog niet te claimen.

[Aaargh!]

Lees het patent eens. Kinect heeft vziw geen prior art.

[PPie]

Kinect is gemaakt door PrimeSense?

[Verwijderd]

Dus?
Helemaal waar hoor, maar doet niets af aan het feit dat er nog wel meer prior art te noemen valt, wat dacht je van een Leap Motion? of een Playstation Eye?

Komt vervolgens nog bij dat Apple dit patent pas in december 2016 heeft aangevraagd, als het nou een patent was wat PrimeSense destijds had aangevraagd dan had je wel een punt, maar die aanvraag is dus van veel later/van Apple.

[BikkelZ]

Hoewel er legio patenten zijn van het niveau "super standaard ding op een computer maar nu op een mobiel device" ga ik er wel van uit dat Microsoft zijn Kinect patenten breed ingediend heeft, zeker ook omdat een Kinect gewoon op een Windows PC kan werken.

Misschien zit het er in dat je 3D bewegingen kunt maken zoals duwen of terughalen? Kinect had een dieptesensor maar volgens mij waren de gebaren allemaal 2D.

[Caayn]

Kinect kent ook 3D gebaren, denk bijvoorbeeld aan je hand naar voren bewegen om te "klikken".

[Zwerver]

De ontwikkelaars die het patent voor Apple aanvroegen werkten voorheen bij PrimeSense, het bedrijf dat de Kinect ontwikkelde en dat Apple in 2013 overnam.

Lezen?

[Aaargh!]

Beter het patent lezen, het is NIET een patent op besturing met gebaren. Dit is een patent op het activeren/deactiveren van de gebaren interface met een speciaal gebaar, analoog aan "Hey Siri" voor stembesturing.

[Splorky]

denk al 10 jaar terug zoiets gezien dat in de lucht werdt aangegeven waar een bol moest komen en hoe groot deze moest zijn. Helemaal niets nieuws dus.

[Aaargh!]

Daar gaat dit patent dan ook totaal niet over.