Google toont Project Starline voor videoverbinding met 3d-modellering

Google heeft op de eigen ontwikkelaarsconferentie Project Starline gepresenteerd. Het gaat om een combinatie van hardware en software om een videoverbinding op te zetten die echter moet voelen. Het beeld past zich aan op basis van beweging van gebruikers.

Project Starline is een set-up die in enkele Google-kantoren staat en die gebruik maakt van diverse camera's om een 3d-model van gebruikers te maken. Daarbij gaat het om gigabits aan data per seconde, die gecomprimeerd wordt verzonden. Vervolgens kunnen gebruikers aan de andere kant de persoon zien. Dankzij het 3d-model past het beeld zich aan aan de hoek waaronder een gebruiker kijkt.

Bij de set-up kunnen gebruikers elkaar in de ogen kijken, iets wat bij huidige technieken vaak niet gaat, omdat het scherm en de camera niet op dezelfde plek zitten. Google heeft niet bekendgemaakt wat de precieze plannen zijn met de hardware en software, maar ceo Sundar Pichai vermeldde dat onder meer partnerbedrijven in gezondheidszorg en media toegang krijgen tot de set-up.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (16)

Had Nvidia niet ook zulke tech? Maar dan juist met minder dataverkeer? Simpelweg alleen vectors doorsturen, en de GPU aan de andere kant het beeld weer laten construeren?

niet helemaal het zelfde. Deze techniek van Google is voor real time 3d video die je op een light-field scherm kan bekijken. Dat van NVidia is een compressie techniek voor conventionele 2d web cam video.

hier is het filmpje van Google https://youtu.be/Q13CishCKXY

Mooie voor conference calls. Dit zal aardig wat reizen besparen.

Correct inderdaad:

https://m.youtube.com/watch?v=dVa1xRaHTA0

Het lijkt mij goed als hier wat innovatie tegenaan gegooid wordt. Ik doe veel zorg op afstand en video voegt weinig toe omdat kwaliteit en interactie gewoon niet kloppen.

Er gaat gewoon veel niet verbale communicatie verloren, en dat is meer dan de helft van de communicatie.

Ik denk dat Google dit project binnen 2 jaar weer sluit omdat het niet winstgevend genoeg is. Helaas

Google zit blijkbaar in een soort shitstorm. Ze ontwikkelen heel veel, gaan met veel door, stoppen veel en doneren het aan de open source community of komen erachter dat het achteraf anders of gewoon niet moest.

Succes wordt vaak bepaald door wat je niet doet of durft te stoppen. Kijk maar naar grote overheidsprojecten.....

Nou ja, het komt er ook vaak op neer dat ze kleine innovatieve bedrijfjes opkopen en vervolgens het product de nek omdraaien. De ontwikkeling moet uiteindelijk natuurlijk renderen, maar echt innoveren doet Google niet meer

Ik hoor dat vaak maar ben het er gewoon niet mee eens, op het gebied van machine learning en AI zijn ze echt wel innovatief, verder doen ze wat ondernemers doen, fuseren, afsplitsen, opkopen en afstoten op basis van marktwerking.

Ze hebben veel geld verdiend met reclame en hebben nu door dat privacy het nieuwe model is en dan gaan ze dat doen. Het is gewoon een bedrijf, maar dan erg groot en bepalend voor de sector.

We werken ook aan zoiets voor de HoloLens2 en Azure Kinect. Werkt al goed en geeft letterlijk en figuurlijk een nieuwe dimensie aan videobellen

[Reactie gewijzigd door Menesis op 18 mei 2021 22:16]

We werken ook aan zoiets voor de HoloLens2 en Azure Kinect

Kun je daar over uitweiden? Ik zie nu voor me dat ik een hololens op heb waardoor het lijkt alsof ik in real-life zit te praten met een ander persoon die zo’n ding op z’n hoofd heeft. Lijkt me niet zo sociaal.

Ja klopt, het is een iets andere use case. Het is voor degene die de hololens draagt en de andere persoon in 3D ziet, dus een beetje one way communication (ook al kun je elkaar horen uiteraard)

Dat zou iets zijn zoals Microsoft Holoportation demonstratie uit 2016? Daar heb ik verder ook weinig meer over gehoord.

De Looking Glass holographic display lijkt mij ideaal hiervoor. Echte holografische weergave zonder bril.

Volgens mij gaat het niet zozeer om 3d weergave, maar meer dat je iemand van meerdere kanten kunt bekijken. Als ik met familie beeldbel merk ik vaak dat ik de telefoon aan het draaien ben omdat mijn gesprekspartner niet goed weet hoe ze een telefoon moet positioneren waardoor ik de ogen niet kan zien, of juist alleen de ogen en daarboven een heel leeg beeld. Dat heeft met de huidige technologie natuurlijk helemaal geen zin maar het voelt intuitief om te doen. Met een grote beeldhoek en wat 3d-gemodeleer zou het beeld kunnen veranderen als ik mijn telefoon beweeg, alsof ik met mijn telefoon om mijn gesprekspartner heen draai.
Een ander voorbeeld is te zien als Rejesh uit The Big bang Theory met zijn ouders belt op een laptop: zijn ouders kijken steeds naar links of naar rechts als ze tegen een andere gesprekspartner praten, alsof hun beeldscherm zo groot is dat ze fysiek hun hoofd moeten draaien. Dat doen de regisseurs/acteurs natuurlijk om het gesprek levendiger/echter over te laten komen. Dat effect zou het beeldgesprek een stuk natuurlijker maken en dus helpen met elkaar begrijpen. Nu kijk ik altijd naar iemand die zijn ogen niet op mij gericht heeft omdat de camera nou eenmaal niet precies op de plek zit waar de ogen van mijn gesprekspartner zijn.

[Reactie gewijzigd door 84hannes op 19 mei 2021 09:41]

In principe kan dit al een tijd met een enkele light-field camera waarmee je digitaal (onder andere) het perspectief en de focus kunt aanpassen, al heb ik geen idee of iemand ooit heeft geprobeerd om het te gebruiken bij een videocall.