Google gebruikt voorspellend algoritme voor videostabilisatie Pixel 2

Google heeft een voorspellend algoritme in gebruik voor de stabilisatiefunctie van video's in de Pixel 2-smartphones, zo blijkt uit een uitleg van de zoekgigant. De Pixel 2 gebruikt een combinatie van optische en elektronische stabilisatie.

De voorspellende functie zit in de elektronische stabilisatie, claimt Google. De Pixel 2-software zet frames uit de video kort in een rij voordat het de frames onderwerpt aan verdere verwerking. Door de software naar de frames in de rij te laten kijken, probeert het algoritme een patroon te ontdekken en aan de hand daarvan correcties door te voeren op het beeld. Als het algoritme bijvoorbeeld detecteert dat de gebruiker horizontaal de telefoon beweegt, probeert de software verticale bewegingen eruit te filteren.

Behalve de elektronische stabilisatie werkt de Pixel 2 ook met conventionele optische stabilisatie om de trillingen die filmen vanuit de hand met zich meebrengt, te compenseren. Google noemt het systeem 'fused camera stabilization'. Tweakers concludeerde enkele weken geleden in de review dat tegenover de eerste Pixel de stabilisatie fors verbeterd is. "Bij de Pixel 2 is de stabilisatie niet alleen natuurlijker, hij stabiliseert ook veel geleidelijker en dat resulteert in een veel beter ogende video."

De zoekgigant bracht de Pixel 2 enkele weken geleden uit in Europa. De Pixel 2 XL komt deze week in onder meer Duitsland en Frankrijk uit. Beide smartphones zijn vooralsnog niet officieel verkrijgbaar in de Benelux.

Reacties (39)

[Verwijderd]

“De software zet frames uit de video kort in een rij voordat het de frames onderwerpt aan verdere verwerking. Door de software naar de frames in de rij te laten kijken, probeert het algoritme een patroon te ontdekken en aan de hand daarvan correcties door te voeren op het beeld. Als het algoritme bijvoorbeeld detecteert dat de gebruiker horizontaal de telefoon beweegt, probeert de software verticale bewegingen eruit te filteren.
Dit lijkt me gewoon te beschrijven hoe digitale stabilisatie werkt en het is me dus niet duidelijk wat de Pixel hier specifiek doet...

[Niet Henk]

Dat is niet helemaal waar. Je hebt veel modaliteiten van digitale beeldstabilisatie, en volgens mij is het vrij gebruikelijk om te stabiliseren o.b.v. input van sensoren zoals de accelerometer, gyroscoop e.d.. Om meerdere frames achter elkaar te analyseren heb je vrij veel processing power nodig.

In post-production is dit natuurlijk wel de meest gebruikte vorm van beeldstabilisatie, maar daar hoeft de stabilisatie niet in real-time uitgevoerd te worden, dus kan je vaak iets betere stabilisatie bereiken.

[oef!]

Volgens TFA wordt EIS specifiek met OIS data gecombineerd zoals in dit diagram is weergegeven.Het resultaat:
The first processing stage, motion analysis, extracts the gyroscope signal, the OIS motion, and other properties to estimate the camera motion precisely. Then, the motion filtering stage combines machine learning and signal processing to predict a person’s intention in moving the camera. Finally, in the frame synthesis stage, we model and remove the rolling shutter and focus breathing distortion.

Deze gecombineerde data wordt daarna verder bewerkt, waarbij er specifiek om limitaties van EIS (rekenkracht) en OIS (beperkt correctievermogen) heengewerkt wordt.

[Verwijderd]

Inderdaad.

Wellicht dat de Pixel er nu een dedicated chip voor heeft, maar buiten dat lees ik niets nieuws in camera land

Off topic :
Geen idee waarom je op -1 stond overigens. Kinderachtig gedoe.

[Verwijderd]

Volgens mij is het nieuwe in de aanpak van Google dat ze de informatie uit de mechanische/optische stabilisatie (zoals hierboven beschreven) gebruiken om de elektronische stabilisatie aan te sturen. Dat is dan de voorspellende functie. Dat staat dan wel niet zo in het Tweakers artikel, maar wel in het bron-artikel als ik het nu lees. Een aantal essentiële elementen zijn dus in de samenvatting vergeten...

[Reactie gewijzigd door Verwijderd op 23 juli 2024 15:39]

[Verwijderd]

Klopt, als je mij zou vragen hoe zoiets te implementeren zou dit ook mijn eerste naïeve gedachte zijn.

[-=bas=-]

Je vergeet het buzzword 'AI'...

[Luinwethion]

De Pixel 2 is zeker een stap vooruit in vergelijking met de Pixel, maar ik had meer verwacht vooral na de resultaten van de iPhone 8.

De Pixel heeft nog een rare jelly effect die niet zo accuut is op de iPhone, en bij een horizontale beweging (panning) heb je erg veel last van vervorming. Andere punt waar mensen niet erg blij zijn is dat wat je ziet ik de viewdfinder tijdens opname is niet wat je echt krijgt, beeld wordt na verder gecropt als je klaar bent met opnemen.

Google heeft nog veel werk voor zich in de video gedeelte.

[Spam]

Wel apart dat zoiets de heren van DXOmark niet is opgevallen? Daar scoorde hij behoorlijk hoog op video, veel beter dan de iPhone X of Note 8 zelfs..

[supersnathan94]

Best wel ja aangezien dat is hoe digitale stabilisatie weekt. Je cropt de boel iets zodat je een buffer heb om naar toe te bewegen. Als het moet.

[Kura]

DXOmark is niet echt meer een betrouwbare benchmark voor camera’s. Niet meedoen aan hun optimalisatie programma als fabrikant = lagere score

[RebelwaClue]

Heb je ook bewijs dat je een lagere score krijgt als je niet meedoet, hun testen zijn namelijk elke keer hetzelfde en vrij objectief. Zover ik weet werkte OnePlus nauw samen met ze en kreeg alsnog niet echt een goeie score. Nadeel van hun testen is wel, als je als fabrikant weet hoe ze testen, kan je zorgen dat je camera goed scoort op die testen en dat zegt weer niks over de kwaliteit in zn geheel van de camera. Maar wat jij zegt over niet meedoen = lagere score, daar heb ik totaal niks overgelezen. Hier een korte uitleg over hoe DXOmark werkt

[Luinwethion]

Inderdaad testen van DxO zijn objectief, alleen wat en hoe ze testen vind ik niet belangrijk voor mijn dagelijkse gebruik.

Maar ik zal nooit zeggen dat ze bias hebben...

[RebelwaClue]

Ik let er ook totaal niet op, tegenwoordig krijgen alle top modellen toch scores die meer dan voldoen voor de meeste mensen. Beetje hetzelfde als benchmarks, totaal niet meer relevant aangezien alles wel snel genoeg is voor het dagelijkse werk.

[Luinwethion]

Nou ja, wat je kunt bereiken met een camera verschilt erg van een telefoon op de ander. Sommige mobieltjes doen prima in Automatisch als je daar van houd (zoals de Pixel) en anderen doen super slech maar zijn perfect in handmatig (zoals de V30).
Met de Mate/P serie van Huawei kun je bepaalde foto’s nemen die je niet met een S7 kan, enz.

Het probleem is dat DxO doet specifieke synthetische tests en daar komen mankementen die je IRL zou zien niet naar boven, of negeren ze dat totaal.

[Luinwethion]

DxO Mark hebben ook nog niet door dat de Pixel en de iPhone video’s in mono opnemen, terwijl alle andere dat in stereo of in full surround.

DxO had ook niks door van het lensflare van de Pixel OG.

Personelijk, prima die tests, maar ik kijk sinds 2014 niet na, doen hadden de Xperias de hoogste punten gekregen, en toch vond ik de camera’s van de Galaxy beter.

[Verwijderd]

Full surroundgeluid is vast indrukwekkend, opgenomen met twee microfoons op een paar cm van elkaar gemonteerd, in dezelfde richting dan nog...

[Luinwethion]

De V20 heeft 3 directionele mics en het maak gebruik van de speakerphone als een 4de mic.

Geluid die van de V20 komt is ook geweldig.

De Mate 9 heeft surroundgeluid, en wanneer je het met oordopjes luister is best wel indrukwekkend.

En de Nokia 8 heeft die Ozo technologie, daar heb ik nog geen samples van gehoord, maar als ik vanuit ga van de kwaliteit van de oude Lumia 920, moet die Nokia 8 het best wel goed doen.

[UPPERKEES]

Is dit ook een software fix voor een hardware probleem?

[Kram Nelook]

Als je met de hardware degene die hem vast houd bedoeld, jep!

[robbio33]

Bekijk het filmpje dat gemaakt is vanaf een rijdende motor, staat onderaan het orginele artikel. Zeer indrukwekkend! Je kan met de pixel 2 dus ook lopend, fietsend etc filmen

[Jefrey Lijffijt]

Dit is niet nieuw, Microsoft heeft dit jaren geleden al geintroduceerd onder de naam Hyperlapse.

Ten tweede is ‘voorspellend’ hier een technische term en het gaat dus niet om voorspellen van de beweging in de toekomst. Het woord voorspellen wordt (verwarrend genoeg) in machine learning gebruikt voor alle vormen van inferentie; je probeert dus te achterhalen wat de werkelijkheid is op basis van indirecte informatie. De werkelijkheid in dit geval is de beweging en de indirecte informatie het beeld en wellicht andere sensordata (3d-accelerometers en gyroscoop).

[djpsycho82]

Hyperlapse werkte toch niet real-time?

[Jefrey Lijffijt]

Dit ook niet, althans misschien dat het wel ‘real-time’ uit te rekenen is en dus zonder vertraging, maar het is dus wel degelijk gewoon post-processing.

[BramV]

Mij maakt uiterlijk niet zoveel uit maar de opmerking 'ziet er een beetje ouderwets uit' is denk ik licht uitgedrukt. Voor 800 euro is het kortweg een lelijk eendje en met de lijst van 99 problemen en een toestel wat niet eens beschikbaar is in Nederland kun je spreken van een volledig mislukte versie Je moet dan wel heel blij zijn met de videostabilisatie.
Wat was Google met de Nexus 5 toch goed op weg. Nu dit bedrijf Apple probeert te imiteren zie je de consequentie's. Google heeft geen design in haar 'bloed'. Ik vind dat prima maar probeer dat dan ook niet !!!

[AR3D]

Ik vind het nog steeds belachelijk dat men zomaar durf te zeggen dar "4GB ram geheugen is niet enorm veel is"... Is dat in vergelijking met wat? Verder een goede review.

[_Thanatos_]

Van Apple? Je bedoelt dat bedrijf dat alles krampachtig anders probeert te doen alleen maar om anders te zijn? En vervolgens klauwen met geld vragen om exclusiviteit te kweken? Zodat alle geiten daar met open ogen in trappen? En het nog gaan verdedigen ook?

Het is ook een bedrijf dat een totaal belachelijke smartphone heeft gemaakt. En ze prijzen het aan als innoverend. Schaamteloos, want Samsung heeft al een tijdje ook zo'n absurde smartphone, zoeen zonder home-knop en zonder vingerafdrukscanner.

[thomas1907]

De nieuwe, duurdere iPhone X heeft anders ook genoeg problemen.

Scherm werkt niet in koud weer
Groene/paarse lijnen in het scherm
Krakende speakers
Grote bezels

[Miglow]

Heeft het toch nog een half uur na de eerste comment geduurd voor de iPhone betrokken werd bij een artikel over een andere smartphone.

[thomas1907]

Je mag toch gewoon aangeven dat de Pixel 2 niet de enige is met problemen? Ik reageerde puur op het stuk "Google moet nog veel leren van de grote jongens, voornamelijk van Apple!" waar ik het niet mee eens ben, want ze maken zelf ook fouten.
En toevallig maakt Apple alleen de iPhone, dus het is wel logisch dat ik die er bij betrek

[supersnathan94]

Oeh die krakende speakers had ik nof niet gehoord om eerlijk te zijn.

Grote bezels is wel flauw aan het worden nu zo onderhand.

[Carlos0_0]

Krakende speakers dat was bij de Iphone 8/ 8+, dit is verholpen met een software update.
Bij de X heb ik daar niks over gehoord eigenlijk nog.
Ah nu wel

https://www.iculture.nl/nieuws/iphone-x-klachten/

[Reactie gewijzigd door Carlos0_0 op 23 juli 2024 15:39]

[kronk]

Het zijn ook highend smartphones. De XL heeft best wat problemen, maar lijken met een software update verholpen kunnen worden. De kleine doet het anders prima. Wel echt een fijne telefoon.

[MazeWing]

De gewone Pixel 2 wordt inderdaad niet geplaagd met de problemen van z'n grote broer. Het grootste manco aan de Pixel 2 blijft de prijs, die is simpelweg veel te hoog is voor hetgeen geboden wordt vergeleken met andere Android toestellen...

[UPPERKEES]

Prima is te optimistisch, ook die telefoon heeft hardware problemen die nog niet opgelost zijn. Beide telefoons hebben een matige quality control gehad. Hardware problemen kan je verlichten of minder merkbaar maken met software updates, dat laat nog niet weg dat het ontwerp matig is en er waarschijnlijk meer verassingen aankomen. De Pixels zijn in principe Nexus telefoons met exclusieve software, daar hoeft niet zo'n belachelijke prijs aan te hangen.

[thesinsher]

En toch zijn de producten met de A11 in veruit de meeste gevallen trager dan producten met de SD835 bij het openen en sluiten van apps, maar ook bij het multitasken. Het is niet alleen de SoC dat een smartphone snel maakt. Er komt meer bij kijken dan alleen het hebben van een snelle SoC.

Zo heeft Google bij de Pixel 2 dus een aparte chip geplaatst voor de beeldverwerking van de camera's en zo gebruikt Apple een eigen chip voor bewegingsdetectie.

[Reactie gewijzigd door thesinsher op 23 juli 2024 15:39]

[alexbl69]

Fantastische onderbouwing! Neem aan dat je er zelf een hebt?

Overigens: het is die smartphone en die keuzes.