Pixel 2 bevat eigen Google-processor voor snellere verwerking camerabeelden

Google heeft in de Pixel 2 en de Pixel 2 XL naast de Snapdragon 835 een zelfontworpen soc toegevoegd die specifiek is bedoeld als beeldprocessor voor het verwerken van camerabeelden. De chip moet de werking van de hdr+-functie aanzienlijk versnellen.

De Pixel Visual Core heeft volgens Google een enkele Cortex A53-cpu en acht beeldverwerkingskernen. Deze eigen soc zorgt ervoor dat het verwerken van hdr+-beelden vijf keer zo snel gaat en tien keer zo weinig energie kost als wanneer het zou worden verwerkt door de reguliere Snapdragon 835-soc. Googles eigen soc is vooralsnog niet actief; pas bij de ontwikkelaarspreview van Android 8.1, die over enkele weken uitkomt, zet de zoekgigant de soc aan.

Volgens Google wordt het met de Pixel Visual Core mogelijk voor camera-apps van derden om hdr+-beelden te schieten. Tot nu toe was daarvoor de eigen camera-app van Google nodig. Nadat Google de Visual Core aanzet, zal Google de chip ook activeren voor alle camera-apps van derden die gebruikmaken van de Android Camera-api.

Het verwerken van hdr+-beelden en de bijbehorende beeldalgoritmes is volgens Google slechts de eerste functionaliteit die de nieuwe image processing unit voor zijn rekening neemt. Het bedrijf stelt dat de chip is ontworpen om de meest veeleisende beeldtaken en machine-learningapplicaties te kunnen draaien. Google zegt al bezig te zijn met het ontwikkelen van nieuwe applicaties die specifiek bestemd zijn voor de programmeerbare Pixel Visual Core.

In augustus bracht een ontwikkelaar een aangepaste versie van de Google Camera-app uit, die de hdr+-functie van de Pixel-smartphones beschikbaar maakt op andere toestellen. Het werkt alleen op smartphones met een Snapdragon 820, 821 of 835. Om gebruik te kunnen maken van de hdr+-functionaliteit is de Hexagon 680 image signal processor nodig, die in de genoemde socs zit. De Google Camera-app van de Pixel-telefoons is al langer los te downloaden voor andere toestellen, maar de hdr+-functionaliteit werkte tot nu toe alleen bij Pixel-smartphones.

Reacties (39)

[djwice]

Dat is een snelle time-to-market:
nieuws: Google neemt chipontwerper van Apple in dienst voor ontwerp eigen soc
Begin in juni aan een chip en in oktober zit ie al in een telefoon!

[Reactie gewijzigd door djwice op 30 juli 2024 20:12]

[loekf2]

Lijkt Overtoom (tm) wel

Ik zou zeggen van tekening op servetje tot chip in telefoon pak hem beet minimaal 18 maanden. Hoewel die chip niet zo complex lijkt (ARM CPU, memory controller, MIPI interface voor de camera/sensor, PCIe interface voor chip2chip, on-chip bus (AXI etc) en rijtje digitale blokken voor de processing).

Wel een strakke actie van Google die wederom Qualcomm niet blij maakt. Volgens een Arstechnica artikel zijn de voorwaarden van Qualcomm zo dat je geen externe co-processor aan een Snapdragon mag hangen.

[ikwilwp8]

Die voorwaarde lijkt mij niet rechtsgeldig maar ik heb daar te weinig verstand van om met zekerheid te kunnen zeggen. Zou een fabrikant dat mogen verbieden?

[Trishul]

Inderdaad, een strakke actie van google. Meer concurrentie voor Qualcomm is alleen maar positief, want we moeten echt voorkomen dat ze weer miksbaksels zoals de SD810 op de markt brengen. Dat soort ongein ontstaat meestal uit nalatigheid/arrogantie van een organisatie. Ook het feit dat ze geen officiele drivers willen uitbrengen voor hun high-end 8xx series, al na pakweg 2 jaar. Dat soort chips zitten dus in €600+ smartphones. Naar mijn weten heeft Qualcomm bv geen drivers uitgebracht voor Android 8 voor de SD810.
Deze co-soc is een klein iets, maar kan ook zomaar de eerste stap richting een eigen soc zijn.

[PPie]

Begin in juni aan een chip en in oktober zit ie al in een telefoon

Aan deze chip zal die persoon niets hebben bijgedragen.
Als ik bij ons kijk, kost het al 3 maanden om de eerste samples terug te krijgen na tape out. En dat houdt in dat je ding volledig klaar is als ontwerp en layout, wat natuurlijk ook tijd kost.

[Ruw ER]

Innovatief, zijn ze de eersten die zoiets doen? Ding zal wel bijdragen aan de hoogste dxo score tot nu toe voor een smartphone voor de pixels.

[Zenety]

Over DXO score gesproken. Dit is wel een interessant filmpje over de scores. https://www.youtube.com/watch?v=PgeJ0XYuI2E

Ik dacht ook iets gelezen te hebben over een aparte SoC voor encryptie. Maar vooralsnog kan ik alleen maar vinden dat dit nog steeds software matig gaat via de Snapdragon SoC. Ik zou dit in combinatie met sneller nand geheugen (nvme?) echt graag willen zie voor mijn volgende telefoon.

[Reactie gewijzigd door Zenety op 30 juli 2024 20:12]

[Verwijderd]

Ik heb uit zijn filmpje eigenlijk vooral gedestilleerd dat de neutraliteit van dat DXO verhaal best wel een beetje in twijfel getrokken kan worden en dat je eigenlijk geen drol hebt aan die scores ten aanzien van camera perfomance van toestel x tegenover toestel y als je niet exact dezelfde prioriteiten hebt dan de mensen bij DXO en dat magische algoritme van ze die maakt dat ze tot dat arbitraire getal komen.

Ik snap dus ook gewoon niet waarom dit een effectieve marketingtool is. Ruikt redelijk sterk naar de nieuwe vervanger voor de inmiddels wel achterhaalde megapixeloorlog. Je zou zeggen dat de consument wel een beetje wijzer geworden is. Maar blijkbaar moet ik minder naïef worden.

[Reactie gewijzigd door Verwijderd op 30 juli 2024 20:12]

[Crim]

DXOmark heeft heel veel uitgebreide reviews op de website staan met talloze voorbeelden en vergelijkingsmateriaal. Hun score is de beste afspiegeling van de kwaliteit van een smartphone camera die je gaat vinden online en zeker niet te vergelijken met de megapixel race. De consument is blijkbaar wijzer geworden door niet meer alleen naar megapixels of zelfs dubbele camera's te kijken.

[Verwijderd]

Maar je moet wel die reviews van DXO lezen om te begrijpen hoe dat getal tot stand komt want zonder die achterliggende context weet je helemaal niet waar die camera dan zo goed op scoort, waarom de DXO score hoger is dan je huidige camera, en of de camera ondanks die DXO score feitelijk wel beter is dan wat je hebt op de manier dat je het voornamelijk gebruikt.

Marketingtechnisch wordt in de praktijk alleen maar dat cijfertje benoemd en je kan ze betalen om je te helpen je hardware goed uit die tests te laten komen.
Dat is voor mij genoeg om in ieder geval dat score component niet zo mega serieus te nemen.

[Ruw ER]

Filmpje had ik gezien ja. Erg goed, maakte een paar dingen goed duidelijk. Ik vroeg mij al af wat ze gingen doen wanneer een telefoon een score van 100 zou verdienen, maar 100 is dus niet de maximale score. En zoals scandalous aangeeft, ik had beter moeten lezen, ding is nog niet eens actief. Zouden ze later eens opnieuw moeten testen, of het invloed heeft op de hdr+ beelden, of dat het enkel voor snellere en zuinigere verwerking zorgt.

[sympa]

Alles wat zo'n processor kan, kan ook met een gewone CPU gebeuren. Alleen duurt het dan misschien (veel) langer. Edit: maar op je eigen hardware kan je wel het algoritme makkelijker geheim houden.

[Reactie gewijzigd door sympa op 30 juli 2024 20:12]

[Mellow Jack]

Over een lange termijn heb je de verhuizing van losse dedicated chips naar een centrale cpu gezien en nu zie je langzaam weer een beweging terug gaan.... Beide hebben zo z'n voor en nadelen

[sympa]

'The wheel of reincarnation' van Myer en Sutherland. Je bouwt een gespecialiseerde processor, breidt hem uit tot het een general purpose processor wordt. En daarbovenop bouw je dan weer...

Dat hebben we gezien met floating point processors, met DMA processors, met display processors... en straks met AI processors?

[Luinwethion]

Ik heb de video niet gezien, maar mijn probleem met DxO is dat een camera zal nooit het beste zijn voor alles. En dat had ik in 2013 snel geleerd, toen de Xperia Z lijn had de beste scores, maar in dagelijks gebruik, zie je gewoon dat de score niet zo veel zegt.

Een mooie voorbeeld hoe ze dingen over het hoofd zien is de lens flare van de Pixel OG.

Off-topic: encryptie chip zit toch al in alle snapdragons vanaf 805 of 810?

Als je dan een snelle nand heb, zal UFS2.1 net zo goed doen als een iPhone met NVMe?

[Berlinetta]

Ik ging er vanuit dat encryptie door een processor werdt gedaan. Even uit mijn hoofd, Bij de S805 i.c.m. Met de Nexus 6, was het apparaat gewoon langzaam en toen hebben ze het op softwarematige encryptie gegooid.

[scandalous]

Dit draagt (nog) niet bij aan de DXO score. De Pixel Visual Core wordt pas geactiveerd bij de uitrol van Android 8.1. Met andere woorden is deze nu nog niet actief.

[iAR]

Die dxo scores zijn met de huidige flaggeschepen bijna een race in de marges.

Ik snap het wel, Apple ontwerpt natuurlijk ook zijn socs zodat de hardware en software op elkaar aansluiten. Slim van Google om dat ook te doen.

[watercoolertje]

Toch hebben die SoC's niks met elkaar te maken. Daarom zit er ook gewoon een snapdragon in

[Mayonaise]

Hoezo niet? Apple implementeert functies zoals image processing in haar eigen soc. Google kiest voor een gemakkelijkere weg om een Snapdragon te gebruiken en eigen gewenste functies in een aparte soc te plaatsen.

[slowdive]

Zo verwatert het begrip SOC een beetje. Een SOC is een chip die behalve de traditionele CPU ook allerlei andere chips op één chip samenvoegt. Als je naast een SOC een andere chip gebruikt is de SOC minder SOC en de extra chip zeker geen SOC.

[Mayonaise]

Dat is correct, ik was zelf eventjes verward.

[jqv]

Dat is misschien niet eens de makkelijke weg.
Deze twee soc's moeten wel goed met elkaar communiceren.
Voordeel voor Apple is dan dat zij van het begin af aan deze communicatie kunnen vormgeven. Google is dan weer genoodzaakt na te denken over de compatibiliteit met een externe partij.

[unreal0]

Niet de eerste, ook Apple heeft in hun eigen soc een chip hiervoor.

[batjes]

De Nokia 808 Pureview had een eigen image processing chip, de opvolger de 1020 niet.

[Lisadr]

Nokia had vroeger toch ook een dedicated camera chip om 40 megapixels aan te kunnen met de Lumix 1020?

[djpsycho82]

"De Google Camera-app van de Pixel-telefoons is al langer los te downloaden voor andere toestellen, maar de hdr+-functionaliteit werkte tot nu toe alleen bij Pixel-smartphones."

Hmm dit begrijp ik niet helemaal, ik heb een Nexus 6p en heb vanaf het begin al hdr+, volgens mij zijn ze toen begonnen met hdr+, wat deze camera zo fantastisch maakt. Of zit er verschil in hdr+, hardware vs software bijvoorbeeld?

[djwice]

Doordat nu de hardware ontworpen is voor dit type verwerking, kost het minder energie en kan het sneller. Hierdoor kun je waarschijnlijk hogere frame rates van HDR+ video behalen, en kan je langer doen met je batterij. Wellicht kun je dingen nu real-time die eerst alleen after shot konden. Met als gevolg dat als je nu bijvoorbeeld Augmented Reality toepassingen met deze chip uitvoert, dit minder energie vreet en wellicht ook realistischer geprojecteerd kan worden.

Daarnaast geven ze dus aan dat

... de chip is ontworpen om de meest veeleisende ... machine-learningapplicaties te kunnen draaien.

Wellicht willen ze zo voorkomen dat de chip van Intel markt gaat veroveren op Android telefoons : nieuws: Intel brengt ai-accelerator op stickformaat uit details van die chip : https://www.movidius.com/solutions/vision-processing-unit

Dus kort gezegd, neem snel een abonnement op MagPi, de kans is aanwezig dat er in Q1@18 een bordje bij zit met deze processor er op.

[Reactie gewijzigd door djwice op 30 juli 2024 20:12]

[loekf2]

Die AI etc. chips van Intel zijn vooral voor de automotive markt en misschien data centers. Gaan echt niet komen in een mobiele telefoon. Google gaat blijkbaar mee met de trend. Qualcomm zefl, Apple, Huawei, Mediatek roepen allemaal dat ze on-chip neuronale netwerken, Bionic co-pros, machine learning etc. accelerators hebben.

[djwice]

Leuk als er binnenkort een nieuw algoritme bedacht wordt, heb je weer nieuwe chips nodig als het even tegen zit - en dus een nieuwe telefoon. Hé wacht ... die devices worden het meest snel vernieuwd van alle elektronica in huis, dus wellicht niet eens zo gek idee.

[Reactie gewijzigd door djwice op 30 juli 2024 20:12]

[Zwarte_os]

Nexus is een google brand. HDR+, een software functie, was eerst alleen beschikbaar voor Google branded telefoons.

[Luinwethion]

De HDR+ van de Pixel is net wat beter, er zijn ports voor mobieltjes met SD820, ik weet niet hoe het zit met de SD810.

Als dit SoC gaat bijdragen aan de beeldsverwerking, is het porteren van de Pixel camera met de “Pixel kwaliteit” straks naar andere mobieltjes dan niet meer 100% mogelijk.

[Juzzby]

Op mijn Nexus 5x heb ik inderdaad ook 99% van de tijd HDR+ aan staan. Het duurt dan wel een paar seconde voor de foto ook in volledige kwaliteit terug is te zien.

Ik kan niet anders dan tot de conclusie komen dat het tweakers artikel hier onjuist in is, hdr+ is vanaf de nexus 5x / 6p beschikbaar.

[Division]

Dit kan nog wel eens interessant worden. Ik merk op mijn S8 namelijk wel enige software delay bij het schieten van HDR foto's.

[pray2win]

Ik word nou wel een beetje warm van de Pixel. alles wat "minder accu kost" of langer accuduur heeft geeft me altijd we leen warm gevoel. Ik weet niet helemaal hoe het zuiniger word. Die chip zelf zou wel zuiniger zijn maar lijkt me dat je taken moet verdelen vanuit de main chip en dat lijkt mij dan extra te kosten? Maarja ze zullen het allemaal wel beter weten. We zullen de testen wel zien als de chip actief is ;-)

[The Underminer]

Niet helemaal duidelijk is of de Google camera app in de pixel 2 op dit moment die chip al gebruikt?

[PPie]

Volgens de post niet:

Googles eigen soc is vooralsnog niet actief; pas bij de ontwikkelaarspreview van Android 8.1, die over enkele weken uitkomt, zet de zoekgigant de soc aan.

[The Underminer]

Wel gek dat de camera dan al zulke goede resultaten haalt, en vraag me af of dat dan nog gaat verbeteren