Intel werkt aan superresolutie-technologie

Onderzoekers bij Intel werken momenteel hard aan een technologie om extreem hoge resoluties mogelijk te maken voor opnames. Met het 'computational nanovision'-project wil Intel ons een stapje dichter brengen bij Hollywood-beelden van agenten die onrealistisch veel inzoomen op digitale beelden om zo het missende bewijs te ontdekken. Met computational nanovision wil men afbeeldingen herconstrueren door wiskundige algoritmes toe te passen en ontbrekende of foutieve data in een afbeelding te herstellen. Horst Haussecker, die het project leidt, stelt dat Intel in 2002 al begonnen is met deze technologie met de doelstelling heldere afbeeldingen te kunnen maken van voorwerpen kleiner dan 100nm. Om dit mogelijk te maken probeert zijn team de relatie te begrijpen tussen de eigenlijke structuur van een voorwerp, en de genomen foto. Kleine onvolkomendheden kunnen bijvoorbeeld door artifacts onzichtbaar zijn op een foto, maar wel gereconstrueerd worden.

Met behulp van computational nanovision is men zelfs in staat een 3d-beeld te genereren op basis van een 2d-afbeelding

Reacties (50)

[Anoniem: 129956]

Dat betekent dus dat het, ook al zijn het wiskundige algoritmes, altijd gebaseerd is op gokken. Het is namelijk een voorspelling van het verloop van een afbeelding, aangezien deze afgemaakt moet worden door een berekening.

[Sallin]

Dat wil natuurlijk niet zeggen dat je mbv wiskundige technieken niet erg goed kan gokken

[Anoniem: 129956]

True, het is inderdaad een zeer nauwkeurige manier van benaderen. Maar die benadering is toch gebaseerd op gemiddelden. En dat is niet erg, zolang het om een chip gaat of om een ander heel klein, industrieel ding.

Maar het wordt lastiger wanneer je een foto van een of ander militair kamp wil uitvergroten om te kijken wat er op de kaart staat die op tafel ligt.

[Sallin]

Het wordt niet zozeer lastiger, het hangt er vanaf hoe betrouwbaar je je informatie wilt krijgen. Als je voor 99.9% zeker wil weten wat er op de kaart op tafel staat kan je statistisch toetsen of dit een haalbaar doel is. Als je de toets niet haalt, kan je de info niet vertrouwen.
Wat voor gegevens je in de toets gebruikt hangt natuurlijk weer van van alles en nog wat af. Maar dit is niet wezelijk anders dan het kleine industriële ding.

[mjtdevries]

Het wordt wel lastiger omdat je niet weet hoe je moet gokken.

Als je gaat gokken op basis van algoritmes, dan komt er uiteindelijk uit wat je er in hebt gestopt.

Als je er in hebt gestopt dat alle voorwerpen rond zijn, dan kun je je plaatje een hogere resolutie geven met allemaal ronde voorwerpen.

Maar als je aanname fout was en voorwerpen ook vierkant hadden mogen zijn, dan ben je dus onzin aan het fabriceren. Het grootste risico is dat je vervolgens niet in de gaten hebt dat je onzin hebt gemaakt.

Bij het militaire kamp weet je niet wat voor kaart er op tafel ligt en kan je dus geen aannames doen over wat er op die kaart staat, en kun je dus niet gokken.

Een aardig praktijkvoorbeeld van hoe zulke goks helemaal fout kunnen uitpakken zijn allerlei modellen over de opwarming van de aarde.
Er komt uit dat de aarde opwarmt door toedoen van de mens, omdat de algoritmes die er voor gebruikt zijn uitgaan van opwarming door toedoen van de mens.

Ga je echter zonder metingen correleren met allerlei andere zaken, dan blijkt dat opwarming onder invloed van de zon veel beter overeenkomt met gemeten waardes. Maar in het model is geen algoritme dat de invloed van de zon koppelt aan de temperatuur, dus uit dat model kan dat nooit naar boven komen. Oeps!

[Sallin]

@mjtdevries

daarom moet je bij modelleren/statistiek/et cetera altijd je aannames goed controleren.

[mjtdevries]

Dat zou moeten ja. Maar in de praktijk gebeurt het niet (of niet goed)

En dan vaak niet eens uit onwil, maar vaker uit onkunde, of simpelweg omdat het model zo groot is geworden dat niemand meer overzicht heeft.

Bij modelleren/statistiek etc worden gigantische veel van dergelijke fouten gemaakt.
(Niet voor niets is er dat spreekwoord over leugens, grove leugens en......)

[Sallin]

Dat is waar, wat daarbij ook nog eens meespeelt is zoiets als kanscorrelatie. Een leuk voorbeeld in die context vind ik nog altijd de toename van het aantal geboortes en de toename van de populatie ooievaars in Nederland .

[MeMoRy]

Wat is hier nieuw aan? Het is wel een hollywood beeld dat het altijd lukt, maar verschillende spionage-organisaties laten hier al jaren onderzoek naar doen.
Plus dat er al jaren beeldverbeteringsalgoritmes bestaan.

[Anoniem: 129956]

Beeldverbetering is een ding, maar pixels erbij verzinnen is een tweede. Beeldverbetering is toch per definitie een bestaand beeld "verscherpen".

[Mizitras]

En wat heeft de medische wereld nu aan die spionagediensten ? Het zou geen spionage zijn als het gedeeld werd metiedereen en openbaar werd gemaakt hé.

It's not secret when you tell everyone about it

[Molybdenum]

Je kan geen nieuwe data verzinnen en dan stellen dat het echt zo is. Een lage resolutie bevat niet meer dan de pixels die het document heeft.

Een velletje papier op 100 meter afstand op 640x480 kan leeg zijn, maar kan ook dit bericht bevatten. Een knap algorithme die dat er uit kan halen.

Beetje vreemd verhaal.

[0rbit]

Dat is niet geheel waar. Je kunt uit een videosequence gebruik maken van het feit dat het licht niet altijd op gehele pixels valt. Met de extra informatie uit meerdere beelden kun je een plaatje samenstellen wat een hogere resolutie heeft. Dit heten dan zogenaamde 'superresolutie' plaatjes.

Ik begrijp trouwens niet waarom dit soort nieuws op Tweakers.net verschijnt. Er gebeurt veel meer in het image processing wereldje dan dit. Is het dan echt gewoon het feit dat Intel zich ermee bezig houdt? Of is het de selectiviteit waarmee de nieuwsvergaring gebeurt?

[Anoniem: 64607]

Digitale zoom met filter die interpolleert kan doen geloven dat de 'nieuwe' pixels echt zijn. In de meeste gevallen weten deze filters echter niets over de objecten die zich op het beeld bevinden. Zulke filters nemen voor de nieuwe pixels dan ook het meest gangbare. Bepaalde filters kunnen bijvoorbeeld een vierkant zeer goed vergroten, maar een cirkel absoluut niet, andere filters precies andersom. Wil je goed de resolutie vergroten dan moet je m.i. weten wat een object voorsteld. Als ik een beeld met een stoel erop wil vergroten dan kan ik dat een stuk beter als ik weet dat het een stoel is en wat voor vorm een stoel heeft (je hersens zijn daar - ten opzichte van onze technieken - perfect in). Maar zelfs al zou je een vergelijkbare filter bouwen een vergroting is in 99.9999% een benadering van de werkelijkheid. Ook je hersens zijn niet in staat om te bepalen dat een ster duizenden lichtjaren weg toevallig vierkant is en niet rond zoals alle andere

[Anoniem: 52621]

Je zou maar levenslang krijgen door een bewijs wat is ingevuld door een computer!

[sjekneck]

@ mariusjr
Dat gebeurd echt niet, het bewijs moet toch wel heel erg goed zijn wil je levenslang krijgen. Dat zal echt niet doorslaggevend zijn met een verheldere foto die niet 100% nauwkeurig is.

[dasiro]

of de stoel, al is dat in principe hetzelfde, je blijft ook voor de rest van je leven opgesloten, alleen duurt het minder lang

[TD-er]

Het gaat hier ook niet om het "Hollywood achtige oneindig inzoomen" maar een stap in die richting.
Door kennis van de gefotografeerde materialen mee te nemen in je algoritme, kun je volgens mij wel de resolutie van een beeld aanzienlijk vergroten.
Bijvoorbeeld gegevens als de minimale grootte van een structuur te gebruiken kun je de rondingen vrij nauwkeurig vaststellen.

Een onduidelijke foto van een nummerplaat die op een foto 2 pixels hoog is, kun je er niet leesbaar mee maken.

[0rbit]

Dat van die nummerplaat kan dus wel, als je maar genoeg plaatjes schiet waarbij zoveel mogelijk afrondingen van beeldinformatie in de pixels plaatsvinden. In het ideale geval verschuiven opeenvolgende beelden minder dan een subpixel. Dan heb je een beeldreeks waaruit je een superresolutie-plaatje kunt opbouwen.

Met zulke algoritmen wordt al enige tijd geexperimenteerd in de gezichtsherkenning (en andere biometrische herkenningen).

[resink]

Mr Atheist: wat jij zegt is ook zeker een manier om een volledig beeld te krijgen, maar toch is het anders: met heel veel plaatjes kun je namelijk op een gegeven moment alle informatie daadwerkelijk verzamelen, en door die te combineren is het niet langer nodig te 'interpreteren'. Bij de techniek van het artikel is dit wel het geval.

[ejay79]

Haha, bij CSI kunnen ze dat wel hoor

[Makkelijk]

volgens mijn fotograaf gebruiken ze daar analoge foto's en een peperdure scanner en dat is zijn bewijs dat analoge foto's minstens 600 megapixels zijn en digitale fotografie kaput gemacht must worden

[simon]

Reactie op DKasemier:

Dat soort film bestaat helemaal niet. Als je een 600 megapixel scanner zou hebben zou je film op 1 asa moeten hebben. Zulke fijne film is niet echt verkrijgbaar, en zo ja dan dan heb je nog giga sluitertijden nodig om daar een fatsoendelijk plaatje van te maken. Die fotograaf van jou lult dus uit zijn nek..

[sus]

@ DKasemier:

De scanner die ze gebruiken @ CSI is een gewone Canon-scanner. Ik herken het model als een Canon F5000/5200 scanner. In het echte CSI zullen ze misschien wel een wat duurdere scanner gebruiken, maar 600 megapixels???

[resink]

In het artikel staat vermeld dat informatie over de eigenlijke structuur wordt gebruitk om ontbrekende pixel-info te berekenen. Vandaar dat het niet zo'n vreemd verhaal is: stel je voor dat je een wit oppervlak hebt waarvan je weet dat het uit zuiver titaniumoxide bestaat. Dan kun je dus theoretisch tot op nanometer- (zelfs Angstrom-) schaal 'inzoomen' omdat we de kristalstructuur van titaniumoxide kennen. Het algoritme gebruikt dus informatie die in principe helemaal niet in het digitale plaatje aanwezig hoeft te zijn. En juist het gebruik van externe informatiebronnen kan dit algoritme zijn kracht geven.
Het menselijk brein werkt trouwens ook zo: we zijn zo geconditioneerd (misschien zelfs wel 'harwardematig') dat wij aan drie stipjes in een bepaalde constellatie als genoeg hebben om ergens een gezicht in te zien. Bedenk bijvoorbeeld dat beveiligingscamera's nou niet bepaald high-res zijn, maar dat Opsporing Verzocht toch nog heel wat tips binnenkrijgt als er een vage opname wordt getoond.

[Molybdenum]

ja, dat is zo, maar imperfecties in dat kristalrooster en andere random dingetjes die er echt zijn kunnen dus niet weergegeven worden. het resultaat blijft een gerenderd plaatje op basis van theorie van de structuur van materialen en niet op de werkelijkheid. en op zo'n afstand kan een wit vlak ook poedersuiker zijn, of papier etc etc.

[Anoniem: 13443]

je hebt gelijk dat je er niet meer informatie uit kunt halen dan je hebt.
Maar je kunt wel de informatie combineren en naast bekende patronen leggen (algorithmen) en kijken of ze ermee correlleren. Bij een hoge correllatie kun je dan wel aannemen wat het origineel was. Dit houd wel in dat je het onverwachte uitsluit (oftewel wat je niet kent kun je ook niet zien).

Wie eens lekker op zijn Hollywoods oneindig zoomen wil moet eens dit rode lint volgen.

[Anoniem: 42901]

Dit doet me heel erg denken aan s-spline2(en dat bestaat ook al een hele tijd):
http://www.photographyblog.com/reviews_shortcut_photozoom_pro.php
http://www.doku.net/artikel/s-spline2.htm

[Mizitras]

Ik ken het, maar ik vind het vreemd dat grote makers van programma's om tekeningen te bewerken, dit algoritme niet hebben opgenomen. Net alsof Alczos3 of Mitchell (twee technieken voor zo goed mogelijk te resampelen) beter of evengoed (nog) zijn.
Want S-Spline(2) is toch ook al een tijdje onder ons, maar ik zie het nergens gebruikt :-/

[TD-er]

Volgens mij is het S-Spline(2) algoritme gepattenteerd.

[Ackermans1973]

Gezien de link naar forensisch onderzoek bekroop me toch het idee dat zulk soort technieken niet echt zullen werken in een rechtszaak.

De aanklager kan stellen dat op de foto het nummerbord van de beklaagde te zien is, waarop de verdediging zegt dat dit maar een digitaal bewerkte foto is, en dus niet 100% betrouwbaar.

Inzoomen a-la CSI zal niet echt werken. Een resolutie van 1Mpixel kan echt geen 10 Mpixel worden middels zoomen.

[TD-er]

In de rechtzaken is het niet ongebruikelijk om nieuwe technieken te introduceren door de techniek in de rechtzaal uit te voeren op een voor iedereen verifieerbaar object.
Dus wanneer de al eerder gesuggereerde methode van resolutie verhogen, door een filmpje te maken terwijl je het object heel langzaam beweegt, zou gebruiken dan kun je dat laten zien door een opname te maken van een auto op de parkeerplaats en die is natuurlijk makkelijk te controleren.

[the_stickie]

Intel zal zo'n technologie best wel kunnen gebruiken Met de steeds kleiener wordende chiptechnologieën is er al lang geen *** meer te zien op een foto van een chip.
De microscopen die ze nu gebruiken zijn enorm duur, en ook beperkt. Ik dnek dat er heus wel nood is aan betere/eenvoudigere beeldvorming van nano-structuren

[Mizitras]

Als ze 1, al een ontwerp maken, en 2, dit zelf nog maken. Weten zij ook heus wel wat er op die chip te zien (zou moeten zijn) valt hoor ;-)
En de slechte chipjes gooien zijn ook maar weg hoor. Die gaan ze heus niet nader bekijken om die paar torretjes te zoeken die wat raar ogen om dan één of andere gek ervoor te betalen die in zijn vrije tijd aan wat nano-reconstructie gaat doen om nadien bij je hardwareboer aan een spotprijsje toch nog te verpatsen hoor ;-)

[TD-er]

Als er vrij veel specifieke uitval is, bijvoorbeeld de FPU of de cache valt uit, dan is het wel handig wanneer je zoukunnen zien of er vaker op dezelfde plek iets doorbrand.

[djexplo]

Because of Intel's deep experience in semiconductor manufacturing processes, researchers have detailed models of the nanostructures of microprocessors. They know where features should appear, even if the human eye cannot discern them in the unprocessed images.

Wat intel doet is dus ongeveer, gelijk aan:

Luchtfoto, als er op een snelweg zich een stippeltje bevind moet dat wel een auto zijn. Een auto heeft voorkant/dak/achterklep, dus dan kunnen die pixels in de foto er bij worden getekend, ook al waren ze daarvoor niet duidelijk zichtbaar

Techniek werkt dus alleen als je weet hoe de structuren er uit moeten zien ...

[RwD]

Wat dan weer betekend dat ze eigenlijk een computertekening maken dan een foto; gewoon een hyperrealistische computertekening.

[Anoniem: 81293]

Die 2 plaatjes van 2d naar 3d vind ik niet zo spannend. dat ziet er gewoon uit als een displacement map (diepte in geometrie op basis van greyscale map)

[Mizitras]

Beeld je dan een zwarte 2D texture in, waar een lichtobject een paar keer overgaat en enkel schaduw kan worden waargenomen. (Het object absorbeert dus ook volledig AL het licht, en zie je dus niet).
En ahv die schaduwen, wordt dan een 2D model gemaakt, en daaruit dan weer een 3d-shaped model.

Admit it, heel wat meer impressionant dan een 'simpel' displacement mapje dat er reeds is, waar enkel nog wat y-scalaire puntjes van moeten gemaakt worden om er diepte aan te geven hé ;-)

[Anoniem: 5082]

Uit wel zeer betrouwbare bron. Heb ik vernomen dat deze technologie is geleverd door ene Jan Sloot.

[Anoniem: 5082]

Tevens zie ik dat het 2D plaatje een "light map is met diepte informatie" Onder het mom van. Ja zo kan ik het ook!