Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 52 reacties

Een groep onderzoekers, verbonden aan de TU Delft, heeft een methode ontwikkeld om geheugenchips als camera-sensor te gebruiken. De gemodificeerde chips zouden een goedkoper en eenvoudiger alternatief voor cmos-sensors vormen.

De onderzoeksgroep, geleid door Eduardo Charbon van de Technische Universiteit Delft, presenteerde de zogenoemde gigavision-sensor afgelopen week tijdens de Omnivis2009-bijeenkomst in Kyoto. Volgens de ontwikkelaars zou de beeldsensor op basis van eenvoudige geheugenchips betere plaatjes opleveren onder zowel lichtsterke als lichtzwakke omstandigheden. Bovendien zou het gebruik van geheugenchips als optische sensor de noodzaak van een analoog-naar-digitaal-converter overbodig maken.

De geheugenchips kunnen als optische sensor dienst doen dankzij de gevoeligheid van de halfgeleiders voor licht. Invallend licht wekt een spanning op die direct als pixel-map dienst kunnen doen: elke geheugencel die belicht is, heeft een lading. De geheugenchips als camera-sensors hebben derhalve geen adc nodig, waardoor de sensors goedkoper geproduceerd kunnen worden.

Naast de mogelijkheid met zowel meer als minder licht dan cmos- en ccd-sensors om te gaan, zijn de geheugensensors ook in staat scherpere plaatjes te leveren. Omdat de individuele cellen die licht opvangen veel kleiner dan ccd- en cmos-cellen zijn, kunnen meer sensor-cellen per pixel ingezet worden. Bij gelijke grootte zou een geheugenchip honderd cellen per pixel kunnen inzetten, waar een cmos-sensor er slechts één gebruikt.

Een nadeel van de geheugencellen vergeleken met cmos-sensors is de gradatie van het signaal: de converter in een cmos-sensor vertaalt de lading van de individuele cellen in grijswaarden van 0 tot 255. De geheugencellen zijn daarentegen binair: deze tekortkoming kan deels worden opgevangen door het middelen van de waarden die subpixels meten. Voor de geheugenchips als optische sensors dienst kunnen doen, dienen echter nog obstakels overwonnen te worden: onder meer de gevoeligheid van de sensor-cellen is gering, wat tot veel ruis zou leiden.

Wafer
Moderatie-faq Wijzig weergave

Reacties (52)

Leuk, maar het idee is niet echt nieuw meer :) (Datum van productie van die chip is ergens in '83 trouwens.)

[Reactie gewijzigd door Sprite_tm op 10 oktober 2009 15:08]

Tja, daar lijkt het inderdaad sterk op. Hoe wist je van het bestaan van dat idee uit '83?
Ik zat ook al in de comments te kijken of er iemand al naar dat artikel zou refereren.
Het is best wel een bekend artikel en ik wie heeft er niet eens oude Elektuurs en dergelijke doorgebladerd?
Uit mijn hoofd, de HCC had rond die tijd een tijdschrift en als ik mij goed herinner stond daar een keer een artikel in over het openen van een geheugenchip (sommige RAM chips hadden een afdekplaatje van metaal dat eenvoudig los te maken was) om deze als licht sensor te gebruiken.
Dat item ken ik niet, wel weet ik dat er begin jaren tachtig een artikel in een Engels elektronicablad stond, waarin een D-RAM chip van 4 Kb werd ontdaan van zijn behuizing, waarna een camera ontstond.
De achtergrond was: D-RAM chips slaan de bits op in condensatoren, die langzaam leeg lopen. Daarom moeten deze chips om de zoveel tijd (destijds 20 ms) een refresh krijgen, waarbij de lading wordt vernieuwd. Bij de camera-toepassing kwam er geen refresh, maar werd (ik meen) 300ms gewacht. De delen van de chip die belicht waren, hadden door het licht reeds hun lading verloren, de onbelichte delen nog niet. Door alles snel uit lezen kreeg je een afbeelding.

Het nadeel was dat je alleen zwartwit beelden kon krijgen, en met wat interpolaties nog grijs, maar kleur zat er nooit in.

(ik had nog geprobeerd zo'n chip open te zagen, die behuizing was zeer hard. Een pootje brak af voordat ik ook maar in de buurt kwam.)
ja dat weet ik ook nog, moest je op zoek naar zo'n keramische dram met metalen deksel.
En dan kon je eigenlijk maar de helft gebruken omdat er adreslijnen midden over de chip gingen, dus je had een vrij lanwerpig beeldveld (breedbeeld eigenlijk :) )
Voor mijn BBC micro kon je geloof ik ook een kant en klaar camera'tje kopen die daarop gebaseerd was.

Och, die goeie ouwe beeb.
Ander nadeel was dat de helft van de chip qua beeld-verwerking eigenlijk was geinverteerd.
Oftewel de ene helft ging van 0 naar 1 en de andere van 1 naar 0.
Door de chip vaker uit te lezen kon je grijstinten zien.
Och, die goeie ouwe beeb.
Ik heb er nog 2 in het fietsenhok staan. Doe er niks mee maar kan er ook geen afscheid van nemen. ;)
Ik weet nog dat ergens rond die tijd mijn overbuurjongen de behuizing van een CMOS censor opengeslepen had (Dremel en zo had je toen nog niet).
hij is toen een hele tijd bezig geweest om de mapping van bitjes naar fysieke locatie goed te krijgen.
was wel erg leuk om daar een zwart-wit beeld uit te zien komen, juist omdat je toen eigenlijk nog helemaal geen digitale cameras had.

--jeroen
-offtopic-

is er niet een artikel te vinden waar zoiets nog instaat?
lijkt me echt megagaaf om dat een keer te doen!
Inderdaad, you hoeft echt niet op de TU-Deft te zetten om dat te doen,
en inderdaat zoals Sprite al aangaf deden 'we' dat 25 jaar geleden ook al, voor de hobby!!!

We deden dat toem met een EPROM.

Ries
Interessante opmerking in de comments onder het bron-artikel:
The difference is that what this guy is trying to do is A) Genuinely new. B) Doesn't actually work, because he is a computer scientist & doesn't understand physics.

You guys worked on 16k DRAMs, which works, but isn't that interesting in a real modern product because 10 Mpixel cameras can be made.

He wants to use 1Gb DRAMs to make a 1 Gpixel camera, with each pixel being << wavelength of light (if you read his paper). He intends to oversample the intensity and use binary sampling to get an analogue signal with a decent signal-to-noise ratio. The problem is that he is assuming that the pixels detect random uncorrelated values. But within one wavelength, the probability of photon capture is HIGHLY correlated. It simply isn't true to have a mental picture of balls dropping into a pachinko board, and each pixel ending up with a Poisson distributed number of photon detections.

Another problem - quantum efficiency of the detector. Once the detector is sub-wavelength, you need to think in the same terms as a radio antenna much, much smaller than the wavelength of the transmission.
Met een detectorgrootte kleiner dan de kleinste golflengte van zichtbaar licht kan het wel eens veel moeilijker (zoniet onmogelijk) worden om dit uit te voeren zoals met chipjes in de jaren '80 gedaan werd.

[Reactie gewijzigd door Aham brahmasmi op 10 oktober 2009 20:19]

Dus... dat wordt binnenkort een mini-spiegelreflex met meer megapixels en betere lichtgevoeligheid en nog eens goedkoper ook?

:)

Ik wacht geduldig af...
Grappig trouwens,

De CCD is ooit ontwikkeld doordat onderzoekers op zoek waren naar andere manieren voor geheugenopslag.
http://www.kennislink.nl/...belprijs-natuurkunde-2009

Nu gaan ze proberen geheugenchips als sensor proberen te ontwikkelen :)
Of een Dimm die als het ware als zo'n vliegenoog binnen in de PC ziet, en je waarschuwt als een fan niet meer goed draait, of als iemand je kast open maakt.

Als geheugenchips licht kunnen zien, zou je haast denken dat ze door middel van infrarood ook temperatuur kunnen meten. Zou dit niet toepasbaar zijn om zelf-metende chips te maken met een stuk hogere betrouwbaarheid dan de huidige temp diodes? (hele IR-temp map van je PC in HWinfo32/speefran in plaats van een rijtje getallen met twijfelachtige metingen). Het dunkt mij dat je zo heel mooi kan meten hoe je airflow is en waar bottlenecks zijn, iets wat chip/PCB designers denk ik ook graag willen weten.
Hetgene waar je over droomt, gaat in tegen de werking van die chips. Want je leest alles uit als een geheugen, dus ofwel gebruik je het als sensor, ofwel als geheugen. Maar beiden tegelijk werkt niet, want als er licht invalt, verandert de waarde die opgeslagen is, en als je waarden opslaat, beïnvloed je natuurlijk ook de meting van de sensor.
Sowieso kijken de chips op je moederbord de verkeerde kant op. Het idee van een kleine chip op de binnenkant van je kast die een IR-map van je moederbord teruggeeft is natuurlijk wél erg interessant.
Ja dus dan moet je de waarden cachen op het moment dat jij het knopje in drukt.
ik zie nog steeds niet echt nuttige applicaties verschijnen voor de normale consument,

mischien voor beveiligingen wel natuurlijk
heel leuk allemaal, petje af voor de mannen van de tu. maar ik zie niet echt in hoe je hier echt gebruik van kan maken als je alleen maar 2 waarden hebt....0 en 1. ookal heb je meer sensoren per pixel.
zonder adc word dit echter niks
Misschien kun je met een micro gegradeerde grijsfilter over de sensor meer grijstinten maken. Als je dan de verschillende (100) cellen van 1 pixel uitleest met een aantal AND logische poorten dan kun je de de lichtsterkte heel precies bepalen.

Is dit een patent waard?
To build a sensor that can record shades of grey, EPFL engineer Feng Yang, who presented the Kyoto paper, is developing a software algorithm that looks across an array of 100 pixels to estimate their overall greyscale value.
Dus ze pakken gewoon het gemiddelde van 100 sensors (qua grootte gelijk aan 1 sensor van een huidige chip; ook uit het artikel). Beetje een box filter dus.
Een bitje flipt van 1 naar 0 (of omgekeerd) onder invloed van licht. Oftewel naarmate er meer licht op valt, krijg je sneller die omslag.
Oftewel als je gradaties wilt, moet je niet gaan interpoleren, vergelijkbaar met de error-diffusion van de oude GIFjes, maar gewoon vaker samplen.
16x samplen om 4 bits dynamisch bereik te krijgen zeg maar.
Het voordeel is wel dat overbelichting en onderbelichting gemeten kunnen worden tijdens het samplen, oftewel als je langere "sluitertijd" gebruikt, krijg je een groter dynamisch bereik. Als je dan ook nog alle samples zou opslaan, kun je ook nog bewegings-onscherpte corrigeren, maar dat kost wel veel geheugen. (1 bit per pixel per sample)

Maar goed, dit zou ideaal zijn voor zwart-wit foto's met lange sluitertijd, die erg veel detail nodig hebben, zoals in de ruimtevaart. Helaas zijn daar filters noodzakelijk en ik heb geen idee hoeveel invloed die hebben op het proces.
Als je voor iedere cel een andere grenswaarde voor 0>1 hanteert heb je meer informatie - dan krijg je wel last met lage licht omstandigheden aangezien je op een gegeven moment temaken krijgt met de kans dat een foton een cel met een grenswaarde raakt die laag genoeg ligt, lijkt me. Of je moet weer zo'n cascade effect krijgen waardoor iedere foton een grote hoeveelheid electronen met dezelfde energie maakt, die naar alle cellen verspreid worden (of zoiets).

[Reactie gewijzigd door Mitsuko op 10 oktober 2009 15:36]

Als je voor iedere cel een andere grenswaarde voor 0>1 hanteert
Dan zou je voor elke cel dus niet alleen een RGB filter moeten plakken, maar ook nog eens RGB filters in verschillende gradaties?

Ik vraag me meer af of, aangezien RAM vrij snel gelezen en geschreven kan worden, je niet gewoon elke cel naar nul kan resetten, uitlezen, reset, uitlezen, reset, uitlezen, etc. Als je daar dan 1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 1 (ik tik maar wat) uit haalt en daar een gemiddelde van neemt. 8 uitlezingen = 256 'grijs' waarden. 16 uitlezingen = 65,536.. dat is dan alweer 'beter' dan de 10/12/14bit adcs in moderne camera's.

Vraag is dan wel of het ook echt snel genoeg is om een korte sluitertijd te kunnen krijgen... 1/250s of korter, bijvoorbeeld.

Een combinatie van de twee technieken (hoe groot is zo'n cel?) is dan misschien nog weer een optie.
De informatie die je krijgt door vaker uit te lezen is wanneer een pixel omslaat van 1 naar 0 (of andersom).
Oftewel de 2 reeksen:
111111110000
111100000000
zeggen alleen maar wat over hoeveel licht erop is gevallen, oftewel in dit voorbeeld bij de ene 2x zoveel licht als bij de andere. (als er een lineair verband is tussen licht en tijd)
uh.. de eerste foto's waren ook in zwart wit, TV's ook.
dus je kunt gerust aannemen dat dit een begin (wel 's waar een 2-de begin als ik eerdere posts lees) is wat gewoon doorontwikkeld wordt :P
uh.. de eerste foto's waren ook in zwart wit, TV's ook.
De eerste foto's waren in computertaal gezegd "greyscale".
Deze geheugencellen zijn binair, wat inhoudt dat ze 1-bits "kleuren" hebben en alleen de waarde 0 (zwart) of 1 (wit) kunnen detecteren en geen enkele grijswaarde daar tussenin.
Er is alleen eigenlijk geen verschil. Als je zwart-wit kunt (technisch) dan zijn grijswaarden en kleur slechts een kwestie van wat slimme trucs.

Grijswaarden kun je maken uit zwart-wit door gewoon meer pixels te gebruiken. Binnen een bepaald vierkantje ontstaat dan (voor het oog) een bepaalde grijswaarde. Zie dit plaatje op wikipedia voor een voorbeeld van een zwart-wit afbeelding met gesimuleerde grijswaarden.

Heb je eenmaal grijswaarden dan is kleur slechts een kwestie van nog drie keer zoveel pixels / sensors gebruiken (of om-en-om gebruiken) en een kleurfilter ervoor plakken. Rood, groen en blauw filter en vervolgens de resultaten weer samenvoegen en je hebt kleuren.
Ik begrijp iets niet, of het artikel spreekt zichzelf tegen:

"betere plaatjes opleveren onder zowel lichtsterke als lichtzwakke omstandigheden."
...
"de gevoeligheid van de sensor-cellen is gering, wat tot veel ruis zou leiden."
Devil's in the details.

Elke individuele cel is niet erg gevoelig, en kan ook alleen maar 1/0 aan.

Echter pakken ze groepjes van 100 cellen, en nemen dan het gemiddelde. Nu heb je een grotere gevoeligheid, minder ruis, en in theorie een grijswaarden bereik van 2^100 = een getal wat ik hier maar niet zal plakken. Keerzijde is dat ze dan een stuk resolutie kwijtraken, maar aangezien ze ook beweren dat elke individuele cel 1/100e is van een huidige CMOS cel (omdat er geen componenten om elke cel heen hoeven), zou dat ook weer in balans zijn.
Volgens mij heb je maar 101 verschillende grijswaarden op die manier. Het zal niet uitmaken welke van de pixels 0 of 1 zijn, alleen de verhouding tussen 0 en 1 is van belang.
niet als je ze een gewicht meegeeft - wat niet uit 'een gemiddelde' volgt, dus je hebt (in ieder geval in de implementatie zoals uitgelegd in het artikel) helemaal gelijk; mea culpa
Je moet er maar op komen om een camera sensor te bouwen van geheugenchips. Ik ben benieuwd waar dit heen gaat. Met zoveel cellen per pixel kun je wel mooi eventuele fouten er uit filteren, nu alleen nog even die ruis fixen.
In principe niet heel onlogisch (niet dat ik erop zou komen), maar een lichtbundel (fotonen) bestaat uit 2 componenten: een elektrische en een magnetische. Deze zijn natuurlijk beide te gebruiken. Dat is wat er nu gebeurd met het opvangen van fotonen in de geheugenchip.

Overigens lijkt dit ook goed in te zetten in de medische wereld, de fosforplaten die nu gebruikt worden voor het maken van röntgenopnamen kennen een aantal nadelen zoals belichtingstijd en beperkt aantal maal 'herschrijven'. Bovendien is het contrast nooit hoog genoeg als het gaat om deze opnamen. Ookal kennen de geheugencellen maar een gradatie van 2 kan met het verhogen van het aantal cellen per pixel het ''contrast'' worden verhoogt. Hoe kleiner de geheugencellen hoe meer er kunnen worden ingezet per pixel, hoe groter het contrast. Stiekem durf ik ook wel te denken aan kleurenröntgen (door software geïnterpreteerd).
Net als CMOS: die techniek was oorspronkelijk ook niet bedoeld voor dure, goede sensors, CCD en CMOS hebben nu zo'n beetje van plaats geruild. ;) Gebeurd hier misschien ook wel mee.
Een nadeel van de geheugencellen vergeleken met cmos-sensors is de gradatie van het signaal: de converter in een cmos-sensor vertaalt de lading van de individuele cellen in grijswaarden van 0 tot 255. De geheugencellen zijn daarentegen binair
Moderne DSLRs werken volgens mij met 14bit grijswaarden, wat het verschil nog groter maakt...
Krijgen we zometeen bij de specs: Nu met 16MB beeldchip!
Is de nobelprijs hier niet voor uitgerijkt... volgens mij was CCD oorspronkelijk als geheugen bedoeld :) Grappig dat ze het nu ook andersom proberen.

[Reactie gewijzigd door Enyan op 10 oktober 2009 16:22]

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True