Imec toont tech voor de toekomst

Computergegenereerde holografie

imec ITF 2018 Het Leuvense technologie-instituut imec hield in de afgelopen week zijn jaarlijkse ITF, of imec Technology Forum, en daarbij demonstreerde het in Antwerpen de nieuwste technieken waar het aan werkt. Imec is in de jaren tachtig opgericht als Interuniversitair Micro-Electronica Centrum en sindsdien niet alleen uitgegroeid tot een van 's werelds belangrijkste onderzoekfaciliteiten voor chiptechnologie, maar ook tot een partij die werkt aan een scala van technieken.

Vaak gaat het daarbij om technologie waar nog het nodige aan te ontwikkelen is, maar die op enig moment in de toekomst marktrijp te maken is. Het instituut werkt daarvoor samen met fabrikanten wereldwijd, die kunnen putten uit de expertise van de medewerkers uit België en andere delen van de wereld, waaronder Nederland, Taiwan, de VS en India, waar imec eveneens vestigingen heeft.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Computergegenereerde holografie

Een van de onderwerpen waaraan in Leuven wordt gewerkt, is holografie, een onderzoeksgebied dat na de overname van het Vlaamse iMinds in beeld kwam. Met iMinds haalde imec vooral onderzoeksdeskundigheid op het gebied van software in huis, wat van pas komt omdat de combinatie van hardware en software bij tal van wetenschappelijke toepassingen steeds belangrijker wordt.

Holografie is natuurlijk niet nieuw, het werd in 1947 al uitgevonden door de Hongaarse natuurkundige Denis Gabor. Het principe is gebaseerd op het interferentiepatroon dat ontstaat door de weerkaatsing van een lichtbundel door een object en een referentiebundel. Door dit op een fotografische plaat vast te leggen, kan een 3d-weergave op een plat vlak ontstaan.

Volgens Peter Schelkens van de ETRO-onderzoeksgroep van de Vrije Universiteit Brussel en imec zijn er steeds meer apparaten die accuraat de 3d-wereld om ons heen proberen te vangen, waaronder met pointclouds, lightfield of holografie. Het probleem van digitale holografie is volgens hem dat de hoeveelheid pixels die moet worden opgeslagen, gigantisch kan toenemen. Op microscopische schaal en bij kleine schermen, zoals die voor headmounted displays, zou dit geen problemen opleveren, maar voor grotere schermen wel.

Voor die schermen is een grote refractiehoek nodig om het beeld vanuit verschillende hoeken te kunnen bekijken, maar dit vertaalt zich in de hoeveelheid pixels. Bij schermen van tien tot veertig inch kan de weergave zo al oplopen tot terapixels. Volgens Schelkens zouden bij puntwolken supercomputers nodig zijn om de beelden te genereren. "Als je vanaf elk punt de lichtgolven moet berekenen, heb je het over exascalecomputing."

In Leuven maken ze weliswaar gebruik van puntwolken, maar verdelen ze het vastleggen van informatie over de lichtbundels van de verschillende punten over verschillende vlakken. Bij de berekening van de lichtvelden kan zo van look-up tables gebruikgemaakt worden om de complexiteit en dus de hoeveelheid data terug te brengen. De methode ondersteunt het gebruik van occlusion culling, zodat punten buiten het zicht niet gerenderd hoeven te worden.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reconstructie van hogeresolutiehologram van 4 gigapixel. Pointclouddata afkomstig van ScanLAB Projects.

Tegelijkertijd werkt Schelkens met zijn team aan holografische codecs voor video. Het compressieframework dat ze voorstellen, kan informatie over de variabele diepte bevatten en biedt motion compensation, en kan dus in bepaalde mate te renderen frames voorspellen. De codec zou een goede signal-to-noiseratio bieden tegenover hevc. Aangezien de hoogleraar in de commissie van de Joint Photographic Experts Group zit, maakt de codec kans een breed gedragen standaard te worden.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Ondanks de vorderingen is er nog een lange weg te gaan voordat de holografische technieken kunnen worden toegepast. "Het duurt nog zeker tien jaar voordat consumenten hiervan kunnen genieten", aldus Schelkens. "Maar een aantal jaren geleden zaten we vast met dit soort onderzoeken. Nu is er weer volop beweging."

Sdr- naar hdr-video en indoor lokalisatie

Hdr is een geweldige beeldtechniek, vindt Jan Aelterman, onderzoeker van de Image Processing and Interpretation Group van imec, maar het schort ernstig aan video's met hdr-ondersteuning. Hij werkt met zijn collega's aan het converteren van sdr- naar hdr-weergave. Er is volgens hem een enorme berg sdr-films die vanwege de kosten van frame-by-frameremastering waarschijnlijk geen hdr-upgrade krijgen.

De oplossing ligt volgens hem bij het converteren, maar een aantal problemen bemoeilijkt dit. Zo is de kwaliteit van de hdr-weergave sterk afhankelijk van de scène. Hij ontwikkelde software die met behulp van machinelearning en tonemapping scènes analyseert, donkere scènes donker laat en lichte scènes optimaliseert voor hdr. Daarnaast detecteren algoritmes lichtbronnen om te voorkomen dat de helderheid van objecten wordt verhoogd waar dit niet moet. Zo kan de software een lantaarnpaal, kampvuur of explosie highlighten en dit bij de verlichte omgeving beperkt houden. Ten slotte is er ondersteuning voor het onderdrukken van artefacten die ontstaan bij het converteren, doordat sdr op 8bit is gebaseerd en hdr op 10bit-schermen wordt weergegeven.

imec sdr2hdr ITF 2018

Volgens Aelterman bleek uit tests met groepen kijkers dat de kwaliteit van de hdr-conversie duidelijk werd verkozen boven sdr, maar een native hdr-weergave werd het meest gewaardeerd. De demonstratie tijdens het ITF was indrukwekkend, maar die werd dan ook gegeven met een scherm van Sim2 met een maximale helderheid van 6000cd/m² en 2202 onafhankelijk aangestuurde witte leds als backlight, waarmee elke hdr-weergave imposant is.

De laatste hobbel voor imec is om de softwarematige convertor daadwerkelijk naar tv's te krijgen, zodat deze sdr kunnen ontvangen en hdr kunnen uitsturen. Imec heeft de methode in real time draaiend op een Nvidia Jetson X2-module en de implementatie is te porten naar gpu's, fpga's en asics. Een nadeel is dat de realtimeconversie alleen op full-hd werkt. Voor 4k is wellicht extra hardware nodig. Hoe dan ook heeft TP Vision vertrouwen in de techniek; het bedrijf heeft een licentieovereenkomst met imec en meldt dat de techniek 'mogelijk' volgend jaar in zijn oledlijn van Philips-tv's terechtkomt.

Positie binnen ruimtes bepalen met bluetooth

Lokalisatie op korte afstand en binnen gebouwen zal volgens imec een grote vlucht nemen. Hiervoor bestaan al technieken, zoals beacons. Die zijn volgens het instituut goed genoeg voor winkels, maar niet precies genoeg voor kritieke toepassingen. "Eigenlijk wil je een accurate en robuuste techniek, voor bijvoorbeeld ziekenhuizen", zegt Kathleen Philips van de imec-internet-of-thingsdivisie. "Zodra de dokter in de buurt van een patiënt komt, moet hij de juiste gegevens krijgen."

Via de ultrawide band is wel accurate lokalisatie mogelijk, maar de kosten hiervan zijn relatief hoog, waardoor de toepassing tot nu toe beperkt is gebleven tot bepaalde track-and-tracesystemen. Daarom heeft imec algoritmes ontwikkeld die bluetooth inzetten, als goedkoop alternatief. De techniek werkt door faseverschillen van het uitgestuurde en ontvangen signaal te meten. Hiermee zou een nauwkeurigheid van dertig centimeter bereikt kunnen worden. Dat is een flinke verbetering ten opzichte van bestaande technieken, die received signal strength indication, oftewel het meten van de signaalsterkte, gebruiken en die slechts een nauwkeurigheid van drie tot vijf meter behalen. Dat komt mede doordat die technieken last hebben van meerwegontvangst, oftewel de ontvangst van signalen via verschillende paden. Imec's algoritmes beperken de invloed hiervan.

De methode van het instituut werkt via IEEE 802.15.4-technieken als ZigBee, maar richt zich met name op bluetooth en het heeft zelfs een voorstel ingediend bij de Bluetooth SIG om in een komende bluetoothstandaard te worden opgenomen. Als referentie gebruikt imec daarbij de werking in combinatie met nxp-chips, die gebruikt worden voor het op afstand openen van autosloten. De techniek kan namelijk gecombineerd worden met authenticatie, waarbij een versleuteld kanaal dat wordt opgezet, spoofing voorkomt. Dit laatste vergt dan wel weer extra hardware, terwijl de eisen voor de basistechniek erg laag zijn. Het werkt al op een zuinige Cortex M4F-processor met 32kB rom en 64kB ram.

imec ITF 2018 indoor lokalisatie

Kathleen Philips van imec IoT stelt zich voor dat smartphonegebruikers straks een app kunnen downloaden zodat ze hun smartphone kunnen inzetten voor de proximitytechniek. Daarnaast kunnen fabrikanten deze in licentie nemen voor hun eigen toepassingen. Imec heeft de technologie in samenwerking met het Nederlandse Holst Centre ontwikkeld en voor de authenticatie heeft de Cosic-groep van de KU Leuven geholpen.

Organen-op-een-chip en oogtracking met eog

Het is niet verwonderlijk dat imec zich ook op de gezondheidszorg richt, waar de rol van technologie almaar belangrijker wordt. Zo constateert het instituut dat medicijnontwikkeling een proces van tientallen jaren en miljoenen euro's is, dat in de meeste gevallen geen product oplevert dat bij de patiënt terechtkomt. Van de medicijnkandidaten sneuvelt 66 procent in de late fase II, terwijl nog eens 30 procent de laatste fase III niet doorkomt. Ook als een medicijn alle tests en keuringen heeft doorlopen, is er het risico dat het van de markt wordt gehaald wegens onverwachte effecten. Een voorname oorzaak ligt bij het gebrek aan menselijke testmodellen, iets waarvoor organen-op-een-chip een oplossing kunnen bieden.

imec ITF 2018 organ-on-a-chip

Dit soort chips zijn niet nieuw, maar de multi-electrode array-chip op een basis met microkanaaltjes die door imec is ontwikkeld, biedt verbeteringen op het gebied van gebruik, schaalbaarheid, meetresolutie, doorvoer en sensorintegratie.

De chipmodule heeft zestien microkamertjes waarin stoffen zoals voeding of medicijnen kunnen worden geplaatst. Peristaltische pompjes transporteren het materiaal naar zestien wells op de chip, waarin zich het celmateriaal bevindt. Die cellen groeien op een oppervlak met nanogroeven dat in vergelijking met een plat oppervlak voor weefsel kan zorgen dat zich meer als orgaanmateriaal gedraagt. Elke well heeft 1024 elektrodes voor signaalmetingen. De configureerbare circuits ondersteunen het aanbrengen van spanning en stroom, het monitoren van impedantie en impedantiespectroscopie. Hierdoor is een groot aantal parallelle tests met een enkele chip mogelijk.

Voordat de organen-op-een-chip in gebruik genomen kunnen worden, moet imec nog meer tests uitvoeren met menselijke stamcellen en ook moet de doorvoer nog omhoog om te voldoen aan de wensen van de farmaceutische industrie. Dit laatste moet geen probleem zijn, aangezien de chip erg schaalbaar is. Bovendien heeft imec voor een packageformaat gekozen dat standaard is in de farmaceutische wereld, zodat bijvoorbeeld pipetting robots de microkamertjes snel automatisch kunnen vullen. Imec heeft succesvolle tests uitgevoerd met hartcellen, maar gaat nu met meer orgaancellen testen, zoals die van de lever en de hersenen.

Oogtracking met elektro-oculografie

Vorig jaar demonstreerde imec eyetracking met behulp van een droge-elektrode-eeg-techniek, waarbij hersengolven werden gemeten. Dit resulteerde in een aanzienlijk kleinere, zuinigere en goedkopere techniek dan die op basis van camera's die op de pupillen zijn gericht. Het kan echter nog compacter, toonde het instituut dit jaar aan.

De methode op basis van elektro-oculografie of eog maakt gebruik van de eigenschappen van het oog als elektrische dipool; bewegingen hebben invloed op de elektrische eigenschappen van de huid rond het oog. Door deze eigenschappen te meten met elektrodes en het signaal te analyseren, kunnen de oogbewegingen worden geschat.

imec ITF 2018 wearable eyetracking

Het voordeel is dat de techniek te integreren is in een bril van normale omvang. Ook de accu's die nodig zijn voor de overdracht van gegevens via bluetooth, kunnen zeer klein blijven en toch een werkzame duur tot tien uur opleveren. De samplingrate bedraagt 256 samples per seconde, wat een verdubbeling is ten opzichte van op camera's gebaseerde technieken voor oogtracking.

De integratie in comfortabele brillen maakt de techniek geschikt voor de gezondheidszorg. Het meten van de oogbewegingen zou bijvoorbeeld parkinson in een vroeg stadium aan het licht kunnen brengen, en kunnen helpen bij het monitoren van het verloop van andere ziektes en de voortgang van behandelingen. Daarnaast denkt imec aan bediening met de ogen van slimme brillen en aan integratie in vr-headsets, waarin oogtracking kan helpen bij foveated rendering, het renderen van beelden waar de drager naar kijkt.