Nikkei: Apple ontwikkelt samen met TSMC micro-oledschermen voor AR-headsets

Apple zou samen met de Taiwanese chipfabrikant TSMC werken aan het ontwikkelen van micro-oledschermen. Dat stelt dat Nikkei op basis van bronnen. Het gaat om kleine oledschermen die bijvoorbeeld voor VR- en AR-headsets bedoeld zijn.

Volgens de bronnen van Nikkei draait het hier om relatief kleine oledschermen die direct op een wafer worden aangebracht. Dat wijkt af van de grotere oledschermen voor bijvoorbeeld televisies die op een glassubstraat worden aangebracht. De schermen die in ontwikkeling zijn, zouden een formaat hebben van minder dan een inch.

Dit gezamenlijke project van Apple en TSMC zou volgens de bronnen nog in een vroege fase zitten. Massaproductie zou dan ook nog meerdere jaren op zich laten wachten. Daarbij zouden bepaalde onderdelen van de geplande productie gebruikmaken van TSMC's bestaande processen en apparatuur die het al gebruikt voor de chipproductie. De productie zou gaan plaatsvinden in de Taiwanese stad Taoyuan op het Longtan Science Park, waar TSMC vlakbij ook een fabriek heeft.

Het uiteindelijke doel zou zijn om deze schermen te gebruiken voor komende AR-headsets. Het idee is dat de micro-oledschermen op deze manier een stuk dunner en kleiner kunnen worden gemaakt en minder energie verbruiken, zodat ze geschikt zijn voor bijvoorbeeld draagbare AR-headsets. Dit soort apparaten vergen namelijk heel kleine schermen. De voordelen van oled, zoals het relatief hoge contrast, zijn daarbij ook een voordeel.

De toepassing van micro-oledschermen is niet nieuw; de schermpjes worden al toegepast als elektronische zoekers. Er werken allerlei bedrijven aan deze zogeheten oled-on-silicon-technologie, wat uiteindelijk de voor AR veelgebruikte Liquid Crystal on Silicon-technologie zou moeten doen vergeten. Onder meer het in 2016 in China opgerichte Seeya Information Technology is bezig met micro-oledschermen. Dit bedrijf zou onder meer een portfolio hebben dat onder meer bestaat uit 0,62"-oledpaneel met een resolutie 1728x1369 pixels, een 0,83"- oledpaneel met een resolutie 2560x1440 pixels en een en 1,03"-oledpaneel met een resolutie van 2560x2560 pixels. Ook het Franse Microoled is bezig met de technologie en werkt onder meer aan ActiveLook, een compacte module voor AR-zonnebrillen.

Nikkei meldt dat Apple ook zou werken aan microled-technologie, waarvoor eveneens een testproductielijn zou zijn opgetuigd. Deze technologie zou uiteindelijk ingezet moeten gaan worden in producten als de Apple Watch, iPads en MacBooks. Voor de ontwikkeling hiervan zou Apple samenwerken met het Taiwanese bedrijf Epistar.

Microled is net als oled een zelfemitterende technologie. Het heeft de belofte om te leiden tot schermen die zo goed als perfect zijn, met een zeer hoge helderheid, een heel groot kleurbereik, een perfect contrast en uitstekende goede kijkhoeken. Het lastige hiervan is echter om de afzonderlijke leds en dus de pixels klein genoeg te maken, mede waardoor deze technologie momenteel nog een lastig verhaal is voor bijvoorbeeld de consumentenmarkt van tv's. Voor veel kleinere schermen die heel hoge resoluties vergen is deze technologie dan ook nog meer een uitdaging.

Reacties (32)

[Coolstart]

Om AR/VR zinvol te maken moet er nog heel wat R&D gebeuren om verschillende gebieden. Ik vermoed dat we nog 10jaar nodig hebben op de fundamenten te ontwikkelen.

- 4k per oog aan 144hz, 200 graden FOV voor VR. (AR kan wel met minder starten)
- dynamische resolutie rendering afhankelijk van waar je kijkt.
- AR: 3D omgeving tracken en objecten detecteren via camera’s en lidar technologie.
- Situational awareness: beseffen wat handen zijn, een muur, een kat detecteren, weten dat je in de badkamer staat enz, eigen handen tracken en interfaces manipuleren enz.
- super krachtige en zuinige socs om het draagbaar te maken.
- Een ecosysteem van apps en games die ervan gebruik kunnen maken.

Als we dat in een standaard bril willen integeren zodat we het in ons dagdagelijkse leven kunnen gebruiken zijn we mss in totaal 15jaar verder. Maar in tussentijd kunnen we wel low res AR gebruiken met simpele tracking want AR hoeft natuurlijk niet 4k per ook te zijn om zinvol te zijn.

Het belangrijkste lijken mij de sensoren. Lidar, GPS, object detectie. Voorlopig is dat 'smart' gedeelte nog wat beperkt. Zelfs in de Apple AR kit zie je veel tracking maar de API geeft nog niet daar welk object het is. Dus hij heeft geen idee of je naar een koelkast kijkt, een stopcontact, waar je juist rondloopt etc. Je kan de AR prorjectie ook niet manipuleren met uw handen of met andere echte objecten in de ruimte. Bijvoorbeeld (Deur rood inkleuren als die openstaat, of een object markeren dat er gisteren niet stond of een AR balletje laten botsen tegen de muur).

Het ziet er ook wel naar uit dat Apple de eerste jaren de Hololens tour opgaat met een $3000 puur B2B verkoop om het ecosysteem beetje bij beetje uit te bouwen vanuit zakelijke toepassingen.

[Reactie gewijzigd door Coolstart op 23 juli 2024 07:01]

[Tr4nnel]

Misschien heb je wel gelijk. 10 jaar is de stap van de iphone 4 naar de iphone 12.

[air2]

en 1 maand is de stap van een Nokia 6301 naar een iPhone 1.
Oftewel dat zegt niet zoveel.

[Osiummaster]

Ja maar het is vrij sterk dat iemand even een Processor en GPU uit zijn hoed trekt die evensterk is als de 5900X + 3090 met het stroomverbruik van een Snapdragon XR2. En vervolgens ook een sterk doorzichtig energiezuinig superklein 4K display dat tegen dagelijks gebruik bestending is.

En we hebben nog steeds een betere batterij nodig.

[monojack]

Ja maar Apple heeft een roadmap voor zich liggen. Die brillen zijn nog niet voor morgen. Zoals Apple al met de M1 heeft laten zien weten we niet echt hoe die roadmap er uitziet en moeten we ons niet vastpinnen op wat we vandaag kennen.

Apple weet vandaag al wat het nodig zal hebben om zo'n bril vlot te doen draaien. Daarom hebben ze dat vandaag niet draaien maar ze hebben wel een kaart voor zich liggen hoe ze bij dat doel gaan geraken.

[hiostu]

- 4k per oog aan 144hz, 200 graden FOV voor VR. (AR kan wel met minder starten)

Bij AR moet je rekening mee houden dat de techniek anders is bij een telefoon die je voor je houdt of een bril die je opzet. VR werkt inderdaad met schermpjes met daarvoor lenzen. Wanneer je AR toepast dan zul je niet zo maar schermpjes kunnen gebruiken, dus zul je met projectie technieken moeten werken zoals Wave Guides of Lightfield.

- dynamische resolutie rendering afhankelijk van waar je kijkt.

Foveated rendering en eye tracking is al mogelijk.

- eigen handen tracken

Eigen handen tracken kan al. Dat doet de HoloLens 2 ook al op dit moment.

[monojack]

waarom projectie technieken en niet gewoon een transparent micro OLED scherm?

[hiostu]

Omdat je.oog dan scherp moet stellen op iets dichtbij. De lichtbundels moeten anders je ogen binnenkomen, anders kun je niet op het scherm scherpstellen en op de omgeving.

[distroyer117]

Waarom moet er nog zoveel gebeuren?

- 4k per oog aan 144hz, 200 graden FOV voor VR. (AR kan wel met minder starten)

met name voor AR (in mijn ervaring) is 4K nergens voor nodig, 1080p is ruim voldoende voor meeste toepassingen.
144hz hangt heel erg van je applicatie af, maar voor meeste doeleinden is 90hz voldoende.
Hoewel FOV inderdaad nog een groot gebrek is is 200° niet nodig. wij als mensen hebben een (horizontale) FOV van ~210° [Wikipedia] maar daarvan valt maar ~120° binnen ons directe zichtveld (de rest is perifeer) ik zie dan ook niet de noodzaak om het perifere zicht in de AR te betrekken (voor VR is dit ook niet noodzakelijk maar kan ik het me al meer voorstellen).

- AR: 3D omgeving tracken en objecten detecteren via camera’s en lidar technologie.

Hier zijn we al best ver mee. Ik weet niet of je ervaring met de MS Hololens (2) hebt maar omgeving tracken werkt heb wel heel goed. Daarnaast zijn er tig andere voorbeelden waar uit valt te zien dat 3D (vision) tracking al best goed werkt.

- eigen handen tracken

Ook hier zijn meerdere voorbeelden voor te vinden, bijvoorbeeld met OpenCV.

Hoewel we er inderdaad nog niet helemaal zijn met AR/VR zijn (in mijn mening) de grootste uitdagingen op het gebied van de soc's en vooral de prijs (want hoewel er al veel kan is het gewoon te duur).

[Prince]

Zeer mooie opsomming!

Ivm "Een ecosysteem van apps en games die ervan gebruik kunnen maken" lijkt het me wel doenbaar om er gewone apple of android apps op te kunnen draaien die 'zweven in de lucht' alsof er een gigantische smartphone voor je hangt. Of misschien net dat wel, gewoon een screen-capture van je gsm die je in de lucht kan bedienen. Zou alvast een mooie start zijn met weinig apps...

Als je loopt je hartslag zien, als iemand belt niet meer naar je smartwatch hoeven te kijken, maar gewoon mid air kunnen opnemen, Home Assistant bedienen vanuit je luie zetel (want een gsm uit je zak nemen is zo jaren 2000 :-D)

[Chintzy]

en als je in de winkel wilt afrekenen: een diepe buiging naar de pin terminal maken.

kan die bril mooi je tranen opvangen als het bedrag wat hoog uitvalt.

[Reactie gewijzigd door Chintzy op 23 juli 2024 07:01]

[OxWax]

....als iemand belt niet meer naar je smartwatch hoeven te kijken, maar gewoon mid air kunnen opnemen, Home Assistant bedienen vanuit je luie zetel (want een gsm uit je zak nemen is zo jaren 2000 :-D)

Er is niks irritanter dan zo'n lullo die voor zich uit zit te roepen en zijn hele leven moet vertellen op de tram/trein/bus

[Prince]

Volledig eens, maar wat heeft dit te maken met AR, Smartwatches, etc... Dit issue is er al stinds de eerste mobiele toestellen.
Ik sprak ook meer over een thuissituatie.

[monojack]

Of gewoon een desktop dat in de lucht hangt . Stel me voor dat ik een virtuele muziek studio in mijn woonkamer heb staan met meerdere virtuele keyboards, een virtuele mix tafel waar je normaal een huis voor koopt als je die in het echt zou kopen. Of gewoon mobiel een office space of tekenstudio bij de hand hebben.

[Prince]

Ja, er is veel mogelijk; zelfs dansende playboybunny's tijdens het thuis-werken...

Maar (en nu verwijs ik naar jouw mix-tafel, niet naar mijn bunny's) spijtig dat je die dingen niet kunt voelen; doet veel van de ervaring af. Is denk ik vergelijkbaar met typen op een tablet vs op een keyboard. Bij het ene voel je wat je doet, bij het andere niet.
Ik had al gehoord dat ze research deden naar 'gevoel dmv geluidsgolven', maar betwijfel of dat ooit 'echt' zal zijn.

[monojack]

Daar heb je die vingerhoedjes voor toch?

[Prince]

Eens, je voelt dat je iets raakt, maar je krijgt geen weerstand. We zijn nog ver af van een holodeck zoals bij Star Trek... Zou wel waanzinnig cool zijn...

[nolo]

Misschien moet je eens kijken naar de Pimax 8k-X, die sinds vorig jaar te koop is?
* Nog geen 144 hz, maar 85 hz maar al wel 4k per eye
* Dynamische resolutie rendering afhankelijk van waar je kijkt (optioneel met de eye tracker)
* Optionele hand tracker

[yorroy]

Ik vraag me af of het zo lang duurt. Het verleden heeft wel uitgewezen dat een Apple release van een bepaald device het startsein is van razendsnelle ontwikkeling.

[brammetje1994]

Ik denk dat de door jouw genoemde vereisten niet echt slaan op de conditie die jij schetst. Je zegt "Om AR/VR zinvol te maken moet..." en komt vervolgens met een lijst aan condities, welke eigenlijk niet slaan op het zinvol maken van AR/VR. Wanneer is AR/VR zinvol? in mijn optiek is entertainment een prima nut voor AR/VR en dat is al jaren mogelijk. Dat het technisch niet perfect is ben ik met je eens, maar dat maakt het niet zinloos.

Verder vind ik "- 4k per oog aan 144hz, 200 graden FOV voor VR. (AR kan wel met minder starten)" erg opmerkelijk. Waarom deze getallen? Baseer je het ergens op of puur op eigen inschatting?

Als je je gaat kijken naar "virtual reality" dan is op basis van de literatuur immersie mogelijk met veel mindere specificaties dan jij aangeeft. Dat iets te onderscheiden is van realiteit betekend niet dat er geen immersie plaats vindt welke de gebruiker het gevoel kan geven van authenticiteit.

[SpiceWorm]

Alsof je zegt dat auto's onzinnig zijn totdat we allemaal een tesla model s p100d hebben...

[SuperDre]

De toepassing van micro-oledschermen is niet nieuw; de schermpjes worden al toegepast als elektronische zoekers.

Ze werden al zelfs in de jaren 90 gebruikt voor VR-headsets, alleen was de resolutie toen nog zeer beperkt.

[Bas Boss]

Zolang je nog een skibril op moet zetten geloof ik er niet in. Dan kijk ik toch liever naar een groot scherm.

[K-aroq]

Zolang ik er een brandbare vloeistof in moet gooien geloof ik er niet in. Dan blijf ik toch liever bij mijn paard en wagen.

[Bas Boss]

Niet helemaal, maar de eerste auto’s waren ook een niche.

[joo5ty]

Is deze resolutie hoog genoeg om het scherm niet meer de bottleneck te laten zijn voor 100% realistische 'real world' beelden door je ogen waar te laten nemen?

[Prince]

We kunnen ons oog scherpstellen op 7 Megapixels. We zien echter meer, maar dat is dan wazig.
Moest alles scherp zijn, dan zit je al snel op >500 Megapixels.
Dat is direct ook het structurele issue als je AR doet door een bril. dan moet de bril 7 Megapixels kunnen weergeven los van waar je kijkt.(dus een +500Mpixel scherm)
Doe je dit bvb op een lens, dan draait die mee met het oog en heb je maar 7 Megapixels nodig.

Dus in principe, als je ver genoeg van een moderne 8K televisie af zit dat je hem helemaal ziet, dan is dat ongeveer de maxima van wat wij kunnen zien. Is natuurlijk iets persoonlijk en varieert wat.

[Reactie gewijzigd door Prince op 23 juli 2024 07:01]

[BadRespawn]

We kunnen ons oog scherpstellen op 7 Megapixels.

Het is afhankelijk van beelddiagonaal en kijkafstand.

[Prince]

Ik zal het anders uitleggen. Wat we zien moet je bekijken als 2 concentrische cirkels. De grote cirkel heeft een zeer lage resolutie en is eerder een wazige boel, maar genoeg om beweging en vage kleuren op te merken. De binnenste cirkel is scherp. Die cirkel bestaat uit +/- 7megapixels. Deze cirkel is kleiner dan de meeste schermen.
Kijk bvb naar de top van je pink met gestrekte armen en zelfs de palm van je hand is vaak al semi-wazig aan het worden. Wij bewegen onze ogen meer dan we denken. Een laptopscherm, TV, etc... is ook nooit volledig scherp te stellen; we kijken telkens maar naar een klein deel van het scherm. Bedenk bvb hoe vaak je naar beneden moet kijken moest je ondertitels lezen. Je kan deze namelijk gewoon niet 'samen met de rest van het scherm zien'.

als je een alles-omvattende AR omgeving wilt hebben, moet je dus een display zo dicht bij het oog brengen dat het het scherpe én wazige deel van het oog omvat. Gezien je je oog kan draaien zonder dat je je hoofd draait, moet dit scherm dus +/- 500 megapixels zijn om op alle plaatsen detail weer te kunnen geven.
Dit geeft 2 issues:
- technisch weergeven. Je hebt veel dpi's nodig om dit te doen.
- renderen. Je hebt wat power nodig om deze pixels te berekenen. Deze pijn is te verzachten door eye-tracking en effectief de wazige delen van het oog maar op lage resolutie te renderen.

Je hebt wel een punt dat "scherpstellen" een fout woordgebruik van mij was. "Het stuk waar we scherp kunnen kijken is om en rond 7 megapixels" was beter geweest.

Afstand en diagonaal heeft hier weinig mee te zien.
Een fototoestel dat 2Megapixels (1080p) foto's neemt, neemt 2 megapixels foto's los van hoeveel je (optisch) ingezoomed bent of dat het een fisheye- of macro-lens is. Bij ons oog is dit hetzelfde.

[BadRespawn]

Afstand en diagonaal heeft hier weinig mee te zien.
Een fototoestel dat 2Megapixels (1080p) foto's neemt, neemt 2 megapixels foto's los van hoeveel je (optisch) ingezoomed bent of dat het een fisheye- of macro-lens is. Bij ons oog is dit hetzelfde.

Of "x megapixels" genoeg is om "'real world' beelden door je ogen waar te laten nemen" hangt helemaal af van over hoeveel oppervlakte die pixels zijn verdeeld (oftewel hoe groot de pixels zijn), en op welke afstand het wordt bekeken.

Zo zullen de pixels van een 4K TV wel opvallen als je met je neus bovenop het scherm zit. En de pixels zullen ook opvallen als je van een paar meter afstand kijkt maar het scherm een diagonaal van bvb 10 meter heeft.
Andersom ziet een lage resolutie scherm er ook op korte afstand scherp uit als het een klein scherm is.

De objectieve maatstaf van hoeveel detail het menselijk oog kan zien is "angular resolution". Voor het menselijk oog is dat ca 0,03 graden.

[Damian]

Daar hebben ze Foveated Rendering voor uitgevonden. Dit in combinatie met Eye-tracking laat het beeld waar je ook echt naar kijkt scherp zijn, en dat daaromheen rendered in een lagere resolutie. dit scherpe stukje word dan door eyetracking meegenomen daar waar je naar kijkt.

[mutley69]

TSMC moet opletten - de helft van uw 5nm lijnen bij één klant, nu nog wat extra's - binnenkort knijpt Apple er tot de laatste dollarcent uit, en schuift het alle risico's bij TSMC. Ik zou mijn afhankelijkheid tegenover Apple limiteren tot 20% van de omzet - en niks meer willen leveren aan die afpersers.