Nvidia-AI-livestreamtool past ogen van spreker aan alsof ze in camera kijken

Nvidia heeft de Broadcast-livestreamtool geüpdatet met nieuwe functies, waaronder Eye Contact. Eye Contact past de ogen van de gefilmde spreker aan, waardoor het lijkt alsof ze in de camera kijken, ook al doen ze dit in werkelijkheid niet. Achtergrond- en blureffecten zijn ook verbeterd.

De Eye Contact-functie 'schat' waar de ogen van de gefilmde spreker zouden moeten staan als ze de camera in zouden kijken en past deze vervolgens aan. Sprekers behouden daarbij hun oogkleur en blijven knipperen, zegt Nvidia. De AI-tool verbreekt daarnaast het oogcontact als de spreker te ver weg kijkt, waarbij de overgang tussen het gesimuleerde oogcontact en de werkelijke ogen van de spreker soepel verloopt.

Nvidia zegt dat de nieuwe functie bijvoorbeeld geschikt is voor mensen die zichzelf willen filmen terwijl ze hun aantekeningen of een script lezen, of willen voorkomen dat ze direct in de camera moeten kijken. Dergelijk oogcontact is juist goed voor zulke video's, omdat ze volgens Nvidia de verbintenis tussen spreker en kijker verhogen. Eye Contact is vooralsnog in bèta; het bedrijf vraagt gebruikers daarom om feedback.

Naast Eye Contact voegt Nvidia de update Vignette toe, wat samen met Background Blur voor een 'bokeh-effect' moet zorgen. Nvidia heeft tevens de Blur-, Replacement- en Removal Virtual Background-effecten verbeterd met temporal informatie waardoor deze effecten stabieler moeten werken en het onderscheid tussen achtergrond en spreker beter moeten kunnen maken. Tot slot kunnen gebruikers met de update screenshots maken en hun webcambeeld spiegelen.

Background is een Nvidia-AI-tool die bedoeld is voor videobellen en livestreamen, die alleen met Nvidia RTX-gpu's werkt. De tool komt standaard op sommige laptops van Acer, ASUS, Gigabyte, MSI, Lenovo en Razer, en sommige effecten zijn via een sdk ook bij andere programma's te gebruiken. Virtual Background zit zo bijvoorbeeld in OBS, Streamlabs en Elgato Camera Hub.

Reacties (108)

Ook handig voor online tentamens. Dan zien ze niet dat je opzij een spiekbriefje hebt liggen.

Leuk bedacht, maar gelukkig controleert goede software hierop.
Als je bijvoorbeeld een IT gerelateerd examen via “ pearson vue” doet, dat mag diverse software niet draaien. Waaronder software die de webcam beïnvloed of schermovername/opname mogelijk maakt.

Ik de vermoed dat andere aanbieders van online examens hier ook op letten.

Virtual machien zou genoeg moeten zijn toch?

er is heel veel tentamen software, de een beter dan de andere. (sowieso als je wil spieken kan dat toch wel, je zorgt dat het broefje onder het scherm ligt of zo)

Zo een +2

Apple heeft dit al een hele tijd geleden gedaan voor Facetime? Geen idee of men daarvoor AI gebruikt trouwens.

Inderdaad, heeft zelfs hier op Tweakers gestaan:
nieuws: Bèta iOS bevat ARKit-functie om Facetime-gebruikers oogcontact te lat...

Klopt, maar helaas weer gedeactiveerd. Ik zou dit erg graag willen, vooral op mijn MacBook met Continuity Camera. Nu gebruik ik mijn iPhone vaak als webcam maar kijk echt nooit in de lens, want hij zit boven het grote scherm.

Totaal off-topic, maar wat is nu het voordeel van je iPhone gebruiken? De camera in mijn 14" Macbook Pro doet het immers prima, en zit er al.

Want niet iedereen heeft zo'n goede webcam als wat er in de nieuwere MacBooks zit, en het is ook lang niet altijd de handigste plek (dual/extern screen setup, etc).

De M1 Air en Pro laptops uit weliswaar 2020 worden nog steeds verkocht, met een 720p camera - uit de losse pols zal dat hooguit 1 megapixel zijn.

Laat dat nou net de twee dingen zijn die met de "nieuwe" 1080p camera in de 14"/16" M1 Pro's en M2 Air en Pro MacBooks enigszins zijn aangepakt: Grotere sensor (meer licht/minder ruis) en meer pixels (voor 1080).

Ik gebruikte tot nu toe mijn desktop/webcam voor online meetings met een HP webcam uit ~2013 die 720fps/60 en 1080p/30fps doet en dat was destijds 2-3 tientjes, nog steeds prima, maar de kwaliteit is echt niet te vergelijken met een "telefoon" kan:

Zelfs een 4-5 jaar oude iPhone gaat er ruim overheen: m'n iPhone XS uit 2018 heeft een camera van 12MP en doet met 2 vingers in de neus 4k op 60fps. De recente iPhones vanaf de 11 en 12 hebben daarnaast ook enorme sprongen gemaakt met de beeldkwaliteit in donkere omstandigheden, plus de ingebouwde processing met relatief gezien enorm geavanceerde SoC's.

Ik mis sowieso wat AI hiermee te maken heeft. Het is een filter over de ogen heen plakken en de stand van het gezicht berekenen tov de camera. Waanzinnig knap hoor, maar AI?

[Reactie gewijzigd door chiel_78 op 13 januari 2023 16:19]

Als je het geen AI noemt hoeft niemand het meer

Dat ja...

Of mensen kunnen ook accepteren dat mensen niet altijd in de camera kijken. OF de mensen die deelnemen aan een gesprek kunnen ook het fatsoen opbrengen om in de camera te kijken

Ik moest eigenlijk meer aan nieuwslezers kijken die de autoque lezen.

Meeste nieuwslezers kijken naar een teleprompter/atuocue waardoorheen ze ook gefilmd worden door een camera, zodat ze altijd direct in de camera kijken.

En je kan ze vrij makkelijk zelf maken met een tablet en een stuk glas.

Zie ook Technology Connections op Youtube:

https://www.youtube.com/w...nel=TechnologyConnections Rond 2:35.

[Reactie gewijzigd door Illegal_Alien op 13 januari 2023 11:30]

Is dit in België ook het geval?

Mij valt het in ieder geval vaak op dat ze aan het aflezen zijn.

Ik zei meeste, weet niet hoe het voor België is en niet universeel toepasbaar uiteraard.

Die papieren liggen er al tientallen jaren voor de show, heb ik begrepen.

Niet voor de show, maar voor het geval er een storing is op de teleprompter.

Ja. Toch zeker voor de grote zenders. Die zie je ook voor de camera's hangen als ze eens in beeld komen.
Ik vermoed ook wel de lokale stations, maar daar kom ik zelf niet.
Die dingen moeten wel ingevuld en bediend worden. Al dan niet door het anker zelf. Als er iets mis loopt kan het dus wel zijn dat ze terugvallen op de rundown op het scherm in de desk zelf, of in uiterst geval van nood op papier.

Of mensen kunnen ook accepteren dat nieuwslezers niet altijd in de camera kijken.

helaas is dat niet altijd mogelijk, als je meerdere schermen hebt moet je soms ook echt naar een ander scherm kijken. Ik heb zo heel vaak de presentatie van de andere presentator op mijn 27" scherm staan, de laptop staat er naast. Dan kan je dus niet in de camera kijken.

helaas is dat niet altijd mogelijk, als je meerdere schermen hebt moet je soms ook echt naar een ander scherm kijken. Ik heb zo heel vaak de presentatie van de andere presentator op mijn 27" scherm staan, de laptop staat er naast. Dan kan je dus niet in de camera kijken.

Dat vind ik eigenlijk best wel acceptabel, net als dat je gezamenlijk naar een 'echte' presentatie kijkt zal je niet de hele tijd naar iedereen kijken. Uiteraard is het belangrijk voor de presentator om correct oogcontact te zoeken met diens publiek tijdens het presenteren (ook al kijkt het publiek naar de presentatie en niet de presentator).

Wat je ook kan doen is een aparte webcam op je 27" monitor zetten. Dan lijkt het voor de presentator ook alsof je oogcontact hebt.

[Reactie gewijzigd door The Zep Man op 13 januari 2023 14:01]

Nehhh, ook al plaats je de webcam op de 27" , zal je nog steeds geen oogcontact hebben (of er op lijken), je kijkt nog steeds langs elkaar; dat 'boots' je alleen maar na als de webcam 'in' de 27" is gebouwd (,dus in feite achter de presentatie op de 27" display). Met de nadruk op 'boots' omdat je dan nog steeds met je ogen gefixeerd bent op de presentatie en niet op de (onzichtbare) camera achter de presentatie.

precies dit mensen die altijd in de camera kijken zijn gewoon eng

Je krijgt dan een beetje het gevoel van overly attached girlfriend (know your meme).

Ja inderdaad,

iets met budget. het is al lastig om een extra externe SSD of muis aan te schaffen, dat gaat helaas nog veel erger worden.

Ik heb ook zo'n setup maar volgens mij gaat het er heel raar uitzien als ik naar mijn grote monitor kijk, en dat mijn laptop mijn ogen verdraait.

OF de mensen die deelnemen aan een gesprek kunnen ook het fatsoen opbrengen om in de camera te kijken

Dat is onderdeel van het voorbereiden van een goede omgeving voor een gesprek op afstand, niet heel anders als het voorbereiden van een goede omgeving voor een face-to-face meeting. Dus een goede headset (met minstens noise cancellation voor de microfoon), een webcam dicht in de buurt van het beeld waar de andere partij op geprojecteerd wordt, etc.

Volgens mij wordt wat Nvidia hier neerzet uncanny als je samen naar een gedeeld iets kijkt (zoals een presentatie), en de andere persoon je direct blijft aankijken. Direct oogcontact hoeft niet altijd.

[Reactie gewijzigd door The Zep Man op 13 januari 2023 10:21]

Mee eens. Ik denk ook dat je niet alle non-verbale communicatie meer meekrijgt en zelfs bepaalde cues zal gaan missen hierdoor. Dus je krijgt eigenlijk nog minder door, waar je al beperkt bent ten opzichte van een face-to-face meeting qua non-verbale communicatie. Dan verbeterd dit niet wat je van iemand opppikt.

Straks krijg je zo een akelig gevoel zoals zo een schilderij wat je altijd aankijkt en volgt. Het lijkt erop dat de ogen gewoon statisch vooruit kijken en er geen natuurlijke beweging in zit.

Het heeft niet zozeer met fatsoen te maken, als met fysieke setup van je webcam. Bij een videogesprek kijk ik ook niet in de camera, maar naar mijn beeldscherm waar het beeld van mijn gesprekspartner op staat. Voor mijn gesprekspartner zal het lijken dat ik ietsjes naar beneden kijk omdat mijn webcam boven mijn beeldscherm zit. Uiteraard kan ik er ook voor kiezen wél recht in de camera te kijken, maar dan zie ik mijn gesprekspartner niet goed, wat weer niet bevorderlijk is voor het gesprek. Juist hiervoor lijkt me dit een goede toepassing.

Nee ik kijk nooit continu in de camera en vindt mensen die er constant in kijken ook eng.
Het betekent voor mij ook juist dat je niets doet en niet mee denkt en werkt of geen dingen te gelijk kan als je contestant naar je camera zit staren. ik vindt dat echt persoon slecht supper Freaky die mensen. \\. ik kik ze ook uit mijn team en vraag de afdeling of extern bedrijf een andere medewerker.

[Reactie gewijzigd door xbeam op 13 januari 2023 18:44]

Is het voortaan onfatsoenlijk om niet de camera in te kijken?

Je weet dat het voor sommige mensen net aangenamer is om niet recht in de ogen te moeten kijken? Dus ik ga voor optie één.

Of dat mensen accepteren dat vergaderen vaak doelloos is en weinig toegevoegde waarde heeft.

Ik begrijp nog steeds niet dat er bedrijven/instanties zijn die meerdere uren per dag uitplannen voor overleg.

Op scholen is het helemaal gestoord met een riks “studiedagen” waar eigenlijk nooit uitleg over wordt gegeven anders dan dat je kind niet naar school hoeft.

Dat is natuurlijk pure onzin om zo in het algemeen te stellen, en totaal afhankelijk van wat je doet. Als developer kan ik me voorstellen dat minder meetings nuttig zijn, 1x per week een meeting hoe ver je achterloopt is dan voldoende. Maar zeker in andere gebieden is het toch zo dat mensen samenwerken, en niet iedereen alles doet. Die code moet ook verkocht worden, dat is niet 1 iemand die iets bedenkt en dan zonder enige context door je strot duwt natuurlijk.

Hier zat ik ook aan te denken. Een korte pauze om een stuk van je aantekeningen door te lezen word wel erg gênant als de voorlezer je constant in stilte recht in je ogen aanstaart.

Grappig is dat Eye-contact on/off images letterlijk frame 4 en frame 5 kunnen zijn... want als er iets makkelijk is om te bewegen dan zijn het onze ogen.

Kunnen ze dan ook mensen die scheel kijken 'corrigeren'.

Volgens mij hebben de meeste mensen al geaccepteerd dat je niet 'aangekeken' wordt bij videobellen. Het is echter een veel grotere belasting op onze cognitieve vermogens. Voor ons brein is het rustiger als mensen ons aankijken tijdens het spreken. Derhalve is dit een mankement van videobellen wat we hebben geaccepteerd, omdat er vaak geen goed alternatief was.

Volgens mij gaat niemand naar zijn camera kijken tijdens het videobellen. Dan zie je de andere deelnemers en/of de presentatie niet op je scherm. Als iedereen beleeft naar zijn of haar camera kijkt, dan kan je net zo goed niet videobellen. Je kijkt immers enkel naar een zwart rondje.

Ik vind het top.

Ik Teams me suf en volg een strakke etiquette. Ik heb een Kickstarter mid-screen webcam geprobeerd, maar die drivers waren super brak, wit-balans vloog alle kanten op.

Ik heb voor Teams een bedrijfs-backdrop laten ontwerpen en publiceer een LUA klok in de hoek van mijn scherm terwijl ik voor een greenscreen zit icm OBS. Als ik afwezig ben ziet men een testbeeld.

Maar de meesten van mijn collega's zien Teams als een noodzakelijk kwaad en denken geen seconde na over positie, tegenlicht, geluid, etc....

Ik weet zeker dat als we ogen in de camera kunnen laten kijken met software en misschien nog iets kunnen doen met virtueel invullicht etc.. vergaderingen een stuk natuurlijker zouden verlopen met een beter eindresultaat.

Ik ben van mening dat op dat vlak, Teams, Zoom, OBS, etc... nog in de kinderschoenen staan.

Daar zit een waarheid in al vind ik het toch nog steeds raar om naar een puntje te kijken ipv de persoon waarmee ik praat.

Nou hè? Wat een first world problem dit...

Ik hou liever m'n ogen gericht op het stuk in m'n scherm waar diegene aan het praten is. Ik zou liever zien dat we wat minder snel gekrenkt zijn omdat er niet "in de camera" is gekeken, dat kost me energie die ik op een drukke dag dan liever aan het luisteren besteed.

Dit heeft heel weinig te maken met acceptatie of fatsoen. Online meetings zijn voor veel mensen heel vermoeiend omdat ons brein er gewoon niet voor is gemaakt, je kunt namelijk onmogelijk oogcontact maken. Je kijkt óf naar het scherm óf naar de camera, juist dit soort tools lijken me dan een goed gebruik van technologie om te zorgen dat onze hersenen het enigszins aankunnen.

Exact dit. Vloggen is tegenwoordig een geaccepteerd verdienmodel. Daar mag je net als met elk andere baan gewoon je best voor doen, er goed in worden. Beter dan een ander wellicht en daarin uitblinken. Als ai deze skill nu voor je gaat compenseren/overnemen wordt het nog makkelijker om op deze manier verdienstelijk te zijn en wordt er nog minder spreekwoordelijk kaf van koren gescheiden.

Ik wil deze tool wel eens over een speelfilm gooien. Juist een medium waarbij de mensen op het scherm absoluut niet in de camera mogen kijken. Zit jij naar de acteurs te kijken, kijken ze de hele tijd terug haha

Dat zou relatief makkelijk te testen zijn. Je kan namelijk OBS als webcam laten fungeren. In OBS laad je de videofile in en vervolgens moet je de OBS webcam gebruiken binnen NVIDIA Broadcast.

Bron: https://streamshark.io/bl...cam-on-windows-and-macos/

Hmm. Ik zal vanavond eens kijken wat er gebeurd. Klinkt als iets wat hilarisch is om te proberen, maar waar je vrij weinig mee kunt op dat vlak.

Films zullen ws nog wel lastig zijn gezien je vaak ook naar zij aanzichten zit te kijken. Maar misschien kunnen we er een paar mooie gems uithalen.

Graag even opnemen en delen via Youtube!

t8

[Reactie gewijzigd door R.Evil op 14 januari 2023 14:15]

Ideaal voor programmeren en scrumevents tegelijk volgen

Hehe als medeprogrammeur voel ik deze

Als mede engineer, scrummaster en qa-er.. ik ook tijdens refinement/planning

Ziet er best aardig uit. Ben benieuwd hoe goed dit werkt als je veel beweegt met je hoofd.

En wat voor rare gezichten er uit komen omdat de ogen niet op een manier staan die bij de rest van de gezichtsuitdrukkingen passen

En als je niet weet dat het gebruikt wordt denk je al gauw: kijk uit waar je loopt!

Over 30 jaar is de kop "Nvidia-AI-livestreamtool past beeld van werknemer aan alsof hij aan het werk is".

Het zal vast ergens goed voor zijn, maar ik zit er zelf niet op te wachten om de hele tijd kunstmatig aangestaard te worden bij een uitlegfilmpje.
Dus ik hoop niet dat dat het uiteindelijke doel hiervan is.

Het klinkt een beetje als een cultuur dingetje. Ik denk niet dat wij er van wakker liggen als iemand niet steeds in de camera kijkt. Maar wellicht is dat in andere culturen wel een probleem?

Nee, het is een biologie dingetje
De menselijke hersenen zijn niet gemaakt op gesprekken waar je elkaar niet aankijkt, dus je bent na een Teams meeting een stuk meer opgebrand dan een fysieke meeting. Dit is een mooie manier om de beperkingen van online bellen op te lossen, en het daarmee voor iedereen fijner te maken.
Zeker als meer en meer het recht op thuiswerken wordt geforceerd moeten er ook tools komen om online meetings beter te maken voor mensen die daar niet van houden, aangezien iemand naar kantoor forceren helaas (nog, we kunnen hopen) niet mag.

Ik wacht nog op de update die mijn ogen open houdt terwijl ik een dutje doe. Zo kom ik de meeste meetings wel door.

Neem een x aantal minuten op van je kop. En speel dat af. Geen AI nodig.

En de snurkgeluiden er uit filteren maakt het helemaal top.

Wat dacht je van live-streaming? Je bent in gesprek met iemand die dit soort software gebruikt om de typische gezichtsuitdrukkingen te verbergen. Je kunt dan een totaal verkeerd 'beeld' van iemand krijgen. Denk aan videoconferencing met wereldleiders, sollicitatiegesprekken of domweg oplichting via de computer...

Dit lost denk ik wel een probleem op wat veel beginnende content creators hebben. Je bent dan zo druk bezig met het lezen van het script dat je niet vloeiend kan spreken en naar de camera kan kijken om zo de interactie met je publiek toch te hebben. Hiermee kan je gewoon je script lezen en toch naar het publiek kijken. In een wereld waar we tegenwoordig de perfectie nastreven, zijn dit alleen maar hulpmiddelen om dat des te sneller te bereiken. Ik vind het een goede uitvinding en zou het zeker gebruiken als ik ooit zou starten met het maken van Youtube content oid.

Ook voor de beginnende creator is het niet moeilijk of duur om een opstelling te maken waarbij je in de camera kijkt.

Technology connections heeft er een goede video voor: https://www.youtube.com/watch?v=YeRu4xYH_W0

Mooie techniek👍🏻
Al is het volgens mij vooral een oplossing voor een probleem wat er niet is/was

Het is zeker een probleem, online meetings zijn namelijk heel zwaar voor het menselijk brein.

Knap griezelig, het is het net niet waardoor mijn hersens in een soort weerstand gaan, heel vervelend om naar te kijken.

Mensen die je continu in je ogen tijdens een gesprek zijn ook niet natuurlijk in mijn beleving.
Beetje alsof je met een psychopaat aan het chatten bent stel ik me zo voor.

Overly attached gf