Nvidia introduceert RTX Broadcast Engine-software met ai-greenscreen

Nvidia heeft de RTX Broadcast Engine aangekondigd. Met deze ontwikkelingskit kunnen streamers hun livestreams virtueel aankleden dankzij onder andere een ai-greenscreen. Een vroege versie van de software is binnenkort verkrijgbaar voor ontwikkelaars.

Nvidia deed de aankondiging naar aanleiding van het aankomende TwitchCon-evenement. De RTX Broadcast Engine maakt gebruik van de Tensor-cores die in de RTX-videokaarten van Nvidia zitten. De software is speciaal gemaakt voor streamers en introduceert een aantal functies die aangedreven worden door artificiële intelligentie. Een van deze features is een zogeheten RTX-greenscreen. Dit virtuele groene scherm moet de achtergrond van een webcam verwijderen. Deze functie wordt voor gebruikers van RTX-videokaarten geïntegreerd in OBS.

De nieuwe sdk bevat daarnaast RTX AR. Deze augmented reality-effecten kunnen gezichten herkennen en volgen. Hiermee kan een model van het gezicht gemaakt worden, waardoor gebruikers 3d-personages kunnen besturen met hun eigen gezicht. Verder bevat de sdk ook RTX Style Filters. Hiermee kan de look van een webcam veranderd worden op basis van de stijl van een afbeelding naar keuze. Hiermee kunnen gebruikers hun webcam bijvoorbeeld stileren als een Van Gogh-schilderij. Hoe de verschillende functies exact werken is niet bekend. Naar verwachting is goede verlichting nodig voor het behalen van de beste resultaten.

De sdk's zijn per direct als early access-software beschikbaar voor enkele partners van Nvidia maar komen binnenkort naar meer ontwikkelaars, die de technieken kunnen inbouwen in hun apps. Nvidia laat weten dat de RTX-encoder, die eerder dit jaar werd aangekondigd, vanaf nu ook werkt met Twitch Studio, Discord Go-Live en de 4k60 Pro Mk2-capturecard van Elgato.

Reacties (28)

[SinergyX]

Maar moeten dit nu features zijn voor een RTX om deze interessanter te maken? Facetracking/mesh wat een android app al kan doen? 'smart green' wat beetje video-editor al aan boord heeft (ja, realtime, zelfs met image matching als je statische achtergrond hebt).

[Scriptkid]

nee, dit zal naar alle waarschijnlijk heid komen omdat de tensor AI cores hiervoor worden gebruikt.

RTX komt niet alleen met RTX cores maar ook met Tensor cores.

[SuperDre]

De Tensor cores IS wat de RTX GPU's juist de RTX GPU's maakt. die Tensor cores is juist het verschil tussen een 1660 en een 2060 bv.

[Fred-Erik]

Nee, je hebt naast de tensor cores (goed in deep learning) de RT cores, die geoptimaliseerd zijn voor raytracing.

[n9iels]

Gaaf! Vraag me wel af hoe goed het gaat werken en wat de foutmarge is. Want als ik het zo begrijp herkent de software een persoon op de voorgrond, en kan het bijv. de achtergrond verwijderen. Zoals gezegd zal er vooral voldoende licht moeten zijn om een mooi resultaat te krijgen. Maar wat is voldoende licht? En hoeveel contrast heb je nodig tussen bijv. jou t-shirt en de achtergrond. Neem aan dat niet elke streamers een studio-lamp op zijn kamer heeft staan.

[Kid_Stevie]

Vroeg me dit ook af. Dit ziet er heel goed uit, maar dit is natuurlijk de perfecte setting. Al zal de AI ook gebruikmaken van beeld wat beweegt (persoon) en wat stilstaat (achtergrond). Zodra er een kat door beeld loopt zal hij er misschien meer moeite mee hebben.

Maar buiten dat, zou ik dit ook wel toegevoegd zien worden aan video edit software (van bijvoorbeeld Adobe).

[jqv]

Het ziet er niet alleen goed uit door de perfecte setting. Het is hoogstwaarschijnlijk ook achteraf bewerkt.

En niet vergeten. Het filmpje komt van Nvidia...

[crazylemon]

...en...volgens mij is dit juist een oplossing om er anders uit te zien... online tenminste... en... mocht je dat nodig vinden.

[Tweaking Art]

Ik heb zelf een 2070 Super in mijn pc zitten, het is eigenlijk al wat ik dacht, deze nieuwe kaarten zijn vooral voor streamers interessant.

Als de ai greenscreen goed werkt zal ik hem zeker gebruiken.

[peerke1987]

Dat lijkt mij niet..

quote
De RTX Broadcast Engine maakt gebruik van de Tensor-cores die in de RTX-videokaarten van Nvidia zitten. De software is speciaal gemaakt voor streamers en introduceert een aantal functies die aangedreven worden door artificiële intelligentie.

[mOrPhie]

Dat maakt het persoonlijk. Iemand uiterlijk doet daar niets aan af.

[SinergyX]

Als je kijkt naar wat populair is op twitch/streaming, dan zie je toch duidelijk dat de 'opmaakpopjes' aardig stukje populairder zijn dan 'mainstreams', mag misschien geen negatief effect hebben, maar in positieve vorm is dit zeker aanwezig

[Cowamundo]

Maar kijk je dan om de streamer of het gene dat gestreamed wordt?
Leuk hoor een mooie vrouw in beeld maar als (in mijn geval) de game niet interessant is of niet op een manier gespeeld wordt dat ik leuk vindt haak ik toch echt af.

[daellat]

Pardon? sommige van die popjes kunnen er wel van leven ja maar de populariteit van dr disrespect, asmongold, ninja, summit1g, etc, daar kunnen die popjes toch echt niet aan tippen met rustig een factor 5, vaak meer.

[rickboy333]

Om dezelfde reden waarom jij televisie kijkt en niet naar een hoorspel luisterd.

Het maakt een stream iets persoonlijker. Je ziet Iemand en daar focus je mee op als persoon.

Verder vinden we reacties van andere mensen kijken leuk. Met alleen een mic is het heel makkelijk om je emotie te verbergen, terwijl je bij een webcam kan zien wat die persoon doet. Eventuele uitleg van een streamer is dan ook duidelijker omdat je de gebaren van die persoon ziet. (Lichaamstaal zegt meer dan woorden).

Het is een soort pychologish dingetje wat wij mensen doen en willen. Een logische verklaring is er niet echt (behalve reacties kijken). En natuurlijk is het voor de streamer ook voordelig omdat hij of zij daardoor "een bekend gezicht word". En natuurlijk het voeden van het zelfnarcisme.

[Sgraansma]

Je gebruik van het woord "we" vind ik nogal opmerkelijk.
Ik als individu erger me namelijk mateloos aan streamers en behoor tot de categorie die liever het spelletje zelf speelt dan kijkt hoe een willekeurig iemand online het speelt.

[QinX]

omdat emotie met alleen geluid vaak niet overkomt.
Ga jij kijken naar iemand die een horrorgame speelt en je hoort alleen maar AAAAAHHHH. of wil je dan ook zijn/haar gezicht zien?

[redbullzuiper]

Ik denk dat mensen het ook wel fijn vinden om het gezicht achter de stem te zien.

Overigens is het niet netjes van je om dat te zeggen. Het gaat er niet om hoe iemand eruit ziet.

[Illegal_Alien]

Dan weet ik in iedergeval dat ik niet de lelijkste ben op aarde...

[Reactie gewijzigd door Illegal_Alien op 23 juli 2024 13:34]

[Jerie]

Dag Leon,

Wat een gezellige reactie. Het is misschien leuk voor je om te weten dat mensen een hoofd hebben; geen kop. Dieren hebben een kop. Streamers zijn (een uitzondering daargelaten) mensen.

De bezoekers van deze website missen blijkbaar iets want jouw foto staat helaas niet in je avatar.

Tenslotte, zoals Margaret Wolfe Hungerford schreef in de 19e eeuw: Beauty is in the eye of the beholder.

Hopelijk voldoet deze uitleg,

@jqv dank voor de aanvulling.

[Reactie gewijzigd door Jerie op 23 juli 2024 13:34]

[jqv]

Paarden hebben een hoofd. Dat is toch ook een dier?

Voor de rest sluit ik me aan bij je opmerkingen.
En nu de kennis waar dat eye of the beholder vandaag komt.

[equit1986]

een paard is een Edel Dier ^^ een uitzondering. niet dat we er veel aan hebben in deze context...

[misterbennie]

"een paard is een Edel Dier"
Alleen voor de paardenliefhebber.
Voor de gemiddelde Nederlander heeft een paard gewoon een kop.
Hier een uiteenzetting hoe e.e.a. werkt

Zelfs spreekwoorden hebben het niet over een paardenhoofd
anderhalve man en een paardekop

Maar we dwalen af, het is inderdaad niet netjes om het over een radio-kop te hebben.
Hoewel menig DJ dit wel bevestigt