Nvidia brengt bèta van RTX Voice-app voor ruisonderdrukking via Tensor-cores uit

Nvidia heeft een bètaversie van de RTX Voice-applicatie uitgebracht. Deze app maakt gebruik van de Tensor-cores in RTX-gpu's om achtergrondgeluiden te filteren uit microfoonopnames. Het programma is compatibel met meerdere chat- en streamingapplicaties.

De gpu-fabrikant meldt in een blogpost dat het bedrijf al langer werkt aan RTX Voice, maar dat men de app zo snel mogelijk wilde uitbrengen omdat veel mensen momenteel thuiswerken vanwege de coronapandemie. De applicatie gebruikt kunstmatige intelligentie via de Tensor-cores in RTX-videokaarten om in real time achtergrondgeluid uit de microfoon te filteren. Het gaat hierbij puur om chatgeluiden. Het programma is dus niet geschikt voor denoising van bijvoorbeeld video's of muziek.

RTX Voice werkt als een soort 'virtueel apparaat'. Gebruikers wordt aangeraden de app handmatig als input- en outputapparaat te selecteren in de ondersteunde applicaties om gebruik te maken van de ruisonderdrukking. Nvidia raadt gebruikers aan om RTX Voice voor speakers alleen in te schakelen 'als dat nodig is'. Vermoedelijk functioneert deze functie dus nog niet geheel naar behoren.

De app is vooralsnog alleen beschikbaar als bèta, waardoor gebruikers in enkele programma's, zoals Slack, Skype, WebEx en Zoom, problemen kunnen ondervinden. De app is verder compatibel met Google Chrome en Discord. Ook streaming-apps als OBS Studio, XSplit en Twitch Studio kunnen met de applicatie overweg.

Afbeelding via Nvidia

Reacties (35)

[Frikandel]

Mochten mensen een alternatief zoeken waar een RTX kaart niet voor nodig is, dan heb je krisp.ai. Dit zit nu standaard in Discord als optie, maar je kan het ook los downloaden. Voor mijn werk is het ideaal, met name door collega's die zoemende laptops hebben wat behoorlijk afleidend is tijdens meetings.

[Kraanmachinist]

Die werkt inderdaad best goed, maar hij zorgde ook voor een boel achtergrondruis/zoem die er anders niet is bij mij. Maar dat is dan een kleine trade-off als je in een drukke omgeving zit.

[xBytez]

Ik heb ook even voor een paar minuten Krisp.ai getest op TeamSpeak. Mijn gesprekspartners merkte direct een drastisch negatief kwaliteitsverschil. Ze hadden liever mijn toetsenbordgeluid terug Mijn mic is een AT2020USB+ condenser mic.

[Kraanmachinist]

Precies, ik heb ook een condensatormic aan een audio interface hangen. Ik denk dat het meer bedoeld is voor webcammicrofoons die gemaakt zijn om alles in de ruimte op nemen.

[5pë©ïàál_Tèkén]

Moesten ze nou per se de term 'RTX' gebruiken? RTX wordt altijd gekoppeld aand Ray Traycing, konden ze niet de term DLSS (2.0) gebruiken voor het AI gedeelte? Dat doen ze op de NVidia webpagina over RTX ook.

[kiang]

DLSS staat letterlijk voor Deep learning super sampling. Super sampling heeft al helemaal niets te maken met deze techniek.

RTX is tenminste de merknaak van de kaarten met tensor cores, due is meer geschikt dan dlss.

[MSalters]

Audio AI nerd hier (serieus, dat is al 6 jaar m'n baan). DLSS is gebaseerd op een convolutionele autoencoder met temporale informatie, volgens NVidia. Dat is absoluut geen gek idee voor dit soort ruisonderdrukking. Wij hebben niet-convolutionele autoencoders getest voor spraakherkenning rond 2016, maar zo goed werkt dat niet. Inmiddels weten we dat convolutionele netwerken daar beter voor werken.

Stukje achtergrond: een autoencoder is een neuraal netwerk wat probeert de input te reconstrueren, maar met de beperking dat er een simplere tussenvorm gemaakt moet worden. 'Dat gaat altijd gepaard met een verlies aan informatie, maar dat verlies kun je gericht trainen. ALs je een autoencoder traint op voorgrondgeluid, en je "accepteert" verlies van achtergrondgeluiden, dan krijg je precies deze app.

[dwizzy]

Dank voor de uitleg! Dan ben jij ook de ideale persoon om mijn vraag aan te durven stellen:

Waarom heeft dit zo veel rekenkracht nodig terwijl mijn Plantronics headset iets vergelijkbaars met een microchipje doet? Toegegeven, daar zullen de microfoons wel een flink voordeel zijn.

[damaus]

eigenlijk geef je zelf al het antwoord, de microfoons. Nu zal MSalters een wat betere uitleg kunnen geven, maar voor zover ik weet is hetgeen dat het microchipje doet, is kijken of een geluid van dichtbij of ver weg komt door tijdsverschil tussen de 2 (of meer) microfoons te meten.

[MSalters]

Uiteindelijk is dat een kwaliteitsissue. Een heel erg simpel filter gooit niet-spraak geluid weg wat boven een bepaalde frequentie zit, maar dat is het soort geluid wat je oren zelf ook al goed kunnen filteren. Dit filter kan ook geluiden filteren op frequenties die overlappen met spraak.

Je kunt dit ook meten door te kijken hoe veel je de STI kunt verbeteren.

[mikesmit]

Het is een buzzwoord heh. Net als dat alles ook blockchain is tegenwoordig

[Scriptkid]

Nee de term heeft al een naam, tensor.

En de kaarten met tensor zitten in de rtx range. Dat die kaarten ook rt cores hebben is bijzaak in deze

[hiostu]

RTX Voice functioneert als 'virtueel apparaat'. Gebruikers moeten de applicatie handmatig selecteren als input- en outputapparaat om gebruik te maken van de ruisonderdrukking.

Waarom is het dan maar compatible met een aantal applicaties? Als het gewoon een virtuele microfoon is, dan is het toch gewoon direct te gebruiken in alle applicaties die microfoon input kunnen selecteren?

[AverageNL]

Je moet RTX Voice ook specifiek als input- en outputapparaat selecteren in de applicatie zelf. RTX Voice werkt dus als virtueel apparaat, maar doet het alleen in ondersteunde apps. Ik zet dat er even bij

[Reactie gewijzigd door AverageNL op 22 juli 2024 14:32]

[hiostu]

Als het als virtuele microfoon werkt, dan werkt het gewoon in alle applicaties, niet een selectief aantal. De microfoon zelf ziet namelijk niet door welke app hij gebruikt wordt. Als ze het gewoon als driver hebben geschreven dan is er ook geen reden om applicatie specifieke support te schrijven, dat doet namelijk een hardware microfoon ook niet.

[Verwijderd]

"We support" en "our product supports" betekenen net wat anders.

Praktisch gezien betekent het in dit context dat Nvidia niet gaat reageren op issues met non-supported applicatie, ook al werkt het wel 99% van de tijd bijvoorbeeld.

[StefanJanssen]

Ze gebruiken zelf de term "supported" oftewel waar ondersteuning voor gegeven word en zodat ze niet elke klein probleem in elk software pakket hoeven op te lossen.

[waseland]

Gebruik het nu een dagje, moet zeggen.. Op discord werkt het echt enorm goed. Als ik 10 centimeter van mijn microfoon klap dan pakt hij het niet eens op.

Sterker nog... Als ik 10 centimeter van mijn microfoon klap terwijl ik praat is er eigenlijk nog steeds niks van te horen. Goede technologie!

[Jelle Brolnir]

Zelf merk ik dat hij heel af en toe mijn stem niet oppakt. Dan gebeurt dat pas in de loop van de eerste twee drie woorden. Zonder heb ik dat niet maar dan kan ik niet net wat harder tikken want dat horen anderen dan ook (mechanisch toetsenbord) dus het is een tradeoff.

[waseland]

Hmm, daar heb ik eigenlijk niet echt last van... Heb bij Discord mijn spraakgevoeligheid wel lichter staan dan default.

[teun2408]

Ik heb hem zojuist getest, het werkt zeer goed. Zo was klappen een paar centimeter van de mircefoon niet meer te horen. Ook werkt de omgedraaide versie dan bijvoorbeeld al het geluid van andere mensen gefilterd kan worden ook goed. Zo hoorde ik het achtergrond geluid van andere mensen in discord niet meer terwijl de rest in het gesprek deze wel hoorde.

Echter is ook vrij zwaar. Het gebruikt bijna 1.2gb van mijn ram, 10% van mijn cpu (3700x) en gebruikte dan de gpu zelf natuurlijk ook nog. In totaal ging ik van zo 60fps in rdr2 naar 50. Dus het is zeker leuke technologie, maar niet om standaard aan te hebben staan.

[RMYuma]

Het neemt hier ook bijna 1,2GB geheugen in beslag. Gelukkig heb ik 32GB, dus dat boeit niet.
Mijn CPU-verbruik is echter slechts 0,7% (Ryzen 7 3800x).

[teun2408]

Het ram is voor mij inderdaad ook niet zo probleem met 32gb. Ik denk dat het een bug was dat die daarnet op 10% cpu usage zat. Ik heb hem namelijk zojuist nog een keer geprobeerd (bij het versturen en ontvangen) en staat nu op 1.6% dus dan valt het nog wel mee.

[Visgek82]

De mic ingang op mijn X-fi Titanium is erg goed, dus dit soort dingen niet nodig. wel grappig om te zien dat iets wat gemaakt is om het beeld "beter" te maken nu ingezet wordt om achtergrondruis uit een microfoon signaal te halen...ach, is het tenminste nog ergens goed voor

Wel mooi als je er iets aan hebt in de praktijk, dat zeker!

[g0tanks]

De mic ingang op mijn X-fi Titanium is erg goed, dus dit soort dingen niet nodig.

Volgens mij mis je de functie van het programma. De kwaliteit van jouw microfooningang gaat niet achtergrondgeluiden wegfilteren zoals het getik op een toetsenbord of pratende mensen, iets wat RTX Voice dus wel doet.

[Visgek82]

verkeerd gelezen dan blijkbaar

[Reactie gewijzigd door Visgek82 op 22 juli 2024 14:32]

[Von Henkel]

Dit is wel iets om in de gaten te houden.
Op dit moment gebruik ik Voice meeter hiervoor

[Youqi]

Ik vraag me af hoe je voicemeeter hiervoor gebruikt. Ik snap namelijk helemaal niets van dit programma

[Von Henkel]

In Voicemeeter heet het "Audibilty" waarmee vrijwel alles eruit te filteren is
Op youtube vind je wel de instellingen als je niet precies weet hoe.
Als je de microfoon geselecteerd hebt bij hardware input kun je met het verschuiven van de "Rode punt"
ook meer bas of hoge tonen toevoegen.
Ook dat is een fijn extra wat veel software pakketten niet hebben

[Youqi]

Thanks! Ik zal er naar kijken

[Joao]

Net geinstalleerd, zie dat 1.1GB aan memory gebruikt... Heb inmiddels feedback ingestuurd, wellicht een memory leak.

[Verwijderd]

Werkt dit goed? Gezien Realtek chips nog wel eens wat achtergrondruis hebben lijkt dit een mooie oplossing. 'al hebben de meeste voicechat programma's al een noise reduction feature.

[kipsofthemud]

Voor mij en de mensen met wie ik op discord praat werkt dit ontzettend goed, heb het vanmiddag goed kunnen testen. Ik heb een luidruchtig Cherry MX blue toetsenbord en 2 babbelende valkparkieten en mijn toetsaanslagen zijn niet langer hoorbaar de valkparkieten en hun getsjilp worden ook 9 van de 10 keer weggefilterd! Mooie feature