Nvidia brengt Chat with RTX-demo voor maken van gepersonaliseerde AI-chatbot uit

Nvidia heeft een vroege versie van Chat with RTX uitgebracht. Gebruikers kunnen met die demosoftware een gepersonaliseerde AI-chatbot draaien op hun pc. De chatbot werd eerder dit jaar al aangekondigd tijdens de CES-beurs in Las Vegas.

Chat with RTX is per direct te downloaden op de website van Nvidia, zo bevestigt het bedrijf in een blogpost. De software is beschikbaar voor gebruikers met een RTX 30- of RTX 40-gpu met tenminste 8GB videogeheugen. Het systeem van de gebruiker moet daarnaast over minimaal 16GB ram beschikken en Windows 11 draaien.

Nvidia kondigde Chat with RTX in januari al aan. Het bedrijf zei toen dat de software later die maand beschikbaar zou komen, maar dat werd uiteindelijk half februari. De tool is gebaseerd op een groot taalmodel van Nvidia, dat gebruikers lokaal kunnen draaien. Ze kunnen het taalmodel 'verbinden' met hun eigen data, waarna de chatbot daarover vragen kan beantwoorden.

Gebruikers kunnen de software bijvoorbeeld voorzien van lokaal opgeslagen tekstdocumenten, pdf's en XML-bestanden. Het is ook mogelijk om URL's van YouTube-video's en -afspeellijsten in te voeren in de software, waarna de software transcripten van die video's downloadt. De bot kan die verschillende gegevens analyseren en vervolgens kunnen gebruikers daar vragen over stellen. De demo draait lokaal en gebruikt daarvoor de Tensor-cores in de RTX-gpu.

Chat with RTX beantwoordt vragen over een YouTube-video. Bron: Nvidia

Reacties (39)

[Inflatable]

Leuk dacht ik om even te proberen.. Maar toen las ik dat je de AI zelf moet voeren met data.. Tja, daar heb ik niet zoveel aan dan dus.. Komt op mij over als een soort van veredelde zoekmachine, die antwoorden in elkaar frutselt uit broninformatie die je hem zelf geeft..

[Larssss]

Dan is het meer een gevalletje, in theorie lijkt het heel leuk, maar de gemiddelde gebruiker heeft er niks aan. Ik neem aan dat bedrijven die chatbots gebruiken al hun eigen toepassingen hebben. Dus wie is eigenlijk de doelgroep hiervoor?

[joost00719]

Het is dan ook niet voor niets een demo

[gerwim]

AI zelf vullen? Ik zie in de screenshot dat ze kiezen voor het 'Mistral' model. Dit is een pretrained model.

Voor de mensen die zelf een LLM willen draaien (zonder een Nvidia tool te moeten gebruiken), kijk dan eens naar: ollama of LM studio

[Pallas]

Of https://jan.ai/

[Erpenator2]

Ik heb LM studio uitgeprobeerd, maar de antwoorden waren echt heel erg slecht. Misschien ligt het aan de hardware of aan de config, maar kon de oorzaak niet echt vinden. Op welke hardware draai jij e.e.a?

[gerwim]

Welk model heb je gekozen? Probeer eens bijvoorbeeld Mixtral (of Dolphin-Mixtral).

[Erpenator2]

Ik heb https://huggingface.co/s3nh/Llama-2-13b-chat-dutch-GGUF en https://huggingface.co/TheBloke/Llama-2-13B-Chat-Dutch-GGUF geprobeerd.

Een van de inputs was om entities uit een stukje tekst weer te geven om uit te proberen en de andere input was om spelfouten uit een tekst te halen. In beide gevallen kreeg ik bijna letterlijk mijn eigen prompt terug of iets compleets willekeurigs.

Ga nu jouw modellen eens proberen, dank je wel voor de tip!

[HKS-Skyline]

Je kan chatgpt vragen of hij een scriptje kan schrijven om je RTX chatbot met relevante data te voeren

[Cergorach]

@ChatGPT Bro, can you teach Chat With RTX some LLM?

[Byron010]

Totaal ander doel eigenlijk, in plaats van dat iedereen z'n eigen chatbot ontwikkelt van scratch kan je als bedrijf nu een chatbot maken die specifiek op jouw data getraind is. Zonder dat je het wiel opnieuw hoeft uit te vinden. Je voorziet hem van je eigen dataset en hebt zo een chatbot die je kan embedden in je product.

(ik heb niet gekeken naar de voorwaarden of gebruiksrichtlijnen)

[Royale de Luxe]

Inderdaad, en dan ke bvb npc’s bouwen die wel antwoorden binnen de wereld die je bouwt. Bvb Hogwarts Legacy NPC’s die met je klappen over hun wereld ipv daar wat super gelimiteerde teksten die ze nu hebben.

[SPee]

Kun je niet een bestaand model gebruiken die je ergens download?
B.v. van HuggingFace.

[benjidotsh]

Zover ik het begrijp moet je de AI niet zelf voeren met data, maar kan je de AI voeren met data om gepersonaliseerde resultaten terug te krijgen.

[Wozmro]

Wat ik mij afvraag:

Bijvoorbeeld op tweakers heb je verschillende forumdebatten over maatschappelijke onderwerpen. Denk aan: saldering, Oekraïne, duurzaamheid,...

Zou je al die debatten kunnen laten analyseren door een AI en daaruit dan vragen kunnen stellen, conclusies trekken, grafieken opmaken,...?

[Orangelights23]

Ja. Sterker nog, dat doe ik al. Wel met andere websites en GPT4, maar ik kan voor mijzelf veel meer informatie verwerken welke voor mij relevant is op deze wijze.

[Sjaak098]

Ik ben wel benieuwd. Wat doe je dan concreet? Wat voor informatie verkrijg je dan?

[Orangelights23]

Ik moet voor mijn werk door vele rapporten lezen bijvoorbeeld. Staan allemaal online, management samenvatting is vaak net te high level. In dit geval upload ik het rapport, vraag ik wat de belangrijkste punten zijn waarbij de management samenvatting buiten beschouwing gelaten wordt en vraag ik vervolgens door.

Of ik moet een intern rapport opstellen, waarbij ik vele hoeveelheden (online) data moet vergaren. Dan doe ik hetzelfde + vragen om specifieke output zoals excel data tables. Ik ben puur en alleen hierdoor op wekelijkse basis al een paar uur kwijt aan alles handmatig doen.

[Zoijar]

Ja. Dat is het hele punt

[meowmofo]

Weet iemand waarom dit niet op Windows 10 draait? Is er iets specifieks in Windows 11 wat gebruikt wordt wat niet in Windows 10 aanwezig is?

edit:
Heb het inmiddels kunnen testen, werkt inderdaad prima op Windows 10. Lijkt er niet zo bijzonder veel aan te hebben op dit moment, geloof dat GPT4All beter werkt.

[Reactie gewijzigd door meowmofo op 23 juli 2024 08:02]

[Alxndr]

Stik, daar las ik dus overheen. Volgens mij wil ik nog steeds geen Windows 11

edit: @AverageNL @meowmofo ik lees op Reddit dat het wel zonder problemen op Windows 10 draait

[Reactie gewijzigd door Alxndr op 23 juli 2024 08:02]

[mbr]

Op deze pagina staat dat windows 10 ook ondersteund is:
https://blogs.nvidia.com/blog/chat-with-rtx-available-now/

In addition to a GeForce RTX 30 Series GPU or higher with a minimum 8GB of VRAM, Chat with RTX requires Windows 10 or 11, and the latest NVIDIA GPU drivers.

Maar op deze pagina staat dat alleen windows 11 ondersteund wordt: https://www.nvidia.com/en...t-with-rtx-generative-ai/

[Alxndr]

Ik kom ondertussen ook op veel meer plekken de vermelding van Windows 10 tegen.

Maar gezien er op de in het artikel gelinkte officiële pagina alleen Windows 11 staat, leek het me een waardevolle toevoeging.

[Wolfos]

Windows 10 is dit jaar end of life, dus hoewel de meeste applicaties nog wel werken zal de ondersteuning langzaam uitgefaseert worden.

[nzall]

Ik vraag me af of er hier ook beperkingen op zullen zitten betreffende de toegestane onderwerpen.

[dyrc]

35gb download om te kijken of ie sneller is dan m'n windows search functie, leuk probeersel.
Fijn ook om 't lokaal te kunnen draaien (zonder veel gefruts), als het qua gebruiksgemak op hun Canvas of Broadcast lijkt dan is dit precies in m'n straatje (installeren en gaan met die banaan).

[fuse.core]

Heel blij om dit te zien. Ik ben langzaamerhand een data hoarder aan het worden, lijkt me heel handig in de toekomst.
Al mijn likes op Twitter met media aan het scrapen, technische discord servers chat scrapen etc. Data gaat belangerijk zijn. Vooral data die waarschijnlijk nog voornamelijk AI vrij is en de muurtjes nog niet omhoog zijn.

[Reactie gewijzigd door fuse.core op 23 juli 2024 08:02]

[BramVroy]

Vanuit een technisch perspectief lijkt dit niet zo speciaal. Het is eerder een wrapper rond hun TensorRT-LLM library. Dat brengt NVIDIA optimalisaties om snellere output te genereren met LLMs. De demo draait dus meer om die library in de verf te zetten (marketing) dan om de interface zelf. De interface lijkt een simpele Gradio, en RAG is met de huidige tools (à la Haystack, LangChain, andere retrievers/pipelines) ook niet moeilijk meer om op te zetten.

Ik denk dus dat het doelpubliek eerder gericht is op gamers die net niet de technische kennis hebben om zelf een pipeline op te zetten (te programmeren) maar die al wel een dikke videokaart hebben en wel enige curiositeit hebben naar LLMs. Misschien ook voor (kleine) bedrijven die zelf niet de expertise in huis hebben om dit op te zetten maar wel een kleine server of work station ter beschikking hebben staan.

[junkchaser]

In hoeverre respecteert de tool je privacy? Zou niet leuk zijn als je gevoelige info aan zou bieden als trainingsdata en dan moet vaststellen dat het op straat ligt...

[dyrc]

Als ik 'm opstart geeft ie onderstaande in de cmd:

Running on local URL: http://127.0.0.1:28547
To create a public link, set `share=True` in `launch()`.

ook staat er ergens op de website bij de uitleg van RAG het volgende:
PCs equipped with NVIDIA RTX GPUs can now run some AI models locally. By using RAG on a PC, users can link to a private knowledge source – whether that be emails, notes or articles – to improve responses. The user can then feel confident that their data source, prompts and response all remain private and secure.

de boel lijkt dus default local te draaien en niet naar buiten te schieten, in ieder geval in deze versie....

[junkchaser]

Klinkt alst hoopvol! Maar zeker goed opgemerkt: altijd waakzaam blijven voor updates.

[DJ Henk]

Of gewoon ollama + ollama-webui installeren en dan vrij alle models downloaden die je wilt. ook de ongecensuereerde. En alles blijf op je eigen computer.

[Reactie gewijzigd door DJ Henk op 23 juli 2024 08:02]

[junkchaser]

Cool, dank je voor de tip!

[StGermain]

Zo lang ik het ding maar als Jarvis kan aanspreken

[Davaretta]

Bedankt voor de tip, gaan we even proberen!