WSJ: VS overweegt DeepSeek uit Amerikaanse appwinkels te laten halen

De Amerikaanse overheid overweegt verschillende maatregelen tegen de Chinese AI-tool DeepSeek, schrijft The Wall Street Journal. Zo wordt de app op overheidsapparaten mogelijk verboden en wil de VS de app wellicht uit de appwinkels laten halen.

De regering-Trump vreest dat DeepSeek een bedreiging vormt voor de nationale veiligheid, meldt The Wall Street Journal op basis van anonieme bronnen. Het zou voor de overheid niet duidelijk zijn hoe het Chinese bedrijf omgaat met gebruikersgegevens en wie er toegang toe hebben. Dergelijke gegevens worden volgens DeepSeek in servers in China opgeslagen.

Het is volgens de bronnen van de krant 'waarschijnlijk' dat de regering alle ambtenaren gaat verbieden om DeepSeek te installeren op overheidsapparaten. In sommige Amerikaanse overheidsafdelingen en in bepaalde staten is er al zo'n verbod. Ook in Nederland mogen ambtenaren de app niet op hun werktelefoon gebruiken.

De VS overweegt naar verluidt ook om de app volledig te verbieden, waardoor deze niet langer aangeboden mag worden in de Amerikaanse appwinkels, al bevinden de gesprekken hierover zich volgens de WSJ nog in een vroeg stadium. Begin dit jaar werden TikTok en andere apps van moederbedrijf ByteDance ook omwille van de nationale veiligheid uit de Amerikaanse appwinkels gehaald, hoewel Trump de handhaving van de wet kort daarna 75 dagen heeft uitgesteld om een koper voor de Amerikaanse tak van de videoapp te vinden.

De overheid zou mogelijk ook 'beperkingen' willen instellen tegen Amerikaanse bedrijven die de opensourcemodellen van DeepSeek aanbieden aan klanten. Onder meer Perplexity host een aangepaste variant van DeepSeeks R1-model op Amerikaanse servers, waardoor er volgens het AI-bedrijf geen data naar China wordt verstuurd. Het is onduidelijk wat voor beperkingen de VS zou overwegen. Ook deze gesprekken zijn naar verluidt nog niet vergevorderd.

Reacties (97)

[blinchik]

Ik begrijp dat men niet wil dat er data naar China wordt gestuurd. Maar de open source niet mogen gebruiken, waarbij je zelf kan controleren welke data waar zit, is te gek voor woorden.

China beweerde dat men veel minder processorkracht nodig had om data te trainen via dit model. Daar kon je wel kritische vragen bij stellen, maar als men wil verbieden dat men de Chinese opensource code gebruikt, is het misschien toch wel waar en is het een paniekvoetbal van de VS...

[meowmofo]

Ik kan helaas de CCC-talk van afgelopen CCC (hackers/security)conference niet direct vinden, maar hier zat een interessante tussen over AI modellen die je zelf kan draaien. Die bestanden zijn zo enorm complex, dat het bijna niet na te gaan is of ze nu eigenlijk wel veilig zijn, en of er niet toch ergens op een slimme manier iets in verstopt zit. Wat dat iets is, dat kan van alles zijn, eventueel triggered door een 'tijdbom' of andere mechanisme. Dus zomaar roepen dat je zelf kan controleren wat het model doet, of wat het bestand eventueel kan, is veel te kort door de bocht, en eigenlijk dus meer theoretisch dan praktisch waar.

[Reactie gewijzigd door meowmofo op 9 maart 2025 14:17]

[Appel105]

Als je via bv ollama deepseek download en draait, dan download je toch alleen de gewichten en wat info over de configuratie, en vervolgens draait een ander stuk (open-source) code (llama.cpp) je model.

Enige serieuze risicio lijkt mij dan dat het model zo getraind is dat het bepaalde kwaadaardige reacties geeft bij specifieke prompts (bv, als het model gebruikt wordt om direct acties op een machine uit te voeren).

[m8ZBm1Si]

Dat denk ik dus ook, maar beveiligingsexperts zeggen dat dat niet zo is.

[hawke84]

Ik heb zelf Deepseek geinstalleerd (8b en 14b) op een machine via Ollama. Model werkt offline (actief getest) en stuurt geen requests uit bij direct gebruik. Wordt gegoten in de mal van Ollama en aangeroepen via Python. Zit niet eens een session-token requirement of login aan vast.

Ben eerlijk wel benieuwd naar de uitleg van een expert hoe deze data dan toch in China belandt.

[Lawine93]

Er zijn heel veel manieren, bijvoorbeeld dat data wordt verstuurd op het moment dat je verbinding maakt met internet of op bepaalde vaste of juist random momenten. Het kan ook zijn dat een ander programma data van het model zoekt en doorstuurt.

Als je de pc nooit aan het internet hangt wordt het moeilijker. Maar hoeveel % van de gebruikers zou dat ook echt doen?

[djwice]

Bij ollama zit het model in een Docker container die door ollama wordt gestart en gestopt.

Hoe gaat een matrix met cijfers en vectoren met cijfers met een mapping naar deel-woorden, zelfstandig contact maken met internet vanuit een container die op je schijf staat, op elk systeem geknipt onder een andere UUID.

[NielsFL]

Lijkt me een kwestie van tijd. Kletsen met een LLM is leuk, maar de echte kracht ligt toch bij de integratie met andere systemen.

[djwice]

Het systeem maak je zelf, dus jij bepaalt hoe en op welke manier je de koppeling via je eigen software interface (application programming interface: API) maakt.

Uiteraard moet je goede input validatie toe passen op de API waarvoor je de aanroep parameters door de AI laat genereren.

[Reactie gewijzigd door djwice op 9 maart 2025 22:22]

[m8ZBm1Si]

de uitleg van een expert hoe deze data dan toch in China belandt.

Dat is niet wat gezegd wordt. Er wordt gezegd dat code execution mogelijk is als je een model draait. Of dit klopt, weet ik niet.

Het 'data belandt in china' is alleen in de app.

[meowmofo]

Even ter verduidelijking, er werd niet gesteld dat men al zulk misbruik heeft vernomen. Er wordt gesteld dat door de enorme complexiteit van de files je niet kan toetsen dat het niet zo is.

[the_stickie]

Dat geldt natuurlijk voor alle ietwat complexe software. Mocht de US alles uit appwinkels gaan verbannen wat niet transparant is en "dus mogelijk kwaadaardig", blijft er al snel niet veel meer over denk ik...

[RPS13]

Hoezo, er zit toch geen code in? Het zijn gewoon weights. (als we het over safetensors / gguf hebben)

[Reactie gewijzigd door RPS13 op 9 maart 2025 18:54]

[Recursio]

Nou is dat ook een vorm van code (zie het als iets vergelijkbaars met variabelen / constanten definieren), maar wat daarmee gedaan wordt ligt aan andere delen van de code; die wordt niet in het model bewaard.

[djwice]

Ik was niet op de CCC en ken de argumenten die gebracht zijn niet.

Wel weet ik dat DeepSeek in het safetensors bestandsformaat wordt aangeboden. En dat op dat bestandsformaat de volgende security audit is gedaan:
https://huggingface.co/blog/safetensors-security-audit

Je hebt daarmee dus zelf in de hand wat je toestaat wat het model mag en doet:
* Toegang tot bestanden?
* Toegang tot internet?
* whitelist proxy?
etc.

Het bestandsformaat (lees de audit) voorkomt heel veel vervelende aanvallen.

Voor elk stukje code dat je van een AI-model (of een andere programmeur) krijgt is het verstandig deze eerst te valideren voordat je het gebruikt. Was dat de waarschuwing in de CCC? Of waren er ook andere concerns?

[Reactie gewijzigd door djwice op 9 maart 2025 22:26]

[HollowGamer]

Kan je bij het ophalen niet standaard controleren of het veilig is?

Ik ben een voorstander van veilig de database in, veilig de database uit. Maar er zijn mensen die zeggen dat je prima iets dat onveilig is (bijvoorbeeld <script>..</script>) in je database kan opslaan, als je het bij de output ervan maar beveiligd (e.g. sanitize).

Maar zoals gezegd, ik kies liever voor beide.

[aikebah]

<script>..</script> is helemaal niks onveiligs aan, dat gewoon wat platte tekst.... totdat je het wilt gaan samenvoegen met andere strings om een html-bestand te fabriceren, dan ontstaat het risico van embedded code in de HTML die door de browser uitgevoerd zal worden tenzij je maatregelen neemt.
In een plain xml datadocument kun je diezelfde script tag probleemloos opnemen, in een XML bestand dat een config vormt voor een framework dat config-gestuurd scripts uitvoert die in een script-tag staan is dat niet langer het geval, maar is je validate/sanitize waarschijnlijk anders dan als het onderdeel wordt van een HTML bestand.

Omdat wat wel en niet veilig is afhankelijk is van de context waar je het gebruikt is het 'waarvoor wordt de string van karakters gebruikt' het bepalende criterium om iets al dan niet onveilig te laten zijn.

Je kunt in de basis een tekst dus niet 'veilig voor ieder gebruik' maken voor je het de database in stopt, je zult die veiligheid moeten beoordelen bij gebruik.

[Gustaaf437]

Dit is een hele theoretisch bewering en zonder bron is er helemaal niks te checken. Ja, sommige modellen kunnen natuurlijk semi-zelfstandig verbinding maken met het internet, maar dat gaat dan altijd via de host. Het model voert zelf niets uit en geeft alleen de host opdracht dit te doen. Dit zou in de host (bijvoorbeeld Ollama) te blokkeren moeten zijn.

[Rixos]

Klinkt nogal speculatief eerlijk gezegd. Laat eerst maar eens wat bewijs zien dat dit zo is.

Ik lees het meer een beetje in de trant van: als het uit China komt dan moet het wel verdacht zijn.

Goed uiteraard om hier altijd kritisch op te zijn. Maar het is nou niet zo dat ik de modellen vanuit de VS enorm vertrouw. Zeker niet sinds de Trump administratie aan de macht is gekomen en hoe vijandig zij zich tegenover de EU opstellen.

Deepseek wordt dan in ieder geval nog open source beschikbaar gesteld. Dus daar heb je in ieder geval de mogelijkheid om zelf nog controles op uit te voeren.

[brammieman]

Die vraag kun je uiteraard stellen bij alle models die er nu zijn. US is ook geen betrouwbare partner meer tegenwoordig en persoonlijk acht ik spionage vanuit de US schadelijker en meer reëel dan vanuit China. Het is een keuze uit twee kwaden.

[Jerie]

Mocht iemand een link hebben naar deze talk dan zie ik die graag. Dat lijkt me wel relevant.

[- peter -]

Ja idd, je kan t model gewoon downloaden en met ollama lokaal runnen. Komt over als iemand die de tech niet begrijpt en denkt dat de data altijd naar China gaat.

[fevenhuis]

Nee, het gaat meer over het feit dat de VS aan de wereld probeert te verkopen dat wij hun AI spullen moeten kopen en China gooit dus roet in het plan.

Al zal spionage m.b.v. AI ook wel een grote dreiging vormen, het zal toch eerst bewezen moeten worden alvorens wilde beschuldigingen gewoonweg als bewijs te gebruiken.

[satya]

Precies, daar zit de pijn. Nogal wat coders zijn verhuisd naar DS als backend vanwege de fors lagere kosten.

Nog los van het gegeven of Amerikaanse servers nog wel betrouwbaar zijn. Gezien de wetteloze staat van het land vind ik van niet.

[Wouterie]

Wij van WC-eend De VS zal uiteraard van mening zijn dat de bedrijven uit de VS het meest betrouwbaar zijn. Wij in Europa (en elders ter wereld) mogen dat inmiddels toch wel wat vraagtekens bij gaan zetten. Het is niet eens de wetteloosheid, maar eerder de totaal andere koers die gevaren kan worden binnen een aantal jaren.

[xxs]

Bij Trump heb je geen bewijs nodig, daat leeft de waarheid in zijn hoofd.

[brammieman]

Trust me bro

[MMaster23]

Denk dat hier vooral verschil word gemaakt tussen de app en het model. De app stuurt je query naar een server, het model draait op die server. Denk niet dat ze tegen het model zijn maar meer tegen de server waar het op draait.

[- peter -]

Er staat dat de hosting van t model op een US server ook aangepakt word mogelijk.

[Mathijs Kok]

Ja idd, je kan t model gewoon downloaden en met ollama lokaal runnen. Komt over als iemand die de tech niet begrijpt en denkt dat de data altijd naar China gaat.

En dat is precies wat de app uit de appwinkels doet. En daar gaat het verbod en het Tweakers artikel over.

[SuperDre]

Lees het artikel nog eens, dan lees je dat men ook wil kijken om het gebruik van het opensource model op eigen amerikaanse hardware aan banden wil gaan leggen.

[Nimac91]

Mijn onpopulaire mening dus niet downmodden als je het er niet mee eens bent. Gewoon de discussie aan gaan:
Nee, ik kan absoluut niet begrijpen waarom er geen data naar China kan. Het is gewoon complete onzin deze heksenjacht. TikTok, DeepSeek, het boeit helemaal niet of het China is. Het is gewoon een ongelooflijk dom argument wat het westen sinds 2020 is gaan roepen door iets wat Trump vond. Trump gebruikt het als politiek middel voor macht. China kan werkelijk niks nuttigs met de data en de prompts die wij DeepSeek geven. Het boeit gewoon totaal niet. China kan ook werkelijk niks met de TikTok filmpjes die wij kijken. Wil je niet dat je gezicht geindext wordt. Maak dan geen Facebook of Instagram profiel aan of maak een tijdmachine en ga 50 jaar terug de tijd in.

Het is gewoon niet langer acceptabel om maar onzin te roepen over China zonder hier werkelijk een punt bij te hebben. Waarom geef ik al mijn data aan Amerika met een president als Trump die zich ook wil afstanden van de EU? Ik vertrouw mijn data meer bij China dan bij Amerika momenteel. Het is te gek voor woorden om nutteloos frictie te maken tussen landen waar de hele wereld van afhankelijk is. Feit is dat niet alles in eigen land net zo goed en kwalitatief gemaakt kan worden. China is een geweldige handelspartner voor de hele wereld. Ook Nederland heeft China nodig en zeker de bevolking in Nederland heeft China nodig als ze nog enigzins koopkracht willen hebben in 5 jaar.

Ik ben blut verdomme omdat alles duurder wordt in NL, en dan gaan we het voor geen enkel goeie reden nog erger maken. Ophouden met die nutteloze tradewars en data angst. Waar komt die belachelijke angst vandaan. Wat denk jij dat China uberhaubt kan doen met die data? Door verkopen?? Dat doet Amerika al lang en anders verkoopt Amerika die data ook gewoon door naar China...

De wereld draait om geld, en data draait om ad targetting. Als er goeie scherpe wetten komen tegen Politieke advertenties dan is het niet nodig om zo angstig te doen over wie welke data ontvangt. En als dingen als Pass-Key's en betere beveiliging een centralere positie krijgen is de angst voor gehacked worden ook een stuk minder.

[Faalangst_26]

Het voornaamste verschil tussen Amerika en China is dat China een autoritaire politiestaat is geworden, en Amerika (nog) niet.
Ik ben het absoluut met je eens dat het schrikken van Chinese software maar vervolgens doodleuk gebruiken van Amerikaanse software een beetje hypocriet is. Maar het zomaar accepteren dat "privacy toch niet meer bestaat" vind ik wel heel makkelijk. Het is allang duidelijk dat niet alleen China, maar ook Rusland probeert om verkiezingen in andere landen te beinvloeden. Als je een verkiezing wil beinvloeden is het best handig als je bijvoorbeeld op een app als TikTok het algoritme een beetje kan bijsturen. Helemaal handig als je ook voor alle gebruikers een beetje een profiel hebt opgebouwt, zodat je nog gerichter kunt beinvloeden.

Dat China op dit moment een goede handelspartner is zegt niks over de toekomst, Amerika was immers altijd ook een trouwe handelspartner. Als handelen met de EU China op dit moment goed uit komt, doen ze dat. Als dat morgen ineens anders word, kunnen we weinig liefdadigheid verwachten.
Ik denk dat globaliseren over het algemeen een goed idee is, om er voor te zorgen dat iedereen een beetje afhankelijk van elkaar is, om ruzie op het wereldtoneel te voorkomen. Ik denk echter ook dat de balans een beetje te ver is doorgeschoven vanuit Europees perspectief, wij zijn heel afhankelijk van China, maar zij niet zo van ons.
Ik ben het dus met je eens dat we niet zomaar argeloos onze gegevens aan de Amerikanen moeten geven, maar om dan te zeggen dat het geen kwaad kan om het aan de Chinezen wel te gunnen, gaat weer te ver de verkeerde kant op.

Ik zie vooral toekomst in federatieve systemen zoals Mastodon, Lemmy of Matrix. De macht op het internet moet niet bij de grote partijen liggen, zij het Amerikaans of Chinees.

[dmantione]

Je moet je altijd bewust zijn wat je uploadt naar wie. Een vertrouwelijk contract door Deepseek laten vertalen is net zo naïef als het door ChatGPT te laten vertalen. Zowel V.S. als China doen immers aan industriële spionage.

Aan de andere kant: Ik heb Deepseek deze week een Sallen-Key-filter laten ontwerpen Als de Chinezen hun tijd willen verdoen om dat te gaan lezen (in het Nederlands) dan doen ze dat maar. Dat soort zaken kan je prima naar China sturen, geen enkel probleem. Ik zou eerder zeggen dat ik kennis uit China gehaald heb dan dat ik er iets naartoe gebracht heb.

[DJ Henk]

Het is niet heel moeilijk om een scenario te bedenken waarin deze informatie voor de Chinezen toch nuttig is.

Uit het combineren van de verschillende query's krijgen ze een heel goed beeld van waar jij op dit moment mee bezig bent. Dat kan op persoonsniveau interessant zijn, want misschien maakt je dat wel kandidaat voor gerichte spionage. Die gerichte spionage kunnen ze vervolgens veel makkelijker uitvoeren omdat ze al zoveel van je weten. Ook als je niet interessant bent help je ze, want dat maakt duidelijker op wie ze zich dan wel moeten richten en verspillen ze geen energie.

Maar ook op grotere schaal is dit nuttig. Door het combineren van de query's van alle Nederlanders krijgen ze een goed beeld van wat de stand van de techniek hier is en hoe vaardig de Nederlanders daarmee omgaan. Dit is nuttig input voor het opzetten van desinformatie campagnes, enzovoort.

[Reactie gewijzigd door DJ Henk op 10 maart 2025 08:17]

[dmantione]

O het is altijd mogelijk om scenaro's te bedenken en ik twijfel er niet aan dan dat de Chinezen geïnteresseerd zijn in waar Nederlanders mee bezig zijn. Dat is (1) een heel stuk verder gezocht dan direct bij vertrouwelijke informatie kunnen (2) het gaat niet meer om persoonlijke kwesties, maar om groepskwesties.

Vergelijkbaar voorbeeld: Europese modehuizen laten hun kleding in China maken. Zelfs als de Chinese partner zich perfect aan de overeenkomst houdt en kleding niet kopieert, betekent dat toch dat er een hele hoop naaisters ervaren raken met Europese mode en dus ook vaardig raken in het ontwerpen van Europese mode. En dus indirect Chinese webwinkels als Shein en Temu weer in de kaart spelen.

Het is belangrijk je hiervan bewust te zijn, maar ik denk niet dat het een goede reden is om diensten niet te gebruiken: Er is immers een wederzijds voordeel. Ik heb mijn Sallen-Key-filter met minimale moeite ontworpen, als de Chinezen de moeite doen om mee te lezen weten ze dat er Nederlanders zijn met electronicakennis.

Om een Sallen-Key-filter zonder KI te ontwerpen gebruikte ik in het verleden ook wel deze website. Dat is weer handig gebruik maken van de Japanse elektronicakunde.

[magician2000]

Gezien de huidige politieke situatie in de VS, zou ik heel erg voorzichtig zijn met een uitspraak als deze. In mijn boek is de VS net zo min te vertrouwen als China in deze. Kijk alleen maar waar Musk met zijn groezelige vingertjes allemaal aanzit op dit moment.

De VS staat nu in hetzelfde rijtje als China, Rusland, Iran en Noord-Korea.

[loveson]

Ik denk dat profiel opbouw en dus om je te laten zwichten voor wat dan ook op basis van angst en alle andere markers die ze van je hebben . Wel een serieus gevaar kan vormen . Zoals met cambridge Analytica ia gebeurd

[kodak]

Het lijkt meer om het selectief verbieden te gaan dan om een duidelijke ondergrens in hoeverre organisaties en hun gebruikers controleren en aantonen dat producten en diensten acceptabel risico's geven bij gebruik.

[tw_gotcha]

de opensource code zegt toch niks over de database? of is die ook opensource en zo ja, kun je die wel uberhaupt verwerken om te kijken waar je gegevens zijn?

en er is zeker paniekvoetbal in de VS, dat zie je aan alle berichten

[mutsje]

Een onderzoeker op linkedin had het op 3 verschillende devices geprobeerd en per device (schoon factory reset) kreeg die penetratie waarschuwingen op zijn firewall. Dus vraag me af hoe veilig deepseek in het wolkje is. Om het thuis te draaien heb je ook behoorlijke hardware nodig volgens mij?

[Sylvia]

Volgens mij is, vanaf de launch van Deepseek, de hele technische wereld bovenop Deepseek gesprongen en heb ik dit niet eerder gehoord. Dat 1 onderzoeker dit zegt bewijst natuurlijk niet veel. Kom met een link naar het onderzoek en de betreffende “onderzoeker” of stop met deze reactie te plaatsen.

Zelf heb ik totaal geen bal verstand van AI of Deepseek dus vraag mij vooral niet maar aan “geruchten” heeft niemand iets.

[Khrome]

Was het een Amerikaanse onderzoeker?

Verder kun je deepseek draaien met een GPU van 8GB volgens mij. Dat is tegenwoordig enorm goed betaalbaar.

[GeroldM]

Voor het 400B model heb je inderdaad behoorlijk wat hardware nodig. Of, als je met een (zeer) slome versie van DeepSeek R1 om wil gaan, op Reddit zijn er handleidingen te vinden waarin het personen is gelukt om het 400B model in een computer met 96 GB RAM en een redelijk krachtige CPU (geen GPU) aan de gang te krijgen.

Als je niet het 400B model wil/hoeft te te draaien, dan zijn er zogenaamde 'Distilled' versies van DeepSeek R1 te krijgen. Deze vereisen relatief weinig hardware. Nu gebruik ik op een desktop met een Intel i3 CPU (10e generatie), 16 GByte (enkele module, 2400 MHz), simpele 2,5 inch SATA SSD van 240 GB en geen GPU maar een simpele GeForce 210 video kaartje van NVidia.

Op die machine heb ik de gratis software 'LM Studio' ge-installeerd. In deze software is een zoekmachine voor LLMs ingebouwd. Daarmee heb ik het 'DeepSeek-R1-Distilled-7B-QWen2.5'-model gedownload en opgestart. Rond de 7 tokens per seconde (output) haal ik over het algemeen. Dat is een vrij lage waarde. Maar het is tevens niet slecht voor de hardware waarop deze gedestilleerde versie van Deepseek R1 op draait.

In 'LM Studio' is ook een server ingebouwd. Deze kan via API toegang worden gebruikt om een web-interface voor LLMs te draaien. Dus in mijn Proxmox omgeving een 'Open-WebUI'-instantie opgezet en deze is gelinkt aan de serverdie ik draai op mijn simpel i3 machientje.

Dat reduceert de output naar zo'n 5 tokens per seconde, maar heeft dan weer als voordeel dat het model dat draait in 'LM Studio' nu beschikbaar is voor elke computer in mijn LAN via een browser.

Log-review en telemetrie data aangaande netwerken op computers en de router (OPNSense) die ik gebruik, tonen me dat er geen traffic naar China gaat. Maar goed, Chinezen kunnen ook servers in hun 'buitenland' huren, daarop data ontvangen en deze periodiek door te jassen naar Chinese servers voor verdere studie/manipulatie, zonder dat normale gebruikers daar weet van hebben.

Ben er ooit eens op gewezen dat het NTP-protocol vaak gebruikt is/was/wordt om gebruikersdata door te spelen naar Chinese servers. Log-reviews tonen ook geen verdacht verkeer via dat protocol.

Heb nu 6 Proxmox nodes in een cluster draaien, voornamelijk oude desktops 5e/6e generatie Intel en 2 AMD APU's (nog uit hun 'Bulldozer' tijdperk). Deze zijn wel allemaal uitgerust met het snelste DDR3 geheugen en allemaal hebben ze 32 GByte RAM (maximaal ondersteund) in combinatie met 2,5 inch SATA SSD's.

Dus op simpele/oude hardware heb ik virtualisatie software draaien, waarop in totaal zo'n 30 Linux VMs draaien en zo'n 15 LXC containers. In 1 van deze VMs is Docker geinstalleerd, waarmee de installatie van Open-WebUI een fluitje van een cent is.

Veel uitleg, maar hopelijk is het duidelijk dat je niet veel aan hardware hoeft te besteden, als je niet te veeleisend bent aangaande het aantal tokens per seconde aan output. Ben je dat echter wel, dan gaan je hardware kosten significant omhoog.

Er zijn ook gedestilleerde DeepSeek-R1 modellen met 30B parameters of de veruit prefereerbare 70B parameter modellen. Ook dan gaan je kosten behoorlijk omhoog. Het kwaliteitsverschil in resultaat is echter wel heel erg merkbaar tussen de 7B/8B modellen en een 70B model.

Normaal gesproken zijn de grotere modellen een stuk slomer, maar leveren wel een kwalitatief beter resultaat. Heb je een GPU met daarop 24 GByte aan VRAM of meer, dan kun je wel een 30B model direct in dat VRAM draaien. Dan merk je wel dat je behoorlijk snel, zeer redelijke antwoorden krijgt.

Maar dat soort kaarten zijn dus duur. AMD heeft meer modellen dan NVidia in hun consumenten assortiment met 24 GByte aan VRAM. NVidia heeft echter Cuda en veel LLMs hebben daar enorm profijt van.

Wat ik tot op heden heb gemerkt, 'Ollama' is een generieke LLM tool die met enorm veel modellen overweg kan. Het is echter ook een van de sloomste LLM tools die ik tot op heden heb gebruikt.

LM Studio, heeft ook ondersteuning voor een heleboel modellen, maar niet zoveel als 'Ollama'. Het voelt echter wel allemaal net wat rapper aan dan 'Ollama'. En je kan er ook gelijktijdig meerdere LLMs daarmee draaien. Vind dat de twee belangrijkste redenen om 'LM Studio' te verkiezen boven 'Ollama'.

Op een andere machine (Intel i3 10e generatie, 32 GB RAM 3200 MHz, NVMe drive en NVidia GFX 1650 GPU met 4 GB aan VRAM) heb ik 'Tabby' draaien. Dit is software welke 2 LLMs tegelijkertijd draait in VRAM (1 voor chat, 1 voor coding). Het draait ook een Embed LLM in VRAM, zodat het ook de inhoud van documenten en GitHub/GitLab repositories in kan lezen als referentie materiaal voor de LLMs.

Ook heeft deze software al een web-interface ingebouwd. 'Tabby' ondersteund maar heel weinig LLMs. Echter, de ondersteunde LLMs zijn retesnel. Ook zijn er extensies voor VSCode, NeoVim en de JetBrain IDEs zodat je niet eens je editor hoeft te verlaten om AI vragen te stellen over je code, code uitlegt of code automatisch kan genereren.

Geheel gratis te gebruiken voor een maximum van 5 personen die 'Tabby' tegelijkertijd aan mogen spreken. Is ook simpel om op te zetten. 'Tabby' zelf is zo'n 150 MB om te downloaden. Je dient ook de geconfigureerde LLMs te downloaden. En als je een NVidia kaart gebruikt, dien je ook de Cuda ontwikkelomgeving te downloaden, zo rond de 2,5 GB voor de 11.7 versie daarvan. Hogere versies ondersteund de gebruikte GPU niet in mijn geval. Dit dien je wel uit te zoeken voor jouw specifieke NVidia kaart.

Deze downloads zijn in prinxipe allemaal 1-mailg. Updates van Tabby liggen tot op heden nog allemaal zo rond de 150 MB. Zou echter maar wat graag een NVidia kaart in die machine plaatsen met 16 GByte aan VRAM of meer. Maar die kaarten zijn in dit werelddeel (Zuid-Amerika) behoorlijk duur. Duurder dan in Nederland zelfs.

Wat dus de reden is dat ik (dwangmatig) heb geleerd om met de relatief langzame prestaties van lokale AI (CPU-only) en met de huidige modellen in 'Tabby'.

'Tabby' is echter wel behoorlijk bruikbaar en de responsetijden maken de ervaring vaak zelfs erg prettig. In mijn optiek een parel in de spreekwoordelijke zwijnestal van LLM tools.

[Raphaelo]

Werkt die onderzoeker toevallig bij Openai? Heb je een linkje?

[Noresponse]

America Meta doet ook surveillance van data en slaat alles op van foto's, teksten en gesproken tekst welke overigens ook gebruikt worden voor Ai en welke ook wordt doorverkocht.

Geloof maar niet dat data uit de EU niet wordt gebruikt door het moederbedrijf van Instagram, Whatsapp en Facebook.

[TechSupreme]

DeepSeek is niks anders als een evolutie van wat er al eerder was onderzocht, een samenvoeging van dingen die al bekend waren. Veel van de claims van de onderzoekers zijn halve waarheden, bijvoorbeeld de claim over de trainingstijd, daar zitten nog best veel nuances. Lees de comments onder het eerste artikel.

Dat gezegd hebbende, je haalt een paar dingen door elkaar. Je heb het model (wat vaak algoritme wordt genoemd) en dan heb je de trainingdata. Het model is misschien openbaar, maar de data niet. De trainingsdata is geld waard, want dat is het resultaat van alle kosten die je hebt gemaakt.

Dan heb je weer de modellen die DeepSeek heten en dan heb je het bedrijf Hangzhou DeepSeek Artificial Intelligence Co., Ltd. Bekend onder de handelsnaam DeepSeek.

Je kan de DeepSeek modellen niet verbieden (want die zijn open source, bijv Perplexity biedt DeepSeek R1, GPT3.5, GPT4 en zijn eigen Sonar diensten aan), maar je kan wel elke interactie met het bedrijf DeepSeek wel verbieden.DeepSeek zelf doet misschien niks verkeerd, maar het is wel zo dat alle data die jij invoert terug gaat naar de trainingsdata en dus uiteindelijk beschikbaar voor andere.

Diezelfde redenatie zit achter het Kaspersky verbod, het is niet dat Kaspersky perse iets verkeerd doet, maar Kaspersky upload verdachte bestanden naar zijn eigen Russische servers en dan zijn ze buiten het zicht en invloed.

Het is dus niet dat DeepSeek perse misbruik maakt, maar stel de Chinese overheid neemt wetten aan?

[Reactie gewijzigd door TechSupreme op 10 maart 2025 00:26]

[blinchik]

Dat gezegd hebbende, je haalt een paar dingen door elkaar. Je heb het model (wat vaak algoritme wordt genoemd) en dan heb je de trainingdata.

Wacht, dat zeg ik dus net. Als je de software hebt kan je makkelijk controleren of er enkel van een lokale dataset wordt gebruikt (die je zelf traint), of er data naar ergens anders wordt gestuurd.

Je kan de DeepSeek modellen niet verbieden (want die zijn open source, bijv Perplexity biedt DeepSeek R1, GPT3.5, GPT4 en zijn eigen Sonar diensten aan),

En dat is wat men net wel wil doen: De overheid zou mogelijk ook 'beperkingen' willen instellen tegen Amerikaanse bedrijven die de opensourcemodellen van DeepSeek aanbieden aan klanten. Onder meer Perplexity host een aangepaste variant van DeepSeeks R1-model op Amerikaanse servers, waardoor er volgens het AI-bedrijf geen data naar China wordt verstuurd. Dit gaat dus niet over de data (trainingsset), maar over de software.

[TechSupreme]

DeepSeek is niks anders als een evolutie van wat er al eerder was onderzocht, een samenvoeging van dingen die al bekend waren.

Het model hee DeepSeek omdat zij de eerste waren die het deden, maar niks weerhoudt iemand ervan om hetzelfde te doen met de naam Jantje.

Fun fact, het DeepSeek model is grotendeels gebaseerd op westerse scripties.

[Reactie gewijzigd door TechSupreme op 10 maart 2025 12:44]

[Powerpuff86]

zo ongeveer alles wat Trump doet is te gek voor woorden

hoewel dit ten opzichte van andere gebeurtenissen nog meevalt

[bauke1984]

Als je naar het beleid kijkt. Streven naar Amerikaanse Ai dominantie. Bezorgdheid over buitenlandse ai invloeden. Met tot slot de eigen techreuzen die dit graag binnen Amerika willen ontwikkelen en begeleiden zodat het geen “gevaar” is.

Komt het erop neer dat Amerika hun eigen Ai vooraan willen hebben en dat Ai uit het buitenland een gevaar voor Amerika kan zijn.

Zoals Johan zei “maar dat is logisch”

[YGDRASSIL]

En europa gaat nu hoop investeren in eigen ai. Zodat we zelf geen buitenlandse invloeden hebben em dergelijke. Dus als wij dat gaan doen is het toch niet raar dat amerika dat ook doet?

[blorf]

Met welke hardware? Zolang alles en iedereen in Europa een Amerikaans OS gebruikt gaat er niks van de grond komen.

[tweaker29789]

Zelf iets ontwikkelen is nog altijd heel iets anders dan een potentiele concurrent verbieden.

[Blokker_1999]

Natuurlijk is dat logisch, en nu voelt de VS ook eens hoe dat voelt voor de rest van de wereld. Het punt waar de VS zo lang schrik voor heeft gehad, het verlies van die technische dominantie komt steeds dichter bij. En met de huidige regering, die zelfs meer lijkt terugvallen op traditionele industrieen zoals olie, kolen, staal, auto's, ... zou dat zelfs nog in een stroomversnelling kunnen brengen.

[bmwgozer]

En schande roepen als andere landen Amerikaanse tools weigeren.

Blijft jammer dat we in NL zo enorm pro Amerika zijn en anti China. We zouden daar veel meer midden van moeten staan.

Helaas zit tweakers alleen al vol met Amerikaanse tracker software.

[kondamin]

Zouden veel eerder eigen software en hardware moeten maken en de verkoop van belangrijke dingen aan eingenaar van buiten europa moeten verbieden.

Het VK had arm nooit mogen loslaten en meta zou nooit whatsapp hebben mogen kopen.

[Blokker_1999]

Ik aanzie het niet als pro of anti, maar meer als afhankelijk van. Wij zijn vandaag te afhankelijk vna Amerikaanse technologie. Ik denk dat mensen wel eens onderschatten hoe ver West-Europa eigenlijk afstaat van de Amerikaanse sociale, culturele of politieke waarden.

[mutsje]

Le Chat werkt ook prima hoewel er nog vol op ontwikkeld word en is uit Frankrijk. Dus je data gaat an massaal naar Frankrijk DeepSeek penetreren ze je device zodra je het gebruikt, een onderzoeker heeft dit aangetoond. Kan het alleen 123 niet meer terug vinden was toen op linkedin gedeeld.

[Armselig]

Waarom moeten we (meer) pro-china zijn dan? Waarom ben je pro-communistische dictatuur?
Al gaat het in amerika nu ook die kant op...

[Ablaze]

Hier ook pro-China. Mee eens, het is een dictatuur en ja, bepaalde waarden komen niet overeen (teveel toezicht, onderdrukking van sommige volkeren).

Maar het goede aan China is wél dat ze een lange-termijnvisie hebben en die ook waarmaken. Dankzij die stabiele strategie en rechtlijnige aanpak zijn ze in drie decennia gegaan van een ontwikkelingsland naar een van de meest vooruitstrevende landen ter wereld, met dito leger.

Nu de VS en Rusland voorlopig geen betrouwbare partners zijn, wordt de band met China steeds belangrijker. China heeft zelf ook problemen met de VS en zij hebben openlijk aangegeven dat ze banden met Europa willen versterken.

Europa kan het zonder bondgenoot niet redden. Wij besteden al decennia alle maakindustrie uit aan landen als China. Er is niemand die hier in de mijnen wil werken, of tegen laag inkomen in een fabrieksstad wil leven. Daarnaast is de EU een democratisch maar traag apparaat, waar 27 landjes continu met elkaar keuvelen en de koers elk jaar wordt bijgesteld. Een partnerschap met China is nodig om sterk te staan tegen de grootmachten VS en Rusland. Dat geeft Europa eveneens een sterkere positie om af te dwingen dat China minder zaken doet met Rusland.

[Reactie gewijzigd door Ablaze op 9 maart 2025 16:42]

[Khrome]

In het verlengde van die lange termijn visie: China doet vieze dingen, maar hun politiek over de afgelopen 30 jaar is wel altijd relatief consistent gebleven. Je weet in principe waar je staat als je met hen zaken doet, nu en ook over 20 jaar nog. Zelfs de manier waarop ze eventueel deals breken is relatief voorspelbaar.

De VS daarentegen flip-flopt elke 4 tot 8 jaar, en doet dat al sinds de jaren 70. Het was nog niet super merkbaar, maar sinds social media de polarisatie aldaar zo sterk aanwakkert is dat probleem enorm verergert in de afgelopen 12 jaar. Men kan de VS gewoon niet meer vertrouwen om hun deals te houden, nota bene met een president die zichzelf prijst om zijn "deals".

[Armselig]

Dus we moeten china vertrouwen en het voordeel van de twijfel geven???

[Powerpuff86]

ik ben totaal niet pro-Amerika, speak for yourself

[CAPSLOCK2000]

Het zou voor de overheid niet duidelijk zijn hoe het Chinese bedrijf omgaat met gebruikersgegevens en wie er toegang toe hebben.

Ik raak een beetje geirriteerd van deze benadering.

Onduidelijkheid is niet het fundamentele probleem. Het fundamentele probleem is dat er zorgen zijn dat de Chinezen de data stelen en misbruiken. Het woord "onduidelijk" is vast eufemistisch bedoeld maar het verandert het probleem.

Onduidelijkheid los je op met uitleg. Je legt bijvoorbeeld uit dat alle data voor eeuwig wordt opgeslagen voor toekomstige analyse door een militaire AI. Dat is duidelijk. Daarmee is ons probleem echter niet opgelost. Ons echte probleem is dat we niet willen dat onze data zo gebruikt wordt. Op hoog niveau begrijpen wat dat wel maar tegelijkertijd willen we ons speelgoed (AI, cloud, etc) ook niet opgeven. Dus wordt er heel wat moeite gedaan om te rationeel goed te praten dat we het toch blijven doen. Zoals "duidelijkheid" eisen en het project goed te keuren als die duidelijkheid er komt zonder na te denken over wat je nu geleerd hebt.

In Nederland hebben we daar ook een handje van. Een deel van de overheid heeft het over digitale souvereiniteit, onafhankelijkheid van de VS, en het beschermen van je data. Toch maakt de overheid massaal gebruik van MS en Google software en de bijhorende clouds. Op papier wordt aan de eisen voldaan maar we zijn nog steeds volkomen afhankelijk. Als die twee bedrijven morgen alle Nederlandse accounts blokkeren (om wat voor reden dan ook) dan heeft de Nederlandse overheid een groot probleem.
Als de Amerikaanse (of Britse) overheid besluit dat encryptie moet worden opgheven houden wij dat niet tegen.

Alles wat we op papier hebben gezet verandert daar niks aan. Met een stricte aanpak (zoals alles zelf versleutelen) kunnen we misschien voorkomen dat onze data gestolen wordt maar dat is niet genoeg als we die data en software nodig hebben.

Duidelijkheid is het probleem niet, het is voor iedereen duidelijk dat we afhankelijk zijn van de partij die letterlijk de stekker uit kan trekken, zeker als die partij in het buitenland zit.

Het gaat dus niet om duidelijkheid maar juist om onduidelijkheid. "We" willen een stuk papier om te goed te praten dat we iets doen waar we ons eigenlijk niet lekker bij voelen. Of dat nu is om ons eigen geweten te stillen, om aan opgelegde eisen te voldoen, om verantwoordelijkheid te ontlopen of gewoon om zo goedkoop mogelijk uit te zijn.

Duidelijkheid is een preconditie, geen doel op zich. Alle duidelijkheid van de wereld gaat dit probleem niet oplosen.

[swhnld]

Een verbod van niet gecontracteerde/goedgekeurde AI diensten op bedrijf of overheid apparaten vind ik compleet logisch. Je stuurt immers meestal data naar een data center en moet er dan maar op vertrouwen wat ermee gebeurt.

Echter in geval van een landelijk verbod door de VS weet ik niet of het gaat om veiligheid of om zakelijke belangen, en of de informatie betrouwbaar is. Dus ik heb zoiets, we zien over 4 jaar wel weer hoe de wereld ervoor staat.

[DAVERBAAN]

Jammer Trump. Ik ben inmiddels begonnen met een traject om zoveel als mogelijk is vs software van de kliek rondom jou uit te faseren.
Ik krijg van iedereen goede suggesties en stel nog meer informatie op prijs.
Alternatieven:
1. Ubuntu met libre Office
2. Strato met familie account
3. Huawei telefoon op termijn met vervanging Android en alternatief app store
4. En zo zijn er meer. Dit gaat lukken.

[kars noordhuis]

Ik ben overigens ook wel gecharmeerd van onlyoffice. lijkt verdacht veel op ms office en heeft zelfs collab functies en 2fa/domein functionaliteit als je een server hebt. Die server kan overigens ook een nextcloud instantie zijn.
Interessant dus ook voor bedrijven en overheden. Al moet je er dan wel een beetje voor betalen geloof ik als bedrijf zijnde.

[Anoniem: 57411]

> Zo wordt de app op overheidsapparaten mogelijk verboden ...

Iedere weldenkende overheid (en bedrijf) werkt toch al op zijn minst een decennium met een lijst van toegestane software, waarbij de rest gewoon niet op het apparaat mag?

<stop hier u favoriete grap over de weldenkendheid van verschillende organisaties>

[Reactie gewijzigd door Anoniem: 57411 op 9 maart 2025 13:20]

[Blokker_1999]

Hangt van het apparaat en het doel af. Mijn werkgever zorgt voor een iPhone voor elke werknemer. Die iPhone mag ook voor private doeleinden gebruikt worden. Onze email en messaging draait in een beveiligde container terwijl de werknemer belastingen betaald op het feit dat ze het toestel bezitten.Dat maakt dan ook dat wij geen beperkingen opleggen aan de apps die men mag installeren op die toestellen.

[SuperDre]

Alleen de werknemers betalen belasting die em ook prive gebruiken, geen werkgever die mij een iPhone door mn strot duwt voor prive.

[JWL92]

Iedere weldenkende overheid (en bedrijf) werkt toch al op zijn minst een decennium met een lijst van toegestane software, waarbij de rest gewoon niet op het apparaat mag?

klopt, en daarom gebruiken die whats app business en microsoft.... want amerika zijn onze vriendjes /s

[Q-collective]

Wat is nou het punt van het bannen van de app? Het was nog niet eens bij me opgekomen om de app te downloaden. Ik ga gewoon naar de website...

[Bor]

De website zal met een ban op de app ook wel geblokkeerd en verboden worden lijkt mij. Dat is een redelijke open deur. In diverse omgevingen kan je dat eenvoudig met een enkel verbod regelen.

[Q-collective]

Is dat zo? Volgens mij is TikTok.com op geen enkel moment geblokkeerd geweest onder diezelfde wet.

[klakkie.57th]

Hoezo zou je nu nog wel deepseek toelaten op toestellen overheidsapparaten

[DarkRED_LennY]

Tsja de VS is bang voor China aangezien ze daar kwa technologie +/-10 jaar voorlopen.
Het is natuurlijk voor de VS niet te verkroppen dat een ander land (welke dit ook is) voorloopt.