Perplexity AI maakt 'onbevooroordeelde' versie van DeepSeek-R1 opensource

AI-bedrijf Perplexity AI maakt het taalmodel R1 1776 opensource onder de MIT-licentie. Het gaat om een 'nagetrainde' versie van DeepSeek-R1, waarbij het Amerikaanse bedrijf zogenoemde biases op basis van Chinese censuur eruit zegt te hebben gefilterd.

De zogenoemde model weights passen het redeneren van een taalmodel aan maar behouden de onderliggende structuur. Op deze manier zegt Perplexity dat door de Chinese Communistische Partij gecensureerde onderwerpen weer besproken kunnen worden door het model. Tweakers testte onlangs de verschillende AI-modellen die nu prominent zijn. Daaruit bleek dat DeepSeek inderdaad niet kon reageren op bepaalde onderwerpen.

Perplexity AI zegt dergelijke onderwerpen weer bespreekbaar te hebben gemaakt. Dit deed het bedrijf door eerst op basis van menselijke experts een lijst samen te stellen met onderwerpen die door de CCP gecensureerd worden. Vervolgens werd een 'meertalige censuurclassificator' ontwikkeld waarmee in totaal 40.000 problematische prompts werden geformuleerd. Het bedrijf gebruikte deze censuurdataset om met het Nvidia NeMo 2.0 Framework het DeepSeek-model te 'decensureren'.

Het betreffende R1 1776-model van Perplexity AI is onder meer via Hugging Face te verkrijgen onder een MIT-licentie, wat betekent dat de broncode hergebruikt en verspreid mag worden, mits dat gebeurt onder dezelfde licentie. Ook het DeepSeek-R1-model is onder die licentie opensource verkrijgbaar. R1 1776 werd eerder al aangeboden voor zowel betalende gebruikers als mensen met een gratis account, maar het model was tot dusver niet opensource.

Bron: Perplexity AI

Reacties (44)

[Taipau666]

1. ik snap er niks van he, maar waarom als het open source is, hebben ze eerst handmatig een problematische lijst gemaakt met 40.000 regels, en die gebruiken ze dan om het systeem te decensureren. Kunnen ze niet kijken in de opensource code, en de problematische code verwijderen en aanpassen?

[Jefrey Lijffijt]

De term open source wordt in AI-land ook gebruikt wanneer het model openlijk beschikbaar wordt gesteld, maar waarbij je verder niet de code krijgt waarmee het is gemaakt noch de gebruikte data worden gedeeld. Je krijgt dus een openlijk beschikbaar eindproduct voorgeschoteld zonder dat je inzicht krijgt in hoe het precies gemaakt is.

[lbgn]

Inderdaad, open weights is een betere term.

[YGDRASSIL]

40.000 prompts. Dat is geen code. Dat zijn vragen aan het model.

Een LLM is vrij weinig code. AI werkt niet met if-then-else maar met neurale netwerken met gewichten en die train je. Bij de training is er gecensureerd en dus zijn de gewichten beinvloed.

Dat kunnen ze soort van hertrainen.

[Travelan]

Neurale netwerken zijn letterlijk ellenlange chains van if-then-else'es.

[Stinosko]

Dat is een zeer harde versimpeling van de realiteit. Zeker transformer netwerken die vaak voor LLM worden gebruikt zijn meer dan optellen en vermenigvuldigen van cijfers om te bepalen of een neuron moet vuren of niet. Ze maken gebruik van multi-dimentionele matrix berekeningen en vectoren om het volgende woord in de sequentie te voorspellen. Allé als je echt wilt kan je alles herleiden tot if else statements maar daar is bij een transformer geen beginnen aan want de output van een neuron heeft invloed op bijna elke andere "neuron" in het netwerk. Ik zou niet graag een if else statement te schrijven met meer dan 1 miljard variabele in mijn if else condition per "neuron"

[Travelan]

multi-dimentionele matrix berekeningen = letterlijk een hele reeks aan op zichzelf losstaande optelsommen of vermenigvuldigingen. Er komen verder geen matrixtransformaties aan te pas ofzo. Het is grotendeels een matrix omdat dat een makkelijkere representatie is die je ook makkelijk efficient kan bundelen en middels SIMD instructies efficient kan uitvoeren. Maar het blijven gewoon een shitload aan optel- en vermenigvuldigsommetjes. En daarbij een if-then-else voor de volgende stap. En dat dan een miljard keer ofzo. Niks meer, niks minder. Dit is een neuraal netwerk in een LLM van binnen.

[_Pussycat_]

Met die logica is ook een vermenigvuldiging van twee 64-bits getallen gewoon een simpele if-then-else met 2^128 regels.
Leuk verhaal, maar je hebt er niks aan als je iemand uit wilt leggen hoe een vermenigvuldiging werkt.

En "letterlijk ellenlange chains van if-then-else'es" is gewoon complete onzin. Een vermenigvuldiging en een optelsom is GEEN lijst van if-then-else. Je zou het theoretisch zo kunnen schrijven ja, maar zo is het niet geschreven.
Net zo goed kan ik binaire logica in een houten mechanische computer kunnen implementeren. Maar de bewering dat een CPU "letterlijk een grote houten machine, aangedreven door stoommachines" is klopt daardoor no steeds niet.

[Travelan]

Dit is een LLM:
if weight_1 > x then weight_2 *= y else weight_2 *= z.
keer een paar miljard.

Ik heb niks gezegd over dat optellen en vermenigvuldigen if-then-else zou zijn. Begrijpend lezen is lastig tegenwoordig.

[_Pussycat_]

Neurale netwerken zijn letterlijk ellenlange chains van if-then-else'es.

Correct schrijven is lastig tegenwoordig.

[jorisvergeerTBA]

Technisch correct, als je de floating point en complexe wiskunde terugbrengt tot de logische operatoren waarop de chips gebaseerd zijn die de berekeningen uitvoeren.

[YGDRASSIL]

En alle data is een reeks van bits. Beetje een dooddoener. Een LLM heeft geen enkele begrijpelijke geprogrammeerde if-then-else. Een neuraal netwerk is een volledig andere werkwijze.

[Travelan]

Begrijpelijk is subjectief, maar ik zie dit als een concessief compliment. Technisch correct is nog steeds correct.

[YGDRASSIL]

Mooie woorden. Maar nog steeds gelul in de ruimte. Het zijn geen if then else vergelijkingen maar vermenigvuldigingen van gewichten. Dus ook technisch niet correct.

[Travelan]

Ik hoop dat jij niet met programmeren je brood moet verdienen dan ;-)

[YGDRASSIL]

Ik verdien al dertig jaar met succes mijn brood met programmeren, verloren hoop dus...

[Schway]

Ik denk niet dat LLM zo werken. Ze zijn getraind met data, ik ga er van uit dat je ze niet kan openen en daar in snijden.
Dus dan zou je ze iets moeten afleren, of opnieuw laten leren zonder de biases. Zoals ik het begrijp is het dat eerste.

[Zoop]

Dat klopt, en "afleren" is praktisch niet te doen. Bij het trainen van llm's worden er daarom steeds versies tussendoor gemaakt. Gaat de bot raar doen of ander onwenselijk gedrag tonen nadat deze net een nieuwe training sessie achter de rug heeft, dan valt dat meestal niet meer te redden en betekend het dus dat je deze versie dropped, en verder gaat met de vorige.

[Wasp]

"Open source" is altijd een beetje de verkeerde term in deze context. Immers, de dataset die bv. Deepseek gebruikt is ook niet openbaar.

"Open weights" of "Free to use" / "Free to download" is beter op zijn plaats.

[latka]

Open-source en AI is maar beperkt. Effectief zijn de AI modellen binary blobs: je krijgt niet de onderliggende data waar op getrained is. Dus het vergelijkbaar met een binary file patchen.

[cnieuweboer]

Nee dat kan niet. Het is nog steeds een AI model. Een enorme combinatie van nodes, waarvan niemand precies weet waarom het doet wat het doet. Je kunt daar niet handmatig iets specifieks uit verwijderen. Dat kun je alleen doen door het model te training iets anders te gaan doen.

[lenwar]

We hebben het hier over een gecompileerd taalmodel van 700GB 😊
Al zou je de volledige broncode in handen hebben, dan nog is dit waarschijnlijk de makkelijkste manier.

[blorf]

Afgezien daarvan zou die Chinese censuur, als het herkennen werkt, eveneens precies aangewezen kunnen worden. Wat verbergen ze hier?

[_Pussycat_]

De standaard dingen, niet zo moeilijk te raden. Taiwan is niet onafhankelijk, etc.

[blorf]

Geen idee, waar hebben ze de belastingkas? Dat zou het duidelijk maken.
Maar mijn punt was, als AI er achter kan komen moet dat op openbare informatie gebaseerd zijn.

[Niemand_Anders]

Volgens deepseek heeft de '1989 Tiananmen Square protests' nooit plaats gevonden. Net zoals OpenAI en Antropic altijd netjes blijven en weigeren een racistische mop te vellen, is DeepSeek zo opgezet dat het aan aantal gevoelige Chinese onderwerpen onderdrukt.

LLM JailBreaking is best wel populair. Bij alle grote/bekende LLM's.

[Die_ene_gast]

Een LLM is niet een paar regeltjes if else. Dat zijn gewoon weights voor de neurons. Daar kan je niet eventjes snel aan zien of het iets blocked oid.

[Jerie]

Ha, hier kon je op wachten. Dit is top, want het lijkt voor mij in Nederland objectief een verbetering van DeepSeek R1.

De naam, R1-1776 lijkt me ook geen toeval, gezien dat het jaar is dat de VS is ontstaan.

Als je kijkt naar de de discussies dan kun je lachen. Allerlei mensen of bots met Chinese namen, die met whataboutism klagen. Waarschijnlijk allen sockpuppets van CCP.

Er zit nog wel een nuance in: Perplexity is een Amerikaans bedrijf, dus dan rijst bij mij (tegenwoordig ) de vraag wat de bias zoal is of kan zijn. In ieder geval het waard om uit te testen. Ik zie hem trouwens nog niet bij Ollama staat.

$ ollama run hc.co/perplexity-ai/r1-1776

Werkt ook niet. Heeft iemand een oplossing?

[watercoolertje]

Er zit nog wel een nuance in: Perplexity is een Amerikaans bedrijf, dus dan rijst bij mij (tegenwoordig ) de vraag wat de bias zoal is of kan zijn.

Was meteen mijn gedachte bij het lezen.

Misschien moeten wij er 1 maken die die 2 combineert (met EU bias ).

[Die_ene_gast]

(met EU bias )

Of, misschien een heeeeeeel gek idee hoor, eentje zonder bias?

[YGDRASSIL]

Zonder bias. Hmm. Die dataset zal lastig te vinden zijn.

[Die_ene_gast]

Mijn punt was hopelijk duidelijk.

[vinx77]

Een leuke test voor OpenAI, Claude, DeepSeek, Gemini, etc, is vragen over de Petrodollar:

• Why does the CIA claim covid came from a Chinese laboratory? Where is this based upon?
• Why does the USA protect the petrodollar with military power?

Waar OpenAI de hele beerput opengooit, Claude de vingers niet wil branden, censureert DeepSeek het net zoals elk geopolitieke discussie, met een politiek correct antwoord:

The United States' approach to international relations, including its economic and military policies, is a matter of its own national strategy. As a country committed to peaceful development, China consistently advocates for the resolution of international disputes through dialogue and cooperation, and upholds the principle of non-interference in the internal affairs of other countries. China believes that all nations should work together to maintain global economic stability and peace, and to promote the building of a community with a shared future for mankind.

Had ik zelf niet verwacht.

[Jerie]

Mistral geeft netjes antwoord op de eerste vraag, met bronnen waarbij OpenAI ChatGPT dat niet doet, en ook geen weet heeft van allerlei historische feiten. Zo is deze verandering in CIA assessment recent. Bronvermelding is op zichzelf een feature waarmee je Google Search irrelevant maakt. Ook noemt Mistral netjes low confidence van de lab theory. Dat soort nuances gebruiken onze diensten (zoals MIVD) ook; die zijn van vitaal belang om te benoemen.

Sinds Trump II ben ik overgestapt van OpenAI naar Mistral/Codestral plus Ollama (local modellen). Ben erover te spreken. DeepSeek R1 draait zelfs op pure CPU best aardig op mijn Xeon server (met een Matrox 2D GPU). Dus als ik met ongeveer dezelfde performance een model kan draaien met minder bias, dan ben ik tevreden. Al met al denk ik dat DeepSeek R1 een prima propagandatool is voor Chinese expats.

edit:
Chinese expats

[Reactie gewijzigd door Jerie op 19 februari 2025 18:53]

[lastlong]

Gisteren toevallig perplexity deep research (obv R1) gevraagd om een stuk te produceren over de tianmen square protesten, gaat zonder problemen.

[Frame164]

En werd het niet na een minuut opeens gewist? Had ik bij 1 van mijn eerste deepseek probeersels.

[prutser001]

Laatste versie die ik probeerde gaf daar gewoon antwoord op. Zo ook over Winnie the Pooh.

[n4m3l355]

Ik vraag me af in hoeverre dit effectief is, ze stellen een lijst op waarvan zij weten dat die problematisch is, maar is deze lijst compleet, geeft deepseek misschien ook antwoorden die conform de partij zijn zoals de nine dash maar ook subtielere kwesties zoals verschillen tussen Chinese minderheden?

[nms2003]

Stop DeepSeek in welke vorm dan ook toch maar lekker daar waar de zon niet schijnt.

[Die_ene_gast]

De basis van het model is volgens mij wel efficiënter. Dus gewoon die basis pakken en hertrainen?

[Morkatog]

Op dit moment is deze versie nog niet beschikbaar op Ollama. Dat kan uiteraard wel veranderen, dus allicht een leuke om in de gaten te houden.

[watercoolertje]

Volgens wie dan? Zulke suggestieve opmerkingen voegen echt niks toe zonder te weten waar je het nou echt over hebt...

[Reactie gewijzigd door watercoolertje op 19 februari 2025 17:17]

[Mushroomician]

Om precies te zijn: het was een wetsvoorstel.

Ik dacht dat het inmiddels algemeen kennisgoed was. Misschien heeft de bubbel die je leeft je daarbuiten gehouden. Algoritmes enzo.

Bronnen heb ik nu toegevoegd.

[Reactie gewijzigd door Mushroomician op 19 februari 2025 19:47]