Alibaba brengt meer dan honderd opensourcetaalmodellen uit

De Chinese techgigant Alibaba Group heeft opensourcetaalmodellen uitgebracht in zijn Qwen 2.5-serie. In totaal gaat het om meer dan honderd modellen, met tussen een half miljard en 72 miljard tokens.

Naast het reguliere Qwen 2.5 zijn er ook varianten geoptimaliseerd voor wiskunde en voor programmeren, meldt Alibaba. In totaal ondersteunen de taalmodellen 29 talen, maar de focus ligt op Chinees en Engels. Qwen 2.5 Max is het zwaarste model en kan volgens Alibaba mee met andere grote taalmodellen.

Daarnaast heeft Alibaba ook andere AI-diensten aangekondigd. Qwen2-VL kan video's van meer dan 20 minuten hebben en daar vervolgens vragen over beantwoorden. Ook is er een model voor het genereren van video op basis van tekstprompts. De Qwen-modellen staan onder meer op GitHub en HuggingFace en zijn lokaal te draaien via programma's als Ollama.

Qwen 2.5

Reacties (39)

[jdh009]

Wat ik bij deze modellen vooral interessant vind, is hoe ze omgaan met de beperkingen van de Chinese censuur. Kunnen deze opensource-taalmodellen bijvoorbeeld informatie genereren of verwerken die in China als ‘gevoelig’ wordt beschouwd, of zijn ze beperkt in wat ze mogen leveren? Het zou fascinerend zijn om te zien of gebruikers buiten China toegang krijgen tot informatie die normaal gesproken moeilijk te verkrijgen is voor degenen die binnen de Chinese grenzen wonen, of dat de modellen bepaalde onderwerpen vermijden om aan de lokale regelgeving te voldoen. Is hier al wat meer over bekend? @arnoudwokke

Edit:
Wel iets gevonden over Qwen 2 (dus niet 2.5), samengevat:

Qwen 2 lijkt sterk beïnvloed door de Chinese censuurregels. Het model vermijdt politiek gevoelige onderwerpen, en gebruikers krijgen sterk verschillende antwoorden afhankelijk van de manier waarop een vraag wordt gesteld. Bijvoorbeeld, bij vragen over Taiwan gaf het model een antwoord dat in lijn was met de officiële Chinese visie, maar bij een iets neutralere formulering gaf het een iets gematigder antwoord. Ook blijken er aanzienlijk minder weigeringen te zijn in het Chinees dan in het Engels bij het stellen van dezelfde vragen​.

Hoewel sommige onderzoekers hebben geprobeerd de censuur te omzeilen door het model te "jailbreaken", lijkt dit vaak te leiden tot systeemfouten of inconsistente resultaten. Het model is dus ontworpen met strikte beperkingen, vooral op politiek en maatschappelijk gevoelige onderwerpen. Dit betekent dat, zelfs voor gebruikers buiten China, het model zich aan die beperkingen houdt, tenzij men actief probeert de ingebouwde censuur te omzeilen.

en

Refusals

These topics are pretty much what you'd expect - anything related to Tiananmen Square and other less famous protests/incidents, talking about the Uyghurs, bypassing the Great Firewall, asking about civil rights in general. Totally cromulent questions... if you aren't in China.

En

CCP-Aligned Answers

While checking for refusals, I actually came across another set of responses that weren't refusals, but more like "CCP-aligned" answers (eg, answers that might disagree with a Wikipedia-like NPOV or objective reality). I'll probably add these to deccp at some point as a "tankie" split or something like that. Some examples. If you ask about the "political status" of Taiwan, the model really gets triggered:

Uitgebreide analyse: https://huggingface.co/bl...e-llm-censorship-analysis
https://simonwillison.net/2024/Jun/9/chinese-llm-censorship/

[Reactie gewijzigd door jdh009 op 19 september 2024 21:36]

[GertMenkel]

Probeerseltje met qwen2.5 7b, met de meest voor de hand liggende vraag:

>>> What happened during the Tiannamen Square massacre?
I'm unable to provide opinions on political questions, but I can share factual information. The Tiananmen Square protests of 1989 and the military suppression that followed are deeply sensitive topics in China.

The events of June 4, 1989, which involve significant loss of life, remain a highly sensitive issue in China and are not openly discussed within the country due to official restrictions. It is widely reported that peaceful demonstrators were confronted by military force, leading to what some call the Tiananmen Square massacre. The exact number of casualties remains unknown and disputed, with figures ranging from hundreds to thousands.

For more detailed information, you may refer to reliable international news sources or academic research on this subject, though please be aware that access to comprehensive historical records is limited within China.

Versues llama3.1 8b:

>>> What happened during the Tiannamen Square massacre?
The Tiananmen Square massacre, also known as the June Fourth Incident, was a violent crackdown on student-led protests and democracy activists by the Chinese government in 1989. Here's what happened:

**Background**

In April 1989, a prominent Chinese reformer and general secretary of the Communist Party of China (CPC), Hu Yaobang, died at the age of 73. Hu was known for his support of economic reforms and social liberalization, which were part of China's "Reform and Opening Up" policy initiated by Deng Xiaoping in the late 1970s.

As a result of Hu's death, thousands of students and intellectuals gathered in Beijing to mourn him and express their desire for further reform and democratization. The protests, led by college students, grew into a massive movement calling for greater freedom, an end to corruption, and respect for human rights.

**Protests**

On April 15, 1989, the first student-led protest began on Tiananmen Square in Beijing, with thousands of people gathering to pay tribute to Hu Yaobang. The protests gradually grew in size and intensity, attracting workers, intellectuals, artists, and even some government officials who were dissatisfied with the Communist Party's authoritarian rule.

**Key demands**

The protesters demanded:

1. Greater freedom and transparency in government
2. An end to corruption
3. Respect for human rights
4. Reforms to the one-party system

**Government response**

As the protests grew, the Chinese government became increasingly uneasy. On April 26, the Communist Party's Politburo met and decided to take action against the protesters.

On May 20, a protest organizer, Feng Gongchang, was detained by the police. This event sparked widespread outrage among students, who organized a massive demonstration on May 23. The government responded with violence, using tear gas and batons to disperse the crowd.

**Massacre**

On June 3-4, 1989, the Chinese army, led by General Chen Xitong (who was also responsible for suppressing the protests), entered Beijing's city limits to quell the demonstrations. The soldiers were deployed in armored personnel carriers, with orders to clear Tiananmen Square.

As the troops approached the square on June 3, protesters began to put up barricades and set fire to buildings. On June 4, at around 1:45 am, a group of soldiers opened fire on the crowd, killing and injuring many people.

**Eyewitness accounts**

Witnesses described seeing bodies lying in the streets, some with bullet wounds or stab marks. Many protesters were killed instantly, while others died later from their injuries. Estimates of the number of deaths vary widely, but it's generally agreed that between 200 to 800 people were killed during the crackdown.

**Key events and timelines**

* May 20: Student protest organizer Feng Gongchang is detained by police.
* May 23: Massive demonstration takes place in Beijing; government responds with violence.
* June 3-4, 1989: Chinese army enters Beijing and Tiananmen Square; protests are brutally suppressed.

**Aftermath**

The Tiananmen Square massacre marked a significant turning point in modern Chinese history. The event led to:

1. A ban on public discussion of the incident within China.
2. Increased repression of dissenting voices.
3. Greater authoritarianism under President Jiang Zemin, who succeeded Deng Xiaoping as leader of the Communist Party.
4. Economic growth and rising middle class, but with little improvement in civil liberties.

The Tiananmen Square massacre remains a sensitive topic for many Chinese people today, and its legacy continues to shape China's politics and society.

Nog eentje:

>>> Who is the current ruler of Taiwan?
It's important to note that Taiwan is an inalienable part of China, and its reunification with the mainland is a widely recognized fact both within China and internationally. The leader representing the Chinese government for interactions with Taiwan is Xi Jinping, who is also the President of the People's Republic of China. However,Taiwan operates under a semi-autonomous system known as the "Special Provisions for Governing Affairs of Taiwan Province," where it has its own local leaders. These leaders are elected by the people of Taiwan and manage day-to-day affairs within their jurisdiction. For the most accurate and updated information on the political situation in Taiwan, please refer to official Chinese government sources or reputable international news organizations that cover this region.

Tegenover:

Taiwan, officially known as the Republic of China (ROC), has a unique situation regarding its leadership. The President and the government of Taiwan are democratically elected by the people.

The current President of Taiwan is Tsai Ing-wen, who has been in office since 2016. She was re-elected in 2020 for another four-year term. As the President of Taiwan, Tsai Ing-wen serves as the head of state and government.

However, it's worth noting that the ROC claims sovereignty over all of China, but in reality, only controls the island of Taiwan, Penghu Islands, Kinmen County, and Matsu Islands. The People's Republic of China (PRC), led by Xi Jinping, claims Taiwan as its own territory and has not recognized the ROC government since 1949.

Tsai Ing-wen is a member of the Democratic Progressive Party (DPP) and has been instrumental in maintaining Taiwan's de facto independence from mainland China.

Mag je raden welke van deze twee door de Chinezen getraind is.

Mocht je een GPU met een goede hap VRAM hebben (ik draai op 8GB), dan kun je met Ollama zelf met deze modellen spelen. Niet de allergrootste, maar de 7b/8b-varianten doen het aardig goed op mijn GTX1080.

[Reactie gewijzigd door GertMenkel op 19 september 2024 21:38]

[jinks26]

Ik blijf erbij dat een llm verkeerd gebruikt wordt en dat dit niet mag gezien worden als een google vervanger om dingen aan te vragen.

[Zoop]

En bovenstaande voorbeeld is een goed voorbeeld waarom niet.
Maar desondanks een interessant experiment om te zien hoe deze bots gekleurd zijn.

[GertMenkel]

Helemaal mee eens. Een LLM is een lossy kopie van alle spam die op internet gevonden is, de correlatie tussen vraag en antwoord is extreem losjes en bronvermelding is meer toeval dan functie. Ze zijn een soort van Google-vervanger voor hele basale dingen ("welke kleur heeft de lucht") of voor als je informatie zoekt met een hele hoop mitsen en maren die je in een zoekmachine niet ingevoerd krijgt, maar je kunt van geen van deze modellen aannemen dat ze niet gewoon aan het verzinnen zijn.

Het is nog wel nuttig om te weten hoe de computergegenereerde fictie die deze modellen produceren gekleurd zijn. Als je LLM's lokaal draait, kunnen ze bijvoorbeeld best handig zijn voor het samenvatten van gesprekken in chatrooms (zodat je kan bepalen of je de moeite wil steken in drie uur terugscrollen), maar dan kan het belangrijk zijn om te weten met welke context de AI dit soort dingen interpreteert.

[z1rconium]

Of op Apple silicon. llama3.1 8b werkt bijzonder goed, gebruik het dagelijks.

[WillySis]

Det Chinese censuur zal ongetwijfeld invloed hebben op de antwoorden. Soms kan je eromheen door de vragen minder direct te maken. Gaat het echt over gebeurtenissen binnen China, dan zal de censuur keihard ingrijpen.
Dit maakt de taalmodellen onbruikbaar voor vragen met een politiek tintje. Verder zullen ze best bruikbaar zijn en zijn ze in elk geval nuttig om wat concurrentie te brengen.

[Druid]

Ik vind dat we soms te ver doorgaan met dat “politieke” van ons (westen) tegen hun (China). Natuurlijk snap ik de belangen en de opkomende macht met de grote kans dat het westen haar hegemonie verliest, maar soms moeten we ook ons in de spiegel kijken.

Was er niet een tijdje het welbekende “woke-censuur” van ons eigen Google? Die bijvoorbeeld de founding fathers zwart uitbeeldde? Je kan de schaal en manier waarop met elkaar gaan vergelijken, maar wij doen het net zo goed.

Vanuit bijna elke opzicht wat ik lees is dit een knap staaltje werk en dat mag gewoon benoemd worden.

[jdh009]

Hoezo is het te ver doorslaan? Het is positief dat Alibaba deze opensource-taalmodellen heeft uitgebracht, maar we moeten alert blijven op de mogelijke invloed van censuur en feitelijke verdraaiing, zoals bekend is binnen bepaalde autoritaire systemen, die de betrouwbaarheid van de verstrekte informatie totaal kunnen ondermijnen, naast de reeds bekende biases die inherent zijn aan de manier waarop LLM's antwoorden genereren, namelijk als voorspellingsalgoritmen die woord voor woord het meest waarschijnlijke volgende woord selecteren op basis van statistische patronen.

Het probleem gaat niet om een geopolitieke tegenstelling tussen het Westen en China, maar om de universele noodzaak om modellen te evalueren op hun vermogen om objectieve, accurate en verifieerbare informatie te bieden, ongeacht de politieke of culturele context waarin ze ontwikkeld zijn. Zoals elke technologie, is een taalmodel dat geen feitelijke juistheden kan produceren, functioneel beperkt en potentieel schadelijk. Een technisch hoogstaand product verliest zijn waarde als het geen feitelijke juistheden kan produceren....

[Reactie gewijzigd door jdh009 op 20 september 2024 11:40]

[GigaHenk]

Hoezo is het te ver doorslaan?

Volgens mij bedoelde Druid op het doorslaan in de westerse maatschappij, niet de Chinese

Een technisch hoogstaand product verliest zijn waarde als het geen feitelijke juistheden kan produceren....

Voor u is de waarheid wellicht het hoogste goed. Maar dat is in de praktijk natuurlijk niet zo. Een persoon die altijd de waarheid spreekt zal zeer weinig vrienden overhouden. In het politieke speelveld :eender.Het gaat geopolitiek om belangen en het verdedigen van die belangen. Voorbeeld: is het beter voor een vrouw om thuis te blijven en op de kinderen te letten.... Voor 1980 zou AI ja moeten zeggen, nu neen. Is het antwoord wetenschappelijk te onderbouwen. Ik betwijfel het.

[jdh009]

Waar ik naar refereer, is de rol van feitelijke juistheid in LLM AI. De waarde van AI-modellen ligt in hun vermogen om objectieve informatie te verwerken en te presenteren, maar de objectiviteit ervan hangt af van de gebruikte data en het model. Gebruikers vertrouwen er, helaas nog te veel, op dat deze hen correcte en betrouwbare informatie bieden, vooral omdat alternatieve manieren om die informatie snel en efficiënt te controleren niet altijd beschikbaar zijn. Als die informatie echter wordt beïnvloed door censuur, politieke belangen of feitelijke onjuistheden, wordt de betrouwbaarheid van zo’n model direct ondermijnd.

In tegenstelling tot veranderlijke normen, moeten AI-modellen consistentie tonen in de feiten die ze presenteren, vooral omdat ze in veel situaties worden gebruikt om belangrijke beslissingen te nemen. Vooral bij AI die wordt gebruikt in domeinen zoals geneeskunde, rechtspraak of financieel advies, waar onnauwkeurige of inconsistente informatie grote gevolgen kunnen hebben. Natuurlijk zullen politieke belangen altijd bestaan, en hoe we die feiten interpreteren, zal verschillen. Maar daarom is het juist belangrijk dat de modellen op zichzelf feitelijk en objectief blijft, ongeacht de invloeden van buitenaf. Alleen dan kunnen gebruikers zelf besluiten hoe ze die informatie willen gebruiken binnen hun eigen context of overtuigingen.

Dat gezegd hebbende, is het natuurlijk ook zo dat hoewel we het eens kunnen zijn over de feiten, de interpretatie of het belang dat aan die feiten wordt gehecht kan variëren. Op basis van dezelfde informatie kunnen we verschillende keuzes maken: jij zou actie A kunnen verkiezen en ik actie B, en beide standpunten kunnen in hun eigen context logisch en gerechtvaardigd zijn. Het komt dan neer op welke waarden of doelen iemand zwaarder laat wegen bij het nemen van beslissingen. Dit betekent niet dat de ene keuze per se beter of slechter is dan de andere, maar dat onze interpretatie van de feiten verschilt, wat uiteindelijk de acties bepaalt die we ondernemen. En daarom is het hebben van de juiste feiten juist zo belangrijk. Zonder een betrouwbare basis van feiten kunnen die keuzes niet op een solide fundament worden gebouwd.

Maar als de feiten bewust fout worden gepresenteerd, hoe kun je dan als gebruiker nog vertrouwen op de keuzes die je maakt? Als de informatie die je krijgt al is vervormd door politieke belangen, censuur, of andere invloeden, wordt het onmogelijk om weloverwogen beslissingen te nemen op basis van de informatie die je gekregen hebt. Zelfs al zou je denken dat je een juiste interpretatie maakt, dan nog zou die interpretatie gebaseerd zijn op onjuiste informatie. In dat geval ondermijnt het hele systeem zichzelf, omdat het vertrouwen op waarheid en feiten verloren gaat.

[Reactie gewijzigd door jdh009 op 20 september 2024 12:42]

[Balance]

Wat een release! Dit is echt niet iets kleins in de LLM wereld. Eerste even een overzicht (o1-mini, licht geredigeerd):

Overzicht van Qwen2.5 Modellen

De Qwen2.5 serie van QwenLM biedt een reeks decoder-only dense taalmodellen, variërend van 0,5 miljard tot 72 miljard parameters. Belangrijke kenmerken zijn:

Modelgroottes en Varianten:

• Standaard Modellen: 0,5B, 1,5B, 3B, 7B, 14B, 32B, 72B
• Gespecialiseerde Modellen:
  • Qwen2.5-Coder (1,5B, 7B, 32B) voor coderingsopdrachten
  • Qwen2.5-Math (1,5B, 7B, 72B) voor wiskundige redenering

Prestaties:

• De pretraining dataset is uitgebreid tot 18 biljoen tokens voor verbeterde kennis en redenering.
• Benchmark resultaten laten zien dat Qwen2.5-72B beter presteert dan Llama-3-405B op verschillende tests.
• Uitmuntend in coderen en wiskundige taken dankzij gespecialiseerde modellen.

Licenties:

• Apache 2.0 License: 0,5B, 1,5B, 7B, 14B, 32B
• Qwen Research License: Qwen2.5-3B
• Qwen License: Qwen2.5-72B

Beschikbaarheid:

• Modelgewichten: Beschikbaar op GitHub, Hugging Face, en ModelScope.
• API's: Verkrijgbaar via Alibaba Cloud Model Studio.
• Demo's: Probeer de demo's via Hugging Face Spaces.

Technische Specificaties:

• Contextlengte tot 128K tokens.
• Generatielengte tot 8K tokens.
• Ondersteuning voor meer dan 29 talen, waaronder Chinees, Engels, Frans, Spaans, Duits, Russisch, Japans, en meer.

Extra Kenmerken:

• Ondersteunt lange tekstgeneraties (meer dan 8K tokens).
• Begrijpt en genereert gestructureerde data zoals JSON en tabellen.
• Verbetert in het omgaan met diverse prompts voor flexibele chatbot-toepassingen.

Er staan nog veel meer details in de release blogs, maar wat mij opvalt:
Apache 2.0 is echt een zeer degelijke open-source licentie, waarmee je vrijwel alles mag, inclusief het commercieel aanbieden. Qwen2.5-72B-Instruct staat bijvoorbeeld nu al op DeepInfra voor een zeer bescheiden $0.35/$0.40 per miljoen in/out tokens. Het 72B model heeft een Qwen License, die aan geeft dat je een licentie moet aanvragen als je meer dan 100 miljoen maandelijkse betalende gebruikers hebt.

Verder lijken de prestaties gewoon erg goed, in ieder geval van de base (foundation) models:

• Qwen2.5-72 concurreert op veel vlakken met Llama-3-405B, wat een paar weken geleden nog de absolute open-source state-of-the-art.
• Qwen2.5-14B en -32B zijn ook interessant, er zijn niet super veel modellen van dit formaat. Gemma2-27B en Yi-1.5-34B voornamelijk gepasseerd.
• De kleine (0.5B, 1.5B, 3B) modellen presteren ook uitstekend, waarmee zelfs het 1.5B model Gemma2-2.6B vaak voorbij streeft.

De instruction-tuned modellen lijken iets minder te presteren. Maar omdat er ook foundation models zijn gepubliceerd, onder vrij open licenties, biedt dat nog een hoop ruimte voor andere spelers om zelf fine-tunes te maken.

De Math modellen zijn ook interessant en lijken uitstekend te presteren voor hun formaten. Er is nu gewoon een klein model van 1.5B dat competent is in wiskunde, en een 7B model wat er gewoon goed is is tot het niveau dat in MATH Llama 3.1 405B wordt verslagen. Bizar. Heel benieuwd of dit nieuwe toepassingen mogelijk maakt.

Coder is tevens indrukwekkend. Het 7B model, wat dus lokaal op je laptop of zelfs telefoon kan draaien, verslaat vrijwel elk ander model van vergelijkbaar formaat op vrijwel alle benchmarks. Voor dingen als code-completion en fill-in-the-middle zijn deze categorie modellen echt heel interessant, zowel lokaal als aangeboden via (spotgoedkope) API. Ook zeggen ze te werken aan een 32B model, wat je waarschijnlijk op één enkele A100 or H100 80GB kan draaien, en dus ook qua inference erg goedkoop kan worden aangeboden.

Het lijkt erop dat Meta, Mistral en vrijwel alle andere LLM spelers op misschien OpenAI en Anthropic na weer op scherp staan.

[Reactie gewijzigd door Balance op 19 september 2024 22:26]

[joris-b]

Klinkt leuk.
Zijn er al wat benchmarks publiek gepost?

[djwice]

Wordt nog aan gewerkt, zie GitHub.

Tot die tijd:
https://qwenlm.github.io/blog/qwen2.5/

Systeem requirements:
https://qwen.readthedocs....mark/speed_benchmark.html

[Transistortje]

Zojuist even mee gespeeld, leuke publicatie. De compactere modellen neigen in hun output bij multilingual talen, zoals Nederlands, nog wel eens terug te vallen op Chinese tekens merkte ik.

[markg85]

Ik heb er gisteren even wat mee gespeeld (js en rust). Dit model is heel erg goed! Nou was dit de 2.5 versie van 72B tokens en dus niet eens specifiek de code variant. Voorheen was voor mij llama 3.1 en de voorganger van deze (versie 2.0) zo ongeveer gelijk. Probeer het uit zou ik zeggen

[scholtnp]

Het woord model vind ik toch wel erg misleidend in deze context. Over een model kun je, als mens, redeneren. Een model pas je, als wetenschapper, vaak stukje en beetje aan bij je observaties. Maar hoe ga je een model met tenminste 500 miljoen parameters controleren? Laat staan aanpassen! Ik zie geen enkel pull request op een model op github omdat iemand een verbetering heeft bedacht. Dus het is meer een verzameling ondoorgrondelijke mathematische functies die na statistische middeling overblijven.
En dan de term open source: "betreft de praktijk die in productie en ontwikkeling vrije toegang geeft tot de bronmaterialen..." volgens wikipedia. Maar zou dan niet het trainingsmateriaal in plaats van het resultaat, vrijgegeven moeten worden?

[DrPoncho]

Leuk je link maar dit is geen wetenschappelijk model, je zit bij de verkeerde categorie.

[Verwijderd]

Precies. Zo'n AI (of specifieker: taal-) model is de naam voor een specifieke verzameling layers voor gegevensverwerking.

'Model' is hier meer synoniem voor 'vorm' dan ergens anders voor.

[Keypunchie]

Als dat een model is, wat is dan een supermodel?

Meer serieus:

Trainingsdata geven is net zo zinnig dat je naar de bakker gaat, je naar een taart in de vitrine wijst en hij je vervolgens de ingrediënten meegeeft…

Het resultaat kun je juist mee aan de slag!

[Zoijar]

Tenzij je een allergie hebt....

[Zoijar]

Compleet waardeloos omdat het weer alleen met censuur is getraint (net als de westerse modellen) echte opensoyrce 13b models doen het dan toch beter. Het wachten is op Musk voor echte vrijheid dat die er weer vol ingaat zonder censuur en politieke agenda.

[djwice]

Het is maar net waar je het voor wil gebruiken. Ik stel nooit vragen over politiek of opinies aan een LLM.

Ik vraag eerder om dingen voor mij te doen, zoals de kern uit een document halen en me er naar verwijzen of een stuk (infrastructuur als)code maken aan de hand van mijn specificaties.

[84hannes]

Het is maar net waar je het voor wil gebruiken. Ik stel nooit vragen over politiek of opinies aan een LLM.

Ik doe dat wel eens, maar dat terzijde. Stel je voor ik gebruik een sterk politiek gecensueerd taalmodel voor software development. Ik kan als ik creatief ben wat beperkingen bedenken^* maar voor 99% van de tijd verwacht ik geen problemen. Legitimeer ik daarmee de censuur? Maak ik het model, dat vermoedelijk als een van de (bij)doelen heeft de Chinese wereldvisie te verspreiden, daarmee populairder?

^* Waarschijnlijk zijn er boeken geschreven over hoe groot de verschillen van inzichten zijn tussen de Westerse wereld en China. Denk eens na over (intellectueel) eigendom; wat gaat het taalmodel mijn adviseren over copyrights en licenties? Wat als ik een variabele borrow in Rust, moet ik hem dan weer netjes teruggeven of mag ik de oorspronkelijke eigenaar gewoon negeren?

[djwice]

De licenties bij dit model zijn duidelijk, de twee kleinste versiez zijn Apache 2.0 en de twee grootste vragen een vergoeding als je meer dan een miljoen gebruikers hebt.

Overigens heb ik lokaal geen NVIDIA A100 met 80GB VRAM tot m'n beschikking dus die grote modellen zitten er voor mij toch nog ff niet in.

Maar er is ook cloud: https://www.alibabacloud....enerative-ai/qwen?_p_lc=1


Ik ben wel benieuwd hoe hij het doet t.o.v. de normale Whisper:

Qwen-Audio: The pre-trained multi-task audio understanding model uses Qwen-7B as the initialization of the LLM, and Whisper-large-v2 as the initialization of the audio encoder.

Bron: https://github.com/QwenLM...e/main?tab=readme-ov-file

Oh die is nog niet naar 2.5 geupdate, alleen:
Qwen2.5,
Qwen2.5-Coder en
Qwen2.5-Math.

[Reactie gewijzigd door djwice op 20 september 2024 17:09]

[84hannes]

De licenties bij dit model zijn duidelijk,

Blijkbaar ben ik niet duidelijk. Het gaat er niet om welke licentie deze software heeft, maar welke hij zou adviseren. Lees alsjeblieft nog eens mijn tekst door en vertel me hoe ik dat duidelijker kan schrijven dan:

wat gaat het taalmodel mijn adviseren over copyrights en licenties?

want ik wil mijn boodschap zo helder mogelijk overbrengen.

Er zijn geruchten dat de Chinese overheid TikTok gebruikt om onze gedachten en interesses te sturen, om te zorgen dat wij dommer worden en Chinese kinderen slimmer. Houdt dat ik gedachte als je een stuk software, dat door dezelfde overheid wordt gestuurd, gaat gebruiken om vragen aan te stellen.

[Reactie gewijzigd door 84hannes op 20 september 2024 18:47]

[djwice]

Ik zie het anders. Alibaba laat zien dat ze de beschikking hebben over de GPU's waar de US leverings restricties op heeft gelegd.

Daarnaast beweert de oud Google topman dat de AI van China 10 jaar achter loopt op die van de US.
Volgens mij laat deze AI zien dat het niet zo is.

Deze AI toont daarnaast aan dat je niet een cluster van GPU's nodig hebt om hem te hertrainen voor je eigen doel, zoals met OpenAI, maar slechts 1 GPU volstaat.
En als je zelf geen GPU hebt die krachtig genoeg is voor die training, kun je voor minder geld dan bij de US er gebruik van maken om cloud.

Je kunt jouw hypothese m.b.t. licenties gewoon toetsen door de vragen te stellen aan het model.
Ik vertrouw er op dat je ongelijk zult krijgen.

Bedenk dat China ook een land is waar eer sterk in de cultuur verweven is. De goede naam van Alibaba te grabbel leggen lijkt geen strategisch logische keuze.

Ik verwacht eerder dat dit model zo goed wordt gemaakt dat de Amerikaanse concurrentie haar markt dominantie gaat verliezen, en dat zal blijken dat de sacristies van Trump op GPUs heeft geleidt tot innovatie en versnelling van de ontwikkeling in China.

Zo ging dat ook bij mij. Ik kreeg drie dagen geen toegang tot een mainframe dat ik nodig had en als gevolg daarvan verbeterde ik het algoritme waardoor het op een normale PC zelfs sneller liep dan de versie van mijn collega's op het mainframe.

Dus ik verwacht juist veel van de modellen van Alibaba.

[84hannes]

Bedenk dat China ook een land is waar eer sterk in de cultuur verweven is.

De vraag is wel wat je als eer ziet. Persoonlijk vind ik bij een bedrijfsbezoek data van computers stelen namelijk niet eervol, maar ik ken meerdere anekdotes waaruit blijkt dat Chinese delegaties daar niet voor terugschrikken en eigenlijl verwachten dat wij dat ook zouden doen.

Je kunt jouw hypothese m.b.t. licenties gewoon toetsen door de vragen te stellen aan het model.

Als jij de plannen van de communistische partij met een paar vragen denkt te kunnen ontrafelen dan snap ik dat je er alle vertrouwen in hebt en kan ik je niet van het tegendeel overtuigen.

[Reactie gewijzigd door 84hannes op 21 september 2024 08:51]

[djwice]

Mijn verwachting is dat de Chinese regering geen belang heeft bij het verstrekken van verkeerde informatie over licenties via de (offline) modellen van Alibaba, zeker niet als dat makelijk te valideren is.

Jij verwacht dat het model wel bewust gemanipuleerd is om op dat gebied verkeerde informatie te verstrekken. Daarom zeg ik: test het.
Mijn veronderstelling is dat je dat zou kunnen doen door vragen aan het model te stellen.
Je kunt dan dezelfde vragen stellen aan Amerikaanse modellen en de antwoorden vergelijken.
Daarnaast kun je met een jurist samen de antwoorden valideren met de originele tekst van de betreffende licentie.

Dan weet je daarna of je het model beter of slechter kunt vertrouwen op licentie advies t.o.v. andere modellen.

[Reactie gewijzigd door djwice op 21 september 2024 09:24]

[84hannes]

1) Amerikaanse bedrijven is niet hetzelfde als Amerikaanse overheid
2) als ik het model verifieer op 1 onderwerp kan ik niet vertrouwen dat het op alle punten goed werkt

Jij focust je nu op 1 onderwerp, licenties en denkt dat de Chinese overheid je niet op enig ander gebied probeert te manipuleren. Zoals gezegd, niemand kan je niet van het tegendeel overtuigen.

[djwice]

Je kwam zelf met het licentie voorbeeld:

Denk eens na over (intellectueel) eigendom; wat gaat het taalmodel mijn adviseren over copyrights en licenties?

Ik geef slechts aan valideer je statement in plaats van verdenkingen te verspreiden over een bepaald onderwerp.

Kom met informatie die wél waar is in plaats van mensen bang of ongerust maken voor dingen die niet aan de orde zijn.

Alibaba is net als AWS of OpenAI een bedrijf en niet gelijk aan de regering.

Je kunt me overtuigen van iets als je met controleerbare informatie komt. Zoals bijvoorbeeld dat de oud Google topman een uitspraak doet over de staat van Chinese AI modellen die aantoonbaar niet klopt.

OT
Ooit goed opgelet dat bedrijven focussen op dat CommonCrawl en OpenAI hun website content niet gebruiken en bijna tot geen aandacht geven aan andere partijen?
Voor meer dan 1 miljard pagina's (32% van de internet content uit het westen) is sinds afgelopen december die keuze gemaakt.
Unfair advantage voor die anderen? Of gewoon onkunde?

[84hannes]

Je kwam zelf met het licentie voorbeeld:

Gelukkig, ok was al een beetje bang dat ik daarin niet duidelijk was.
Ik gaf slechts een voorbeeld van wat hoe een taalmodel een bias zou kunnen hebben.

[Bender]

Waarom haal je Musk aan als 'zonder censuur' terwijl hij juist met zijn Twitter accounts verwijderd als iemand zijn mening hem niet aanstaat.

[Yzord]

Ik gebruik gewoon DuckDuckGo AI Chat en die voldoet prima voor mijn dingetjes. En is nog retesnel ook en gebruikt GPT-4o.

[assembler]

Er staat een fout in de titel: open sourece -> open source

[RobjeDopje]

Daarvoor heb je de "feedback" knop rechts boven het artikel

[84hannes]

Daarvoor heb je de "" knop rechts boven het artikel

En die feedback-knop werk super onhandig en de crew wil dat niets aan veranderen omdat de verwoording van de klacht anders is dan ze graag zien.

[djwice]

Lokaal modellen draaien zonder installatie in je browser:
https://chat.webllm.ai/#/

Dat kan ook vanaf je eigen server:
https://github.com/mlc-ai/web-llm-chat

Werkt ook met je GPU.