Baidu ontkent dat Chinese leger zijn AI-chatbot Ernie Bot gebruikt

Baidu ontkent dat zijn ChatGPT-tegenhanger Ernie Bot gebruikt wordt door een researchafdeling die betrokken is bij het Volksbevrijdingsleger van de Chinese overheid. Een krant uit Hongkong meldde dat de AI gebruikt werd om militaire scenario's te analyseren.

Het Chinese techbedrijf Baidu zegt in een verklaring tegenover onder meer Forbes: "We zijn niet op de hoogte van het betreffende onderzoeksproject. Als ons large language model daarvoor gebruikt zou worden, dan is dat de publiekelijk beschikbare variant online." Op 12 januari meldde de South China Morning Post dat een researchlab Ernie Bot gebruikte om militaire informatie zoals gevechtsscenario's te analyseren. De generatieve AI moest volgens de krant uitkomsten van bepaalde gevechtsstrategieën voorspellen.

Analisten redeneren dat een dergelijke aantijging tegen Baidu tot gevolg kan hebben dat de Verenigde Staten sancties opleggen aan het bedrijf. Aandelen in het bedrijf worden zowel in Hongkong als in New York verhandeld. Ernie Bot is een ChatGPT-tegenhanger van Baidu en werd begin 2023 uitgebracht.

Reacties (48)

[Veneficus]

Interessant dat ze een LLM denken te willen gebruiken voor het voorspellen van strategische uitkomsten. Een LLM is een taalmodel, wat in essentie informatie in een coherentie manier aan elkaar kan knopen. In die zin zijn het niet per sé kans-voorspellende modellen. Daarvoor zou ik toch echt een ander model trainen...

[kipppertje]

Dat ligt er helemaal aan hoe de voorspellende gave gebruikt wordt. Met name complexere scenario's die uitgebreid omschreven zijn zouden misschien toch best aardig geanalyseerd kunnen worden. Zoals: ik heb deze tank met 10 pagina's aan gedetailleerde specificaties, en mijn tegenstander heeft deze tanks. Het terrein bestaat uit deze specificaties. Wie heeft er een voordeel, hoe groot is dat voordel en waarom?

Misschien dat er modellen gebouwd kunnen worden die dit nog beter kunnen, maar dan moet je ze wel hebben én het is sowieso nuttig om bestaande modellen te vergelijken om te kijken of er nieuwe inzichten te behalen zijn.

[Luminair]

Zoals: ik heb deze tank met 10 pagina's aan gedetailleerde specificaties, en mijn tegenstander heeft deze tanks. Het terrein bestaat uit deze specificaties. Wie heeft er een voordeel, hoe groot is dat voordel en waarom?

Wat geeft je het idee dat een LLM op zo'n specifieke vraag een echt waardevol antwoord kan geven? In mijn ervaring doet een LLM het erg goed met dingen die al vaker zijn gevraagd of besproken (zoals Stack Overflow Q/A), maar zodra het meer esoterisch wordt valt het uit elkaar. Dan gaat het dingen verzinnen of ontkennen, afhankelijk van de parameters van het model.

[Skit3000]

Behalve als je de vraag opdeelt in kleine hapjes en zo een 'piramide aan waarheden' opbouwt die je daarna weer terugvoert.

Ik zie een AI inderdaad een heel raar antwoord geven op de vraag "wie wint er als Amerika en China gaan vechten", maar als je het gebruikt om grote lappen tekst te analyseren om te achterhalen hoe Amerikaanse aanvalseenheden in elkaar zitten, in welke volgorde bepaalde missies elkaar opvolgen, welke wapens wanneer zijn ingezet tegen wie, etc, dan kan je (en ook AI) aan de hand daarvan vast wel een aardige inschatting maken wat bepaalde militaire scenario's succesvoller maken dan andere.

[kimborntobewild]

Dan moet het LM-model niet alleen verstand hebben van cultuur, politiek en religie, maar er ook goede inzichten over hebben. Want al die punten zijn van belang inzake of en hoe een oorlog zich wel of niet ontwikkeld (bijv. naar omringende gebieden/landen).
Gezien het feit dat GPT me dagelijks foute antwoorden geeft, of helemaal geen nuttig antwoord heeft op allerlei vragen, zie ik de huidige LM"s nog niet als zijnde geschikt om oorlog te voeren danwel Skynet achterna te gaan.

[Skit3000]

Een enkele vraag geeft vaak inderdaad nooit het juiste antwoord, maar vraag hetzelfde 100 keer op 100 verschillende manieren en er komt al een duidelijker beeld naar voren.

[Luminair]

Maar dan heb je ook 100 verschillende keren kans op (kleine, maar invloedrijke) errors. Die LLM gaat niet bij elke branch die je doet kijken of het wel klopt en volgt, dat moet je helemaal zelf doen. Je kunt je dan af gaan vragen waarom je het niet beter zelf met experts kunt doen (die ook inventiever zijn) dan een LLM die dingen herkauwt.

[Skit3000]

En je laat de LLM (of een ander algoritme) die branches met elkaar vergelijken en zodra meer dan 95 van de 100 met elkaar overeen komen, die variant accepteren als "de waarheid". Alleen als de het aantal soortgelijke opvattingen lager is dan je drempelwaarde, laat je er een mens naar kijken.

[Luminair]

Wat je zegt raakt kant noch wal. Als ik GPT in delen vraag een recept te maken (“wat is stap 3 van een recept om koekjes te bakken?”), dan moet je elke stap controleren op juistheid. Als stap twee dan zegt, “voeg lood toe,” weet je direct dat de rest van de stappen ook niet gaan werken.
Je kunt die resultaten niet (automatisch) met elkaar vergelijken of ze ‘overeenkomen’. Wat bedoel je daar überhaupt mee? Wil je de LLM *zelf* gaan vragen of wat die zei correct was? Dat deden een aantal advocaten in de VS ook, en het ging hen niet geweldig af.

[kimborntobewild]

Dat deden een aantal advocaten in de VS ook, en het ging hen niet geweldig af.

De advocaten vroegen zelfs specifiek of de gegevens niet waren verzonnen door GPT. Volgens GPT waren de gegevens echt.
Ze waren echter compleet uit de duim gezogen...

Nee... de komende 25 jaar verwacht ik geen zodanige doorbraak in de techniek dat je een computer moet vragen hoe je oorlog moet voeren.
Ik weet trouwens wel een antwoord op de vraag hoe je geen oorlog moet voeren, maar zo'n 97% van de mensen zullen die oplossingen niet accepteren.

[Veneficus]

Dan nog denk ik dat het niet zo gaat werken. Iemand met wat meer in-depth kennis van de architectuur moet me corrigeren als ik het fout heb, maar een LLM is volgens mij een completion-algoritme: welk volgend woord zou het beste passen in de context?

Waarvoor ze het wél in zouden kunnen zetten is het genereren van een code of het bouwen van een architectuur waarmee een voorspellend algoritme gebouwd kan worden.

[Reactie gewijzigd door Veneficus op 22 juli 2024 19:40]

[DigitalExorcist]

Dan nog zou je liever een compleet model met alle strategische analyses en performance en weergegevens en alles willen hebben als input, de voor- en nadelen willen laten uitrekenen, en als je dat nodig vindt zou je een LLM kunnen gebruiken om daar een begrijpelijk verhaal van te laten maken.

Een LLM op zichzelf biedt hier vrij weinig meerwaarde.

[Alfa1970]

Waarom niet?

Een LLM is in de kern niets meer of minder dan een kansberekening.
Het berekent de kans dat een bepaald woord volgt op het vorige woord, en neemt daarbij een bepaalde bias en bandbreedte in beschouwing, en kiest vervolgens at random een van de berekende mogelijkheden.

Als je de LLM traint met data relevant aan het onderwerp, bijvoorbeeld strategische informatie van veldslagen uit het verleden en het heden, dan is het mijns inziens niet ondenkbeeldig dat de LLM een redelijke tot goede voorspelling kan geven van wat de volgende zetten zullen zijn in het conflict.

Zeker als je dat ook met actieve data uit het "slagveld" voedt en van de leiders van beide partijen.
Het is vast en zeker bekend wat soort opleiding bepaalde leiders hebben gehad, en wat voor soort doctrine die zullen aanhangen. Mensen zullen over het algemeen niet zo snel van die doctrine afwijken.
En al helemaal als die leiders veteranen zijn die al eerder de leiding in een conflict hebben gehad.
Die zullen zeker bij aanvang kiezen voor een eerder gebruikte, succesvolle tactiek.
Dat geeft mijns inziens een hoge mate van voorspelbaarheid.

[P_Tingen]

Tot op zeker hoogte. Je moet namelijk wel voldoende, redelijk kloppende verhalen hebben. De geschiedenis wordt geschreven door de winnaars, niet door de verliezers en de winnaars zullen wellicht een gekleurd beeld hebben van wat er gebeurd is. Het verhaal van de verliezers is dan ondervertegenwoordigd, waardoor het LLM een verkeerd beeld van de werkelijkheid krijgt. En garbage in, is garbage out

[Alfa1970]

Voor geschiedenis zoals het in het gemiddelde schoolboek staat, helemaal waar, maar daadwerkelijke verslagen van veldslagen, dan kun je er redelijkerwijze vanuit gaan dat deze veel accurater zijn dan het gemiddelde geschiedenisboekje op school.

En inderdaad, de uitkomst is net zo accuraat als de data die erin gestopt is zoals met elk informatie systeem.

[Walrave]

Er zit waarschijnlijk geen grens tussen Baidu en de CCP dus de nodige taak specifieke versie is vast samen ontwikkeld. Dat Baidu dat niet wil verklappen wil niet zeggen dat het niet gebeurt is.

[87Vortex87]

Hoezo? Je kunt ook geen Linux commando's invoeren, behalve als je zegt dat de bot zich moet voordoen als linux terminal.

Aangezien de bot van chatgpt tegenwoordig vragen aankan van 200/300 pagina's. Kun je de simulatie aardig gedetailleerd maken.

[Auredium]

Los van het wel of niet gebruiken van een AI denk ik dat het niet verstandig is om te vertrouwen op de uitkomst van die AI. Dit is niet hetzelfde als wat plaatjes of filmpjes met AI genereren. Je zal moeten weten hoe de AI tot zijn conclusie is gekomen en nazoek moeten doen over of het wel klopt. Je kunt in een dergelijk gebruik niet 'lui' zijn en zomaar vertrouwen op de AI want dat kan veel levens kosten.

Het is ook een indicatie waarom regelgeving omtrent de beperking van AI vrij weinig zin heeft. Als de EU of de VS AI aanbanden leggen qua ontwikkeling zal een land zoals China, Rusland of Iran daar zich niets van aantrekken. AI is wat dat betreft ook gewoon een wapenrace.

[DMT]

Je kunt in een dergelijk gebruik niet 'lui' zijn en zomaar vertrouwen op de AI want dat kan veel levens kosten.

Dat interesseert foute regimes niet echt.
Rusland draait er in Oekraïne ook manschappen doorheen alsof het niets is.

[Tjidde]

Tot het levens gaat kosten van naaste van sleutel vertrouwelingen. Dan kan het ineens hard gaan.

Zodra de sleutel vertrouwelingen een leider niet meer vertrouwen is het moeilijk als leider om je macht te houden.

[Alfa1970]

Ik weet niet of je het "nieuws" het afgelopen jaar hebt bekeken, maar er zijn plenty zogenaamde vertrouwelingen verdwenen en/of vermoord.
Dat houd hem ook niet tegen.
Iemand die waanzinnig is oordeelt niet zoals normale mensen en je kan die derhalve ook geen normale gedrag eigenschappen toekennen.

[namelessness]

dat doet Oekraine ook. manschappen doorheen alsof het niets is.

[Tjidde]

AI kan je mits goed gebruikt, aardig vertrouwen.

Maar men moet het wel als een gereedschap blijven zien. Die in de kist ligt met nog meer handige dingen en je kennis.

Zo is bijvoorbeeld het onderzoeken of een vlek op je huid gevaarlijk is, met AI beter te detecteren dan met het oog. Waarna toch altijd een monster genomen zal worden en getest in een lab.

In zo'n voorbeeld kan je een positief resultaat uit zo'n soort AI best wel vertrouwen.

Ga je beleid laten maken met AI? Dan is het extreem lastig om te beoordelen of die keuze goed geweest is. Ergens een edge case in je data en je antwoord is misschien wel levensgevaarlijk. Wat bij beleid van een leger kan.

Ik vraag mij af hoe lang de wapenrace nog duurt, bij te veel vertrouwen kan het best wel veel schade brengen aan de structuur van een organisatie waardoor implosie een optie is. Als Xi door te veel vertrouwen op AI geen goede vertrouwelingen meer om zich heen heeft kan het snel gedaan zijn bij een opstand.

Dan heb je het nog niet over wat als een ontwikkelaar(of groepje) bewust de AI bepaalde vraagstukken op een bepaalde manier beantwoord.

[litebyte]

Specifieke computer modellen worden al decennia lang gebruikt door militaire diensten voor risico en scenario analyses. Nu is dat mogelijk (deels) op basis van Ernie Bot. Het zal me overigens verbazen als ze niet talloze andere (westerse) modellen ook gebruiken - specifiek toegepast natuurlijk.

Ai gaat uit van bekende data, zal sowieso specifiek worden toegepast, dat zal in de VS niet anders zijn dan in China, rusland of elk ander land dat er gebruik van maakt.

[joker1977]

Tja, dit nieuws heeft geen enkele waarde: Baidu is geen betrouwbare partij en als er al sprake zou zijn van een speciale variant van hun AI-bot welke gebruikt wordt door het Chinese leger dan zou dat onder een non-disclosure agreement vallen en zou het bestaan (dus) ontkend worden.

Ook is duidelijk dat het bevestigen van dit gebruik mogelijk sancties zou opleveren, dus geen van de (mogelijk) betrokken partijen is er bij gebaat dat deze informatie eerlijk naar buiten komt.

[Cyb]

De wetenschappers van het project van het Chinese "Volksbevrijdingsleger" geven zelf openlijk aan dat ze Baidu gebruikt hebben. Dat Baidu niet zijn klantgegevens er aan weet (of wilt) aan te linken, is meer een intern probleem van Baidu.

[haam]

Sowieso vind ik dat dit soort nieuws eigenlijk nooit nieuwswaarde heeft.
Er zullen niet heel veel partijen zijn die een negatief verband zullen bevestigen (los van de werkelijkheid).

Met andere woorden, met of zonder dit bericht weet ik net zoveel.

[mrbullet]

Chinese overheid zijn net de Russen, cynische leugenaars.
Hun uitspraken hebben geen enkel waarde.

[Osiummaster]

En de Amerikaanse overheid natuurlijk.

Tenzij er bewijsmateriaal geleverd wordt is het erg gevaarlijk om enig overheid nog te geloven.

[Alfa1970]

Noem een overheid die geen cynische leugenaars zijn.

Ik zeg maar, "ik heb er geen actieve herinnering aan"...

[namelessness]

dat is zo'n AI bot, moet je kijken wat voor voor profile foto hij heeft.

[Mjappio]

Tenzij het verhaal dat Baidu nu verteld wel eerlijk is, dan is Baidu er wel degelijk bij gebaad dat deze informatie eerlijk naar buiten komt. Probleem is, Baidu zal nooit een ander antwoord geven dan het huidige, 'wij in het westen' zullen dat antwoord nooit vertrouwen.

[Simon Weel]

Duh. Elke AI wordt door alle legers ter wereld gebruikt.

[maurict]

Zou het leger van Vaticaanstad ook al zo bijtijds zijn? Ik dacht dat ze nog geen eens buskruid gebruikten

[Alfa1970]

De laatste keer dat ik er was, 30 jaar geleden, droegen ze gewoon machine pistolen net als de politie die her en der in Rome rondliep.

[Zyphlan]

Is het echt een slim idee om een AI te gebruiken die al inherent een bias heeft?.

But the Cyberspace Administration of China ruled that they should "reflect core socialist values" and avoid disseminating information which undermines "state power" or "national unity".

"Let's talk about something else."
That is a frequent response you get from China's newest sensation, Ernie, if you ask it "difficult" questions.
The chatbot, launched by search engine giant Baidu, deflects anything deemed too sensitive.

https://www.bbc.com/news/world-asia-66727459

en zoals @joker1977 dan zouden ze een speciale variant moeten gebruiken en dan zitten ze al gebonden aan de national security law wat verplicht dat ze het niet mogen erkennen en ook niet ertegenin kunnen gaan.

[Reactie gewijzigd door Zyphlan op 22 juli 2024 19:40]

[SunnieNL]

Het komt nu wel heel dicht bij "Greetings Professor Falcon, shall we play a game"
Benieuwd of de uitkomst van Baido na analyse neerkomt op "A STRANGE GAME. THE ONLY WINNING MOVE IS NOT TO PLAY.. ... HOW ABOUT A NICE GAME OF CHESS?"

[dutchnltweaker]

Een krant uit Hongkong meldde dat de AI gebruikt werd om militaire scenario's te analyseren.

Wel interessant, wat kan er met zo een analyse gedaan worden dan. Dat ontgaat met. Ik neem aan dat een AI geen goede strategie kan bedenken wat wij zelf niet kunnen, de AI krijgt namelijk input van ons (mensen).

[Alfa1970]

Het voordeel van het gebruik van een AI is dat die dat véél sneller kan dan een mens.

Als je daarbij bedenkt dat een leger een AI variant zal gebruiken zonder enige restricties en gevoed wordt met actieve data feeds relevant aan het scenario.

Die snelheid van reageren op een slagveld kan de uitkomst van een gevecht aanzienlijk beïnvloeden.

Als je kijkt naar de guerrilla tactieken die Oekraïne uitvoert is het zeer handig om snel te bepalen waar het het handigst is om een drone met een bommetje te laten ontploffen. Of om te bepalen dat misschien een Himars raket de betere optie is.

Hoe sneller je het doel identificeert en de beste aanvalstactiek bepaalt, des te groter de kans is dat de aanval slaagt.

[Cyb]

Baidu wordt hier in verlegenheid gebracht, maar dat was niet echt het doel van de Chinese wetenschappers om daar mee naar buiten te komen. Het was meer een technisch detail, wat hier wordt uitgelicht. Ze kwamen er mee naar buiten omdat ze bezorgd zijn om de mogelijke gevolgen:

it could lead to a situation similar to that depicted in the Terminator films.
[...]
“We must tread carefully. Otherwise, the scenario depicted in the Terminator movies may really come true,”

Ook interessant:

Sun’s team discussed one of their experiments that simulated a US military invasion of Libya in 2011. The military AI provided information about the weapons and deployment of both armies to the large language models. After several rounds of dialogue, the models successfully predicted the next move of the US military.

Verder is het natuurlijk niet echt vreemd dat het Chinese leger gebruik maakt van AI en daarvoor naar een commerciele partij stapt. In het Westen zal hetzelfde gebeuren. Het enige verschil is dat China een onzekere factor is voor het westen, en daarmee geen bondgenoot is.

[Jeroen hofman]

@Auredium
Inmiddels wordt AI-chatbot ook al een probleem, misbruik
IDD Je kunt in een dergelijk gebruik niet 'lui' zijn en zomaar vertrouwen op de AI want dat kan veel levens kosten. Ik voorzie dan nog veel meer problemen hier door komen.
WTF wat doen en kunnen we straks nog zelf, en waar is de bron. helemaal afhankelijk van AI die een verhaaltje uitspuugt, genereerd. en in hoeverre is dit betrouwbaar en zomaar vertrouwen op de AI ?

[LOTG]

Baidu ontkent dat Chinese leger zijn AI-chatbot Ernie Bot gebruikt

We zijn niet op de hoogte van het betreffende onderzoeksproject.

Dat zijn toch twee heel verschillende dingen. Sterker nog ze ontkennen helemaal niets, en zover Baidu weet kan het prima zo zijn.

Sowieso, Chinees bedrijf dus de overheid heeft altijd een flinke vinger in de pap. De oprichter en CEO is ook soort van lid van de CCP (via een advies orgaan ervan).

[Jerie]

Ieder Chinees bedrijf is uiteindelijk een stroman van de CCP. Er is altijd een mannetje embedded in het bestuur, en als die met z'n ogen knippert dan is de rest angstvallig stil. De reactie van Baidu is dan ook eigenlijk een reactie van de CCP.