Samenwerkingsverband bedrijven wil benchmarks voor AI gaan standaardiseren

Een samenwerkingsverband van bedrijven onder aanvoering van Meta en IBM wil benchmarks voor AI-toepassingen gaan standaardiseren. Daarnaast wil de coalitie, met daarin onder meer Hugging Face en AMD, de open ontwikkeling van AI-tools stimuleren.

Behalve bedrijven zitten ook universiteiten bij het samenwerkingsverband dat de naam AI Alliance heeft gekregen, zo blijkt uit de aankondiging. Tot de deelnemers behoren AMD, Anyscale, CERN, Cerebras, Cleveland Clinic, Cornell University, Dartmouth, Dell Technologies, Hugging Face, Imperial College London, Intel, INSAIT, Linux Foundation, NASA, NSF, Oracle, Red Hat, Roadzen, ServiceNow, Sony Group, Stability AI, University of California Berkeley, University of Illinois, University of Notre Dame, The University of Tokyo en Yale University.

De groep wil AI-benchmarks gaan ontwikkelen, uitbrengen en standaardiseren om zo de prestaties van AI-systemen goed te kunnen meten. Ook wil de groep de open ontwikkeling van kunstmatige intelligentie aanjagen, zodat grote stappen niet achter gesloten deuren worden gezet en andere onderzoekers kunnen meekijken. Dat moet de ontwikkeling verantwoord houden en de risico's beperken.

Hoe die samenwerking er in de praktijk uit gaat zien, is nog onbekend. Dergelijke samenwerkingsverbanden zijn er veel en sommige leiden tot succes, terwijl andere in de vergetelheid verdwijnen. Bekende voorbeelden van samenwerkingsverbanden zijn bijvoorbeeld de Wireless Power Consortium die de Qi-standaard voor draadloos laden ontwikkelt en de Connectivity Standards Alliance die smarthomestandaard Matter maakt.

Reacties (8)

[tjanssen]

Want de nieuwe wapenwedloop moet toch een winnaar kennen...

[ronaldmathies]

Is toch logisch dat er dergelijke benchmarks komen? Hoe kan je anders verschillende kaarten tussen verschillende bedrijven vergelijken.

We hebben overal benchmarks voor.

[tjanssen]

Dat is ook mijn punt. Ik denk dat dit eerder een wapenwedloop veroorzaakt, en dat men aan het punt van "een verantwoordelijke ontwikkeling" voorbij zal gaan.

[Dnnk]

Een benchmark kan toch ook gaan over de veiligheid en betrouwbaarheid van AI? Ik kan uit de aankondiging niet opmaken dat ze zich alleen willen focussen op wie het beste model maakt en daar benchmarks voor uit willen brengen.

[Zoop]

Hoe zou je een een verantwoordelijke ontwikkeling kunnen doen zonder metingen, zonder benchmarks?

[JJDN]

Het maken van een goede benchmark is een must. Er zijn een stortvloed aan proprietary AI algoritmen waarvan we nooit de performance kunnen benchmarken en zodoende ook nooit kunnen vergelijken. Met name in de kritieke settings (medisch, infrastructuur/autonome voertuigen, beveiliging, militair, etc.) is het wel degelijk fijn als we weten welke algoritmen het in welke setting wel en niet goed doen.

Er zijn al mooie initiatieven (https://huggingface.co/sp...ceH4/open_llm_leaderboard) of AI challenges (https://grand-challenge.org/) die benchmarken binnen ieders domeinen.

Als nu grote partijen met elkaar (en een gezond wederzijds vertrouwen en wantrouwen) de benchmarks in elkaar zetten heb je in ieder geval een goede basis.

[Satkan]

OpenAI, Microsoft en Nvidia zijn wel grote gaten in het lijstje. Ben eens curieus met welke tegenhanger zij zouden maken.

[Jefrey Lijffijt]

Zij zijn samen de GPT-hype-generator-alliance gestart.

Zonder dollen, AI en generatieve AI gaan veel brengen, maar we kunnen het best zo realistisch mogelijk blijven rond wat het wel en niet kan. De communicatie van OpenAI draagt daar niet aan bij.