Gouverneur van Californië blokkeert wetgeving met waarborgen voor veilige AI

De gouverneur van Californië, Gavin Newsom, heeft wetgeving geblokkeerd die de veiligheid van generatieve-AI-modellen moest waarborgen. Newsom erkent dat er maatregelen nodig zijn, maar vindt het wetsvoorstel te alomvattend.

De SB 1047-wet kwam met veiligheidsverplichtingen voor makers van geavanceerde of dure AI-modellen, schrijft Reuters. Ontwikkelaars moesten ook een 'kill switch' integreren in het AI-model, waardoor het eenvoudig uitgezet kon worden. Met de wet zou er ook een staatsautoriteit ingesteld worden om toezicht te houden op de ontwikkeling van toekomstige, geavanceerde 'frontier models'.

Onder meer Googles moederbedrijf, Microsoft, OpenAI en Meta hadden kritiek op de wet en vonden deze te ver gaan. Dat vindt ook Gavin Newsom, gouverneur van de staat. Hij heeft daarom zijn veto uitgesproken en daarmee de wet geblokkeerd. Hij zegt dat de wet de 'juiste intenties had', maar te breed was. Zo had de wet volgens Newsom rekening moeten houden met of systemen gevoelige data gebruiken, of ze in 'hoogrisico-omstandigheden' gebruikt worden, of dat ze zelf besluiten nemen.

"In plaats daarvan stelt de wet strenge standaarden in voor zelfs de basaalste functies, zolang er een groot AI-model wordt gebruikt. Ik geloof niet dat dit de beste manier is om inwoners te beschermen tegen de echte dreigingen van de technologie", zegt Newsom. Hij erkent dat kunstmatige intelligentie risico's heeft voor bijvoorbeeld de democratie en online privacy, maar vindt dat de wet te veel focuste op de grootte van een model. Kleinere modellen kunnen ook schadelijk zijn, terwijl die niet onder SB 1047 vallen.

De wet zou inwoners daardoor de schijn van veiligheid geven, maar ze niet per se volledig beschermen. Newsom wil daarom met de staat, experts en wetenschappers werken aan maatregelen om de schadelijke gevolgen van AI te beperken.

Reacties (33)

[Thijzer]

Alle grote jongens doen trouwens mee aan deze Ai race. Waarom deze race eigenlijk? Men is ervan overtuigd dat wie eerst AGI Artificial General Intelligence ontwikkeld, de markt zal domineren met een product dat zowat alles kan wat een mens kan maar beter. Nu zitten we in de (ANI) Artificiële Narrow Intelligence. Een Ai die goed is in specifieke situaties maar minder goed in het bredere kader. Men meet steeds ten opzichte van de mens.

Momenteel zit de generative Ai in een zwarte doos. Kan enkel antwoorden verschaffen op een vraag, uw chat als historieke context.
Multi-modal modellen doen hetzelfde, dit model heeft geen wereld beeld/model, physica is dus aangeleerd begrip.

Dus de generative Ai is het probleem niet.

Maar de Ai robot met een locale multi-modal, die zelf kan leren, redeneren en reflecteren. Dan, dan wordt het pas gevaarlijk...

Momenteel moet alles aangeleerd worden via puppetering of in een 3D sim. Wat allemaal best ok is, je trained voor het beste resultaat. Het probleem, training is traag, kost veel tijd/resources/kapitaal. De Ai die zelf leert, en blijft leren is dus kost effectiever. Wat dus een logische volgende stap is, maar die stap is dus gevaarlijk.

[consenso]

Dezelfde bekommernis kan je uiten over de lijst van verboden AI systemen onder EU AI Act.

Wanneer je die lijst erop naslaat kan je bijna elk systeem gaan verbieden.

Probeer zelf maar even enkele (nuttige) systemen te ontdekken zonder onder het volgende te ressorteren:

1. Subliminally or purposefully manipulative systems
2. Exploiting vulnerabilities (age, disability or socio/eco. situation)
3. Social scoring based social behaviour or personality characteristics
4. Predicting criminal behaviour → exclusively if based on profiling
5. Create or expand facial recognition databases through untargeted scraping of internet or CCTV
6. AI systems to infer emotions in workplace and education (except for medical or safety
reasons)
7. Biometric categorisation to deduce race, political opinion, trade union membership, religion,
sex life or sexual orientation (unless in law enforcement)
8. Real-time remote biometric identification in public spaces for law enforcement (unless
exception and conditions fulfilled)

[Coolstart]

Probeer zelf maar even enkele (nuttige) systemen te ontdekken zonder onder het volgende te ressorteren:

Je kan toch perfect een AI model maken zonder in overtreding te gaan? Ik begrijp niet goed waar de beperking zit?

[ErikT738]

Sommige regels zij wellicht wat vaag (nummer zes bijvoorbeeld), maar over het algemeen is de Europese wetgeving een goed idee. Het wordt alleen nog even afwachten wat de implementatie wordt.

[jdh009]

Het lijstje is onderdeel van een veel uitgebreidere AI Act die per artikel en hoofdstuk door te klikken is:
https://artificialintelligenceact.eu/high-level-summary/

AI-systemen om emoties af te leiden op de werkplek en in het onderwijs (behalve om medische of veiligheidsredenen)

Je mag zaken zoals emoties (bijvoorbeeld stress of frustratie tijdens het werk, een sollicitatiegesprek of een examen) niet meten tijdens dagelijkse activiteiten op de werkvloer of in educatieve omgevingen, tenzij dit strikt nodig is voor medische of veiligheidsdoeleinden. Vind ik zelf vrij duidelijk. De rest van de zaken zijn eigenlijk ook vrij goed te interpreteren volgens mij, er staat naar mijn idee geen woord Chinees.

Systemen zoals dit mogen dus niet op scholen en werkplekken:

Leerlingen die niet opletten in de klas? Camera ziet het en klikt tegen de leraar
[...]
Of ze nu verdrietig zijn, blij of verveeld: leerlingen van de middelbare school Nummer 11 in Hangzhou kunnen het niet meer verbergen. Sinds maart hangen in de klaslokalen drie camera's die hun gezichtsuitdrukkingen lezen en aan hun leraren doorsluizen

https://www.ad.nl/buitenl...tegen-de-leraar~abbdf3ee/

En nog twee voorbeelden van mogelijke scenario's.

Emotion-Driven Personalization in Retail: Systems in retail environments that assess customer emotions to personalize marketing or sales approaches, based on analysis of facial expressions or body language.

Customer Service Analysis Tools: AI systems that analyze customer emotions during interactions with service representatives, either in-person or in call centers, to assess service quality or customer satisfaction.

Bron: https://www.modulos.ai/bl...ohibited-under-eu-ai-act/

En wat Prorail/NS deed via CBS Outdoor een tijd geleden (2017) mag ook niet (meer, al mocht het toen eigenlijk ook al niet voor dit doeleinde volgens het artikel).

Nietsvermoedend staart de treinreiziger in de nieuwe IJ-hal van het Centraal Station in Amsterdam naar een reclamezuil waarop een reclame voor een nieuw mobieltje is te zien. Wat hij niet weet is dat een handig verborgen cameraatje precies in de gaten houdt hoe lang hij naar dit scherm tuurt. Ook informatie over geslacht en leeftijd wordt doorgegeven. En, ja, ook of hij lacht of niet.

[...]
Exterion kijkt overigens ook naar het analyseren van emoties: is iemand blij of juist niet? Deze gegevens zijn echter nog niet betrouwbaar genoeg om te kunnen bijdragen aan betere profielen, stelt de marketingdirecteur.

Bron: https://www.volkskrant.nl...rds-op-stations~b34e8214/

En:

AI emotion-detection software tested on Uyghurs
A camera system that uses AI and facial recognition intended to reveal states of emotion has been tested on Uyghurs in Xinjiang, the BBC has been told.

[...]
A human rights advocate who was shown the evidence described it as shocking.

Bron: https://www.bbc.com/news/technology-57101248

[Reactie gewijzigd door jdh009 op 30 september 2024 21:29]

[consenso]

Ik stel me vooral vragen bij nummer 1. nu de meeste algoritmes die we vandaag kennen, kunnen beschouwd worden als manipulatieve systemen. Dit nu ze, doorgaans, gericht zijn op het aanzetten tot een bepaald gedrag. Inzet van AI-systemen voor marketing / of scroll again lijkt me dan al een a priori-no go.

[Reactie gewijzigd door consenso op 1 oktober 2024 00:05]

[bzuidgeest]

Prima toch om ook de bestaande manipulatie in media en reclame en gaming etc even terug te fluiten? Dat het ingeburgerd is wil niet zeggen dat het goed is.

[Zoop]

Gevaar zit hem dan alleen in handhaving, want je kan er donderop tegen zeggen dat dit nog steeds gaat gebeuren op grote schaal. Je kan ook niet altijd achter alles komen (zeker met buitenlands spul), tenzij je gaat verplichten dat AI modellen volledig open zijn of iets dergelijks. En uiteraard zal je nog altijd bewust malafide partijen hebben die al dit soort dingen wel maar al te graag doen.

Het feit dat een hoop mensen door rood rijden is nog geen reden om die regel af te schaffen maar het is wel een beetje symbool politiek als er geen reële manieren zijn om het te handhaven.

[Teigetje!]

Het gaat erom dat bedrijven zich terdege bewust zijn van het feit dat er opgetreden kan worden. Hiervoor hoeft niet vanaf het begin volledige openheid te zijn. Het is met dit soort zaken zo dat als er signalen zijn dat er iets niet klopt de handhaving wel degelijk opgepakt wordt. Dan zal wel inzage geëist worden en als er zaken dan niet kloppen kan dit een erg dure aangelegenheid worden. Zie de zaken tegen Google, Meta etc.

Zeggen dat er geen handhaving mogelijk is vind ik een beetje te kort door de bocht

[Zoop]

Zie de zaken tegen Google, Meta etc.

Jaren after the fact wanneer al de schade al geleden is, ondertussen liggen die partijen er niet bepaald wakker van en de boetes in verhouding met hun omzetten niet noemenswaardig.

Begrijp me niet verkeerd, hartstikke goed dat dit gebeurd, maar het mag van mij een paar tandjes harder. Want ook met de voorbeelden die je noemt vind ik de handhaving (nog) zwaar beneden peil.

[bzuidgeest]

Eens met jou en @Teigetje! De waarheid zit natuurlijk in het midden. Continue handhaving zou leiden tot een politiestaat. Maar het lijkt soms nu wel erg zwak. Maar buiten consumenten belangen zijn er ook economische, nationale en internationale belangen. We kunnen Microsoft heel zwaar straffen, maar ik denk niet dat het productiviteit in het algemeen te goede komt als we ineens geen office meer krijgen in de EU markt. (wellicht niet het beste voorbeeld, maar ik denk dat het idee wel overkomt). De alternatieven zouden dan in moeten burgeren en de issues voor de markt settled en alle compat problemen weg zijn zou even tijd nemen. En tijd is geld. Voor facebook zijn er een hoop zelfstandigen afhankelijk van etc etc...

[Zoop]

Ik geloof echt niet dat Microsoft uit de Europese markt zou stappen, ongeacht de wetten en regels die we opstellen (zolang die maar in belang van consumenten blijft). En het is niet zo dat je maar moet tolereren dat ze wetten overtreden omdat er andere belangen zijn, dat is nou precies wat ik bedoel met symbool politiek, wat is het nut dan van dat soort wetgeving als het "rules for thee but not for me" is? Als ze dit soort wetgeving opzetten dan dient het gehandhaaft te worden ongeacht hoe groot de bedrijven en onze belangen in hen. Hier moet overna gedacht worden wanneer de wetgeving verzonnen wordt, niet achteraf uitzonderingen toe gaan laten. Anders moeten ze het gewoon niet doen.

[Aldy]

Je hebt natuurlijk gelijk dat Microsoft niet zomaar uit de Europese markt zal stappen, maar het voorbeeld dat @bzuidgeest gaf over Office is juist een goed voorbeeld (in tegenstelling wat hij zelf vond). Als de overheden in de EU inclusief de EU zelf gaat verbieden om zelf Office te gebruiken, dan zal Microsoft zich toch achter de oren gaan krabben, want Office is en blijft een verdienste voor ze. Maar ik vermoed dat zoiets niet gaat gebeuren.

[bzuidgeest]

Ik geloof echt niet dat Microsoft uit de Europese markt zou stappen

Ik gaf al aan dat het niet het beste voorbeeld was. Het was ter illustratie van een idee.

"rules for thee but not for me"

Je kan er moeilijk over doen, maar wetten langs strikte lijnen interpreteren is in mijn opinie schadelijker in sommige gevallen dan de wetten niet hebben. Laten we naar de tata steel kijken. Die stoten te veel uit en vervuilen. Als we de regels streng toepassen moeten ze per direct dicht.
Wat denk je dat dit doet voor de werkgelegenheid in die omgeving en de werkgelegenheid bij de toeleveranciers en hun toeleveranciers....
Beslissingen hebben soms enorme impact. En soms is het wellicht beter wat vervuiling te accepteren met een belofte tot beter als het zorgt dat mensen hun salaris houden en dus brood op de plank. Ik denk dat er veel zijn die kiezen voor brood op de plank en wat vervuiling die ze niet zien en misschien nooit wat van krijgen dan een schone lucht die ze niet kunnen eten.
Ik zie het liefst die mensen een goed salaris hebben en schone lucht en grond natuurlijk, maar dat is niet altijd iets dat met een bevel zo maar eventjes geregeld is. Het blijft schipperen soms. Is dat oneerlijk? Ik weet het niet, het is ook niet eerlijk om iemands salaris af te pakken door vanuit gebied ver weg van tata te beslissen dat deze dicht moet..., zeker als er zelf geen gevolgen van ondervind.

[Zoop]

En dat is nou precies waarom we onze planeet nog steeds om zeep aan het helpen zijn. Er zijn altijd "grotere" belangen ... (meestal gewoon ordinair geld).

Ja dat is lullig voor de gemiddelde werknemer, maar het is niet alsof ze die tent alsnog zo dicht pleuren als de markt veranderd of prioriteiten van de aandeelhouders veranderen, ondertussen worden ze een handje boven het hooft gehouden voor decennia voor de door jou genoemde redenen. Wat er op neer komt dat alternatieven niet eens een kans krijgen, want die hebben aan striktere (en dus meestal, duurdere) regels te voldoen en kunnen simpelweg niet concurreren. En de giganten lachen de lul uit de broek en harken des te meer winst binnen.

Klein beetje scheef schuift binnen no-time door naar gigantisch scheef.

Het is mooi dat je aan de werknemers denkt, maar er is met dit soort dingen altijd maar eentje die daar heel veel beter van wordt, en dat is de werkgever die ongestraft wetten mag overtreden.

[bzuidgeest]

Ik denk dat je een beetje te veel in de idealisten hoek hangt. Daar kan je alleen maar ongelukkig van worden denk ik. De realiteit is dat er altijd meerdere belangen zijn. Op elk niveau in de maatschappij, of dat nou een multinational betreft of je lokale voetbal club die bijvoorbeeld een speler beschermt die zich misdragen heeft omdat hij nou eenmaal goed voetbalt en de club daar beter van word.

[The Zep Man]

Probeer zelf maar even enkele (nuttige) systemen te ontdekken zonder onder het volgende te ressorteren:
(...)
Wanneer je die lijst erop naslaat kan je bijna elk systeem gaan verbieden.

Systemen om structuur te geven aan ongestructureerde bedrijfsdata met als doel het efficiënter en effectiever maken van de interne processen.

Het herkennen van complexe patronen in het energienet om de transitie te versoepelen via kleine aanpassingen met grote positieve gevolgen.

Zomaar wat ideetjes. En er zullen er nog veel meer zijn waarbij niemand benadeeld hoeft te worden.

[Reactie gewijzigd door The Zep Man op 30 september 2024 20:23]

[mare]

Ik vind dat best heldere regels met misbruik als reden van hoe je ze intepreteert.

[PCG2020]

Dus jij vindt het prima dat AI-systemen gebruikt gaan worden om de bevolking onbewust of bewust te manipuleren, kwetsbare groepen uit te buiten, mensen een sociale status toe te kennen, mensen te profileren om crimineel gedrag bij anderen te voorspellen, gezichtsherkenningsdatabases uit te breiden door het internet en CCTV-beelden te doorzoeken, mensen te beïnvloeden op de werkvloer en op school, mensen biometrisch te categoriseren om ras, politieke voorkeur, vakbondslidmaatschap, geloof, seksleven en seksuele voorkeur te bepalen of mensen in de publieke ruimte te monitoren voor handhavingsdoeleinden?

Als AI dat allemaal níet doet, kun je het rustig toepassen, aldus de EU

edit: reactie op @consenso

[Reactie gewijzigd door PCG2020 op 30 september 2024 20:24]

[darkshadw]

Maar... dit gebeurd al in landen zoals China...

[Stronk]

Ja, en China's voorbeeld willen we zo graag volgen? Ik snap je punt niet. Volgens mij willen we juist ten allen tijden het tegenovergestelde doen van wat China doet.

[Reactie gewijzigd door Stronk op 1 oktober 2024 08:57]

[consenso]

Ik vind het het ambigu om manipulatie via moderne systemen met menselijke tussenkomst heel normaal te vinden, terwijl dezelfde manipulatie zonder menselijke tussenkomst onmiddellijk verboden moet worden.

Misschien loop ik vooruit op de tijd, maar de discriminatie van automatische systemen is ongezien. Terwijl mensen dagelijks dezelfde "fouten" maken als de geviseerde systemen.

Ken genoeg professionals die een vergadering beginnen met een hallucinatie of bewust manipulatief gedrag vertonen.

[Reactie gewijzigd door consenso op 1 oktober 2024 00:07]

[MornixRS]

Newsom laat zich te makkelijk voor het karretje van grote techbedrijven spannen. Dit illustreert weer mooi de invloed van grote bedrijven op het politieke proces.

[vinkjb]

Sinds wanneer heeft een Gouverneur verstand van AI, die houdt zich toch vooral met politieke dingen bezig...

[Manderlay1]

Ik dacht dat wetgeving opstellen en al dan niet uitvoeren net een politieke taak is. Of heb ik het mis op?

[Sissors]

Dit in tegenstelling tot de andere in Senaat / Assembly die dit wetvoorstel wel erdoorheen hebben gestemd?

[Grrrrrene]

...want politici hebben geen groep specialisten om zich heen om ze te adviseren?

[Roel1966]

Ik blijf AI maar een zeer gevaarlijke ontwikkeling vinden en begrijp dan ook echt niet waarom men er zoveel vertrouwen in stelt. Vooral de i van AI vind ik dus de plank totaal mis slaan want er is niets intelligents aan dat hele AI. Hoe je het ook bekijkt word AI gegenereerd door een device wat alleen in nullen en enen kan 'denken' en er niets bestaat als ongeveer, bij benadering of vanuit intuïtie.

Vind het ook veel te ver gaan dat AI nu zelfs gebruikt word om teksten op te stellen of muziek die vanuit AI dan gegenereerd word. Al dit soort dingen mogen van mij gewoon vanuit de wet verboden worden of in elk geval sterk aan banden gelegd worden.

[AMD and INTEL]

We hadden ook treinen moeten verbieden die sneller gingen dan 50km/h want nu kan je niet meer zo mooi naar buiten kijken want het gaat veel te snel /s

Kijk het is goed dat we data van burgers beschermen, maar we moeten ook nieuwe technologie omarmen wat ons veel kan brengen zoals onderzoek in de medische wereld. Teksten en muziek is gewoon een leuke tool, niks mis mee

[Roel1966]

We hadden ook treinen moeten verbieden die sneller gingen dan 50km/h want nu kan je niet meer zo mooi naar buiten kijken want het gaat veel te snel /s

Misschien als treinen wat langzamer gingen dat er dan veel minder vertragingen waren en mensen minder gejaagd waren.

maar we moeten ook nieuwe technologie omarmen wat ons veel kan brengen zoals onderzoek in de medische wereld.

Wil ik je even corrigeren want AI is geen nieuwe technologie maar puur en alleen een andere benaming voor automatisering. En ja, ik ben daarin heel kritisch en omarm niet zomaar alle nieuwe technologieen want alles heeft een keerzijde. Tja en onder het mom van onderzoek in de medische wereld, ook dat is allemaal maar zeer beperkt wat AI betreft. AI is gewoon nu een modetrend geworden binnen de technische wereld.

Teksten en muziek is gewoon een leuke tool, niks mis mee

Ik ben zelf muzikant en juist door dit soort ontwikkelingen lopen muzikanten de kans werkeloos te raken. Maar muziek via AI heeft sowieso ook niets met muziek te maken, muziek maak je vanuit gevoel.

[Donstil]

Misschien als treinen wat langzamer gingen dat er dan veel minder vertragingen waren en mensen minder gejaagd waren.

De Japanse bullet train is zowel een van de snelste als een van de meest punctuele treinen ter wereld dus het kan prima.

[_Pussycat_]

word AI gegenereerd door een device wat alleen in nullen en enen kan 'denken' en er niets bestaat als ongeveer, bij benadering of vanuit intuïtie.

De neuronen in een neuronaal netwerk hebben normaal gesproken een resolutie van 8 bit. De activatiefunctie van de neuronen in en NN is zelfs duidelijk meer analoog dan die in ons brein.

Du als je persé naar de basis wilt gaan is die niet binair.

Afgezien daarvan is je antwoord reductionistische onzin; je kunt niet op basis van de individuele bouwblokken het gedrag van een systeem bepalen.

[MSalters]

"normaal 8 bits resolutie" is wel een ernstige versimpeling. Ik denk dat je verwijst naar INT8, een redelijk gangbaar dataformaat voor de gewichten in een neuraal netwerk - maar zelfs dan is de eigenlijke activatie (wat er gedacht wordt) meestal groter. Dat kan best FP32 zijn.

Maar inderdaad, de hele essentie van neurale netwerken is juist dat ze prima om kunnen gaan met "ongeveer" en "bij benadering".