'Voor de gek houden van ai is ook voor juiste doeleinden in te zetten'

Op de CCC in Leipzig heeft Katharine Jarmul, die zich bezighoudt met softwareontwikkeling en data science, ervoor gepleit dat het voor de gek houden van ai ook voor 'juiste' doeleinden ingezet kan worden, zoals het zich onttrekken aan surveillance.

Tijdens haar CCC-presentatie ging Jarmul in op adversarial machine learning, waarbij een neuraal netwerk misleid kan worden om iets verkeerd of juist helemaal niet te identificeren of detecteren. Volgens haar zijn er momenteel voldoende toepassingen, zoals het maken van malware die niet door machine learning wordt herkend of het voor de gek houden van zelfrijdende auto's. Afhankelijk van een ieders opvatting zijn er echter ook 'goede' toepassingen denkbaar, bijvoorbeeld ontkomen aan surveillance of poisoning van eigen data bij een bedrijf dat gegevens als businessmodel ziet.

Als voorbeeld paste ze een foto van zichzelf zodanig aan dat deze uiteindelijk niet meer door Facebook als mens werd herkend, maar voor het menselijk oog nog wel als zijzelf te herkennen was. Dit deed ze door gebruik te maken van beschikbare opensourcetools zoals cleverhans of DeepFool en zonder te weten welk machinelearningmodel Facebook toepast voor afbeeldingen. Dit voorbeeld droeg Jarmul bovendien aan als demonstratie dat het niet nodig is om te weten welke methode door een dienst wordt toegepast, wat ook wel wordt aangeduid als 'black box'.

Tijdens de presentatie greep ze terug op onderzoek dat al op het gebied van adversarial machine learning was verricht. Hoewel er al een en ander over is gepubliceerd, stelt Jarmul dat nog niet volledig duidelijk is waarom ai soms 'blinde vlekken' vertoont als het gaat om detectie en identificatie. Een recent voorbeeld is onderzoek van MIT waarbij wetenschappers een neuraal netwerk konden laten concluderen dat een 3d-geprinte schildpad een geweer moest voorstellen. Dit was mogelijk ongeacht de hoek waarin het object werd 'bekeken' en leidde onder meer tot de classificatie van een baseball als een espresso.

Dat aanvallen op zogenaamde 'zwarte dozen' werken, is ook te zien in recenter MIT-onderzoek waarin wetenschappers de Cloud Vision-api van Google voor de gek hielden. Dit deden ze zonder uitvoerige informatie over de waarnemingen van het achterliggende neurale netwerk. Daarbij gebruikten ze minder queries dan soortgelijke aanvallen en pasten ze een nieuw algoritme toe om een afbeelding aan te passen. Op die manier waren ze bijvoorbeeld in staat om een foto van twee skiërs als hond te laten classificeren.

Jarmul stelt dat dit soort black box-onderzoek belangrijk is om te begrijpen welke technieken door bedrijven worden gebruikt. Andere toepassingen van adversarial machine learning ziet ze bijvoorbeeld voor het voor de gek houden van adware en het ontwikkelen van een variant van steganografie voor onderlinge communicatie. Tweakers publiceerde onlangs een artikel over de werking van neurale netwerken.

Reacties (69)

[_Drake_]

Ik vermoed dat ze het volgende gedaan hebben:

Neurale netwerken leren eigenschappen van afbeeldingen zoals kleur en vorm. Je kan deze eigenschappen van een geweer abstract maken in de vorm van 'ruis' die in dit geval textures zijn op de schildpad met deze eigenschappen.

Tijdens de analyse van de afbeelding van de schilpad zullen de neuronen in het netwerk activeren die geleerd zijn dit te doen op de abstracte eigenschappen van een geweer. De vorm van de schildpad zelf zal ook meegenomen worden maar de activatie van de eigenschappen van de neuronen die een geweer classificeren zullen alsnog een hoger gewicht hebben en bepalend zijn.

Dit is een typies probleem waar CNN's last van hebben en door dit soort truukjes en ruis om de tuin geleid kunnen worden. Eigenlijk zijn ze ook niet echt slim als in een AI ondanks het gebruikt van neurale netwerken, maar is gewoon deels een leeralgoritme (niet puur letterlijk) die eigenschappen van afbeeldingen kan leren of koppelen aan een class. In dit geval een geweer of schildpad.

[Reactie gewijzigd door _Drake_ op 24 juli 2024 00:31]

[dasiro]

Dit deden ze zonder uitvoerige informatie over de waarnemingen van het achterliggende neurale netwerk.

moest het enkel op noise gebaseerd zijn, dan zal het niet lang duren vooraleer die als dusdanig wordt herkend

[MSalters]

Sterker nog, we hebben hiet op 't werk al eens geconcludeerd dat ruisgevoeligheid een methode is om de betrouwbaarheid van een detectie te bepalen. Het originele schilpad-plaatje blijft behoorlijk herkenbaar, ook al meng je er ruis doorheen, maar dat zogenaamde "geweer" plaatje is absoluut niet herkenbaar als geweer als je er ruis doorheen mengt.

Iets formeler: in feature space is het deelgebied van kunstmatig geconstueerde, verkeerd geklassificeerde objecten klein en ingebed in een groter gebied van correct geclassificeerde objecten. Dat betekent dat kleine pertubaties leiden tot de originele classificatie.

Het is wel enigzins ironisch dat je fake images met bijna dezelfde techniek kunt detecteren als waarmee je ze genereert.

[GlowMouse]

Een jaar geleden was er al hyperface. Dat is een shirt met een patroontje waarin software tientallen gezichten kan herkennen. Camera's die personen tellen of camera's die gezichten proberen te matchen raken daardoor in de war. Het shirt had allang te koop moeten zijn, maar sinds april is er geen update meer verschenen. De beschikbare demo's weten wel een oude compactcamera voor de gek te houden, maar mijn smartphone trapt er niet in, dus wellicht dat de uitgestelde introductie daarmee te maken heeft.

[Interlace84]

OPPASSEN!!!! Op die officiële HyperFace-projectpagina werd hier net een JavaScript-bitcoinminer onderschept!!

Dat en feit dat na uitstel tot augustus er nooit een fysieke release kwam = scam of "aangepakt" door KGB/NSA-matties om het bot te zeggen.

[Reactie gewijzigd door Interlace84 op 24 juli 2024 00:31]

[Greymane]

Als een bedrijf als Hyperface dat pro privacy is geen HTTPS gebruikt is het sowieso niet heel erg professioneel en kan ik het ook niet meer serieus nemen. Het is bijna 2018, HTTP is uit.

Red flag wat mij betreft.

[Verwijderd]

“Hoewel er al een en ander over is gepubliceerd, stelt Jarmul dat nog niet volledig duidelijk is waarom ai soms 'blinde vlekken' vertoont als het gaat om detectie en identificatie.”

Ik zou denken dat dit toch wel duidelijk is, zeker voor een expert als Jarmul; het is niks meer dan een stukje software dat obv patroonherkennjng en een db een match probeert te vinden, of een conclusie maakt. Software geschreven door een MENS, met alle zwakheden die daarbij horen! Die dus ook heel makkelijk te manipulerem us, omdat er totasl geen AI achter zit, gewoon ouderwets programmeerwerk!

Veel mensen laten zich voor de gek houden, doordat bedrijven graag termen als AI en machine learning gebruiken. Op de achtergrond is het niks meer als processorkracht en het afgaan van beslissingstabellen!

[MadEgg]

Da's niet helemaal waar. AI en machine learning is vaak gebaseerd op artificial neural networks. Die worden getrained uit een database met behulp van processorkracht, en daaruit volgt een complexe formule om gegeven de input de output te bepalen. Als je die formule eenmaal opgesteld hebt is er weinig processorkracht meer nodig om dit uit te rekenen. Het is dus een vorm van niet-lineaire regressie, waarbij de resulterende formule niet 'ouderwets programmeerwerk' te noemen is. Er zitten bugs in, de blinde vlekken, maar waar die uit voort komen kan een mens niet bevatten omdat de factoren in die formule bepaald zijn door random startwaarden iteratief bij te stellen om een bepaald doel te bereiken.

De algemene verklaring is dat de blinde vlekken voortkomen uit fouten in de trainingsdata. Maar waar dan precies dat gat zit is ook lastig te bepalen, omdat we als mensen vaak ook niet precies weten welke gegevens wel en niet belangrijk zijn om tot de juiste conclusie te komen.

Dus veel processorkracht en ook veel opzoek/beslissingstabellen, maar lastig om de fouten eruit te halen door mensen. Ook door machines overigens.

[Origin64]

Dat de startwaardes random zijn en er een iteratief proces is betekent niet per se dat het niet voor een mens te bevatten is. Ik denk dat als je een hoop tijd hebt om die neurale netwerken te maken of de modellen door te rekenen dat je dan enigzins kunt leren om in te schatten waar een gat in een dataset zit of waar het netwerk zelf niet voldoet.

[Reactie gewijzigd door Origin64 op 24 juli 2024 00:31]

[MadEgg]

Je kunt het handmatig doorrekenen. Bij bepaalde wiskundige formules die je probeert te modelleren zul je ook zien dat de gewichten convergeren naar de oorspronkelijke waardes. De meeste dingen die je modelleert zijn echter wel vrij complex dus is het pittig om het te doorgronden. Het kán wel, maar is veelal niet de moeite waarde. Je kunt beter logisch nadenken over je input en zien waar je die kunt verbeteren.

[Stoney3K]

De algemene verklaring is dat de blinde vlekken voortkomen uit fouten in de trainingsdata. Maar waar dan precies dat gat zit is ook lastig te bepalen, omdat we als mensen vaak ook niet precies weten welke gegevens wel en niet belangrijk zijn om tot de juiste conclusie te komen.

Wat je daarbij niet moet vergeten is dat de output vaak ook weer als trainingsdata gebruikt wordt voor het systeem zelf, dus de AI wordt gaande weg verteld of hij het goed of fout heeft gedaan, waardoor zijn learning-base aan trainingsdata steeds groter en gedetailleerder wordt, en het algoritme voortdurend wordt aangepast.

Zo'n AI is misschien nu voor de gek te houden, maar niet als je die 'voor-de-gek-hou-data' weer invoert als trainingsdata voor de AI zelf.

En om een continu lerende AI voor de gek te blijven houden is iets heel eenvoudigs nodig: Een andere AI die de output van de 'vijandige' AI als input gebruikt en een 'succesvolle aanval' als trainingsvoorwaarde gebruikt.

Zo krijg je in principe een eindeloze wedloop waarbij de databases van beide AIs er op vooruit gaan.

[H!GHGuY]

Die dus ook heel makkelijk te manipulerem us, omdat er totasl geen AI achter zit, gewoon ouderwets programmeerwerk!
...
Op de achtergrond is het niks meer als processorkracht en het afgaan van beslissingstabellen!

Dus iets als dit:

if pixel[33][34] == "#BBFCEC" then
if pixel[33][35] == "#BBFCEE" then
return "tortoise"

toch? Want dat is wat ik begrijp onder ouderwets programmeerwerk. Het mag al duidelijk zijn om correctheids- en schaalbaarheidsredenen dat dit het niet is.

[Reactie gewijzigd door H!GHGuY op 24 juli 2024 00:31]

[Stoney3K]

Het 'programma' van de AI is dus wat die tabellen (dus jouw waarde van kleuren) aanpast en dat blijft aanpassen.

Wat er in die opzoektabellen gestopt wordt is geen simpel programmeerwerk meer, het vergelijken tegenover de tabellen natuurlijk wel.

[MSalters]

Elke opmerking over "ouderwets programmeerwerk" in AI topics op T.net (en al helemaal op de frontpage) is pure onkunde. Voor "beslistabellen" geldt dat in 99% van de gevallen (dat is een jaren-90 AI techniek). En als het artikel over neurale netwerken gaat, dan zijn 100% van de opmerkingen over beslistabellen onzin.

Kijk, er zit wel een klein beetje ouderwets programmeerwerk achter AI. Ik heb een neurale-netwerk implementatie geschreven die inferentie doet met de AVX instructie-set van Intel. Dat is ongeveer 4 keer zo snel als een niet-gevectoriseerde C++ implementatie. Maar dat heeft niets met de geleerde data te maken - diezelfde code kan compleet verschillende classifiers draaien. De Artificial Intelligence van een neuraal netwerk zit 'm in de verbindingssterkte van de neuronen, en die sterkte wordt niet geprogrammeerd maar geleerd.

[H!GHGuY]

Bedankt om te bevestigen wat ik probeer duidelijk te maken.

[jpsch]

Een schildpad als geweer laten waarnemen is natuurlijk vragen om moeilijkheden bij autonoom schietende drones.

[rickiii]

dat het voor de gek houden van ai ook voor 'juiste' doeleinden ingezet kan worden, zoals het zich onttrekken aan surveillance.

Ik lees dit alsof het bedoeld is om aan te tonen dat het omgekeerde ook bereikt kan worden.

[jpsch]

Een geweer als schildpad laten doorgaan.

[PalingDrone]

Denk dat ik mijn schildpadden maar thuis laat de volgende keer dat ik ga stappen, vertrouw die camera's in de binnenstad voor geen meter.
Voor je het weet trapt een AT de ruiten van je terrarium in

Maar even zonder gekheid, is zoiets bijvoorbeeld te verhelpen doordat bijvoorbeeld een mens dit ding weer als schildpad identificeert en herkent de AI het de volgende keer dan wel goed of blijft dit een blind spot en is het na een menselijke identificatie vervolgens gewoon weer gewoon een wapen?

* PalingDrone weet nagenoeg niks van AI maar vind het erg boeiende materie.

... leuk troll plaatje voor op een t-shirt zo'n schildpad, en vervolgens op Schiphol gaan rondlopen om te kijken of ze AI gebruiken ...

[Reactie gewijzigd door PalingDrone op 24 juli 2024 00:31]

[Origin64]

Als je de classifier opnieuw traint met een dataset waarin een aantal afbeeldingen van schildpadden met camoprint als schildpadden zijn aangemerkt, dan zal hij ze daarna in het wild goed herkennen. Dit kan dan weer het gevolg hebben dat een geweer van een bepaalde vorm niet meer als geweer wordt aangemerkt, terwijl dat voor het opnieuw 'afstellen' van de AI wel lukte, omdat de gevoeligheid voor de camoprint is verlaagd.

[Reactie gewijzigd door Origin64 op 24 juli 2024 00:31]

[kozue]

Als je automatische systemen op Schiphol wilt trollen kun je ook een aantal mensen met laptops mee brengen met een tooltje dat vreemde dingen met mac-adressen doet om de bluetooth- en wifi-tracking op hol te brengen. Daarvan weet je zeker dat ze het doen want het staat netjes op de deur dat ze je bespioneren.

[Stoney3K]

Een schildpad als geweer laten waarnemen is natuurlijk vragen om moeilijkheden bij autonoom schietende drones.

Tenzij je die drones een potje Super Mario laat spelen.

[bluegoaindian]

Een schildpad als geweer laten waarnemen is natuurlijk vragen om moeilijkheden bij autonoom schietende drones.

Maar als je een schilpad als geweer kan identificeren kan het ook andersom.

[jpsch]

Wat het juiste doel is, is natuurlijk afhankelijk aan wie je het vraagt.....

[bluegoaindian]

Wat het juiste doel is, is natuurlijk afhankelijk aan wie je het vraagt.....

Ik denk dat je ai overschat , t heeft een paar grote beperkingen.
https://www.youtube.com/w...VKDB86klbAr6B61XK&index=7
die worden leuk uitgelegd , 1 belanrijke is dat het niet kan afwijken van wat het geleerd heeft.
dat kan een mens wel , verder kun je "collisions" veroorzaken.
omdat alles cijfer gebaseerd is , kun je door andere opties te voeren de zelfde outputs krijgen.
omdat het geen refferentie heeft dan rekenen.
heeft dus erg leuke effecten.
De belangen bij AI zijn groot , maar het hacken ervan is makkelijker dan je te beschermen tegen hacks.

[jpsch]

AI Voor de gek houden om bv een gebouw binnen te komen kan een goed doel zijn (bevrijdingsactie bij gijzeling), maar ook een heel slecht doel (ontsnapping criminelen).

[bluegoaindian]

AI Voor de gek houden om bv een gebouw binnen te komen kan een goed doel zijn (bevrijdingsactie bij gijzeling), maar ook een heel slecht doel (ontsnapping criminelen).

dat klopt maar dat is dus ook de relatieviteit van normaal
en dat is ook precies waarom je geen backdoors in encryptie systemen moet bouwen.
want de "good guy" backdoor bestaat niet.
tis wel goed dat mensen even met hun voetjes op de grond worden gezet als het om ai gaat!
rechtspraak etc , lijkt me geen goed idee.

[Jhonnijhoff]

De programmeur schreef voor dat een mens "10 vingers" heeft ? De logaritme werd intelligent.

[bbob]

Met de huidige stand van algoritmes kunnen ze zeker voor de gek gehouden worden. Naarmate de cpu kracht toeneemt, het leercurve omhoog gaat zal het steeds moeilijker worden om ze voor de gek te houden.

De leercurve betekend dat als de schildpad herkend wordt als geweer, de mens kan zeggen het is een schildpad. Het is net als kinderen, die leer je ook dit is een schildpad met het verschil dat wij mensen op dit moment sneller leren in het herkennen van objecten of als ze gedraaid worden of achter andere oppervlak zitten.

Voor de gek houden betekend dus ook onderdeel van het leerproces en laat de zwakke kanten en fouten zien. Voor een systeem in een auto is het wel noodzakelijk objecten goed te herkennen. . Moet je bijv vol in de rem voor een hond als daardoor achter je een auto op je botst. De hond moet dan wel als hond herkend worden en niet als mens. Maar goed over jaren kan een systeem dan met meer cpu kracht ook bewegingen van mensen en honden herkennen.

[Tom-Z]

Waarom denk je dat dit probleem kan worden opgelost met meer CPU-kracht? Zouden er geen innovaties nodig zijn op de onderliggende technieken? Het lijkt me dat deze aanvallen een fundamentele kwetsbaarheid misbruiken van neural networks (namelijk: sterke gevoeligheid voor kleine aanpassingen in de input), en dat je er dus met alleen maar meer CPU-kracht niet komt.

[bbob]

cpu kracht heel eenvoudig. hoe sneller des te meer informatie verwerkt kan worden, geanalyseerd kan worden. Natuurlijk is er een punt dat meer niet nodig is en door zelf leren zal een algoritme steeds beter worden in het herkennen van bepaalde zaken.

In het voorbeeld hierboven weet ik bijv niet of de herkenning gebruikt maakt van een 2d of 3d beeld. Ga je uit van 3d beeld en kan het netwerk een object in 3d scannen dan zou in bovenstaand voorbeeld het object misschien wel juist herkend zijn.

[Tom-Z]

Waarom heeft het zin om meer informatie (als die überhaupt al beschikbaar is; je moet natuurlijk wel eerst een trainingset maken) te verwerken? Zo'n neural network leert zichzelf aan om bepaalde patronen te herkennen aan de hand van wat er in je trainingset zit. Waar de onderzoekers hier gebruik van maken is dat het network een patroon leert, dat per ongeluk wél in de foto's van geweren voorkomt (maar niet in die van schildpadden) maar dat eigenlijk niks met "geweer zijn" te maken heeft. Een bekende anekdote hierover is dat het Amerikaanse leger een neural network tanks wou leren herkennen, maar dat per ongeluk alle foto's mét tanks op een zonnige dag waren gemaakt, en alle foto's zonder op een diepgrauwe dag. Resultaat: een netwerk dat niet kijkt naar de aanwezigheid van tanks, maar naar de kleur van de lucht.

Nu lijkt de oplossing eenvoudig: je moet gewoon je trainingset opbouwen zodat andere eigenschappen (zoals de kleur van de lucht) random en onafhankelijk zijn van datgene waar je op moet trainen. Nu is dat van die lucht maar een vrij algemeen voorbeeld, er zijn heel veel mogelijke patronen en die kunnen ook flink subtieler zijn dan zoiets globaals als de kleur van de lucht (en het zou iets heel onbenulligs kunnen zijn, bijvoorbeeld dat als een bepaald clustertje pixels een bepaalde kleur heeft dat het dan waarschijnlijk een geweer is). Hoe groot ik mijn trainingset ook maak en hoe lang (en met hoeveel CPU-tijd) ik mijn netwerk ook train, het aantal mogelijke patronen is zó vele malen groter dat er altijd wel een patroon moét zijn dat toevallig wél in mijn set voor geweren zit, maar niet in mijn set voor geweren.

In de praktijk zijn dit soort patronen niet zo'n probleem, omdat de kans dat je per toeval een schildpad tekenkomt die zo'n geweer-patroon heeft, heel erg klein is. Het wordt pas een probleem als een adversary actief op zoek gaat naar dit soort zwaktes in je netwerk. De onderzoekers doen dit door weer opnieuw gebruik te maken van machine learning. Ze beginnen met een schildpad, en maken dan steeds kleine, bijna onzichtbare aanpassingen om het neural network nét iets meer de kant van "geweer" op te sturen. Na verloop van tijd krijg je dan een schildpad waarvan het netwerk "zeker" is dat het dan een geweer is. Omdat het netwerk je steeds heel gedetailleerde feedback geeft ("dit is met 98.5% kans een schildpad en met 1.5% kans een geweer, die vorige afbeelding was met 1.1% kans een geweer") is zo'n aanval mogelijk.

Ik denk dus dat het probleem een stuk fundamenteler is dan "meer CPU-kracht = grotere trainingsset analyseren". Het aantal mogelijke patronen is zó groot dat het neural network altijd wel iéts moet aanleren wat "fout" is en dat voor dit soort aanvallen gebruikt kan worden.

[bbob]

Bekijk het menselijk brein en hoe snel dat is.
Neem dan een computer die op sommige fronten sneller is maar op vele veel langzamer.

Neem een robot, die moet leren bewegen, uitwijken, lopen, rennen, maar wil deze een mens nadoen ook kunnen zien, voelen horen, ruiken, proeven. Neem dit alles samen en je zal tot de conclusie moeten komen dat een computer hier nog maar een fractie tegelijk van kan.
Kijk dan eens hoeveel energie een mens voor dit alles verbruikt, het is een klein wonder.

Ja op deelgebieden is een computer zeker sneller maar alles samen nog lang niet.

Dat heeft deels gewoon te maken met cpu kracht en natuurlijk ook het algoritme en hoe dit aangeleerd is. We staan pas aan het begin van dit leerproces.

[Kain_niaK]

Het is net als kinderen, die leer je ook dit is een schildpad met het verschil dat wij mensen op dit moment sneller leren in het herkennen van objecten of als ze gedraaid worden of achter andere oppervlak zitten.

Klopt, mensen vergeten vaak dat onze hersenen op precies dezelfde manier werken als een computer. Daarom denk ik vaak hoe handig het zou zijn om een computer te gebruiken om te helpen met het trainen van mijn zoontje. Momenteel kent hij al iets van 10 000 woorden maar ik heb een foutje gemaakt in de opvoeding en ben vergeten dat je hem het woord schildpad 6 keer moet leren. Van voren, van achteren, van boven, van onder, van links en van rechts. Nu betekend het woord schildpad alleen maar iets als hij er pal voor staat. Schilpadden gezien vanuit een andere hoek noemt hij geweren.

[aadje93]

als de auto's echt autonoom worden kan er ook 1 protocl worden gemaakt voor onderlinge communicatie, dan weet heel de straat dat de *voorste* auto in de verte een hond ziet, en heel het rijtje erachter kan dan alvast zijn gaspedaaltje los laten uit voorzorg.

[bluegoaindian]

als de auto's echt autonoom worden kan er ook 1 protocl worden gemaakt voor onderlinge communicatie, dan weet heel de straat dat de *voorste* auto in de verte een hond ziet, en heel het rijtje erachter kan dan alvast zijn gaspedaaltje los laten uit voorzorg.

Maar wat als het dus geen hond is?
dan kan je dus de hele boel stagneren.
daar gaat dit dus over , ik voorzie speciaale buizen waar dit soort verkjeer doorheen wordt geleid waar verder niets of niemand mag komen.

[Verwijderd]

of gewoon nog wat jaartjes research waardoor de objecten wel goed worden herkend

[bluegoaindian]

of gewoon nog wat jaartjes research waardoor de objecten wel goed worden herkend

Nope https://www.youtube.com/w...VKDB86klbAr6B61XK&index=7

Ai is beperkt tot liniar , mens niet , laat deze seminair ook mooi zien!

[MSalters]

Dat is wel vrij ernstig verouderd. De eerste generatie "perceptrons" waren lineair, maar die beperking was in 1980 al begrepen. Het probleem van niet-lineaire modellen was dat de training ervan niet zo efficient is. In een lineair model kun je vrij direct doorrekenen wat de gewichten moeten zijn. In een niet-linear model moet je dat in stapjes doen. Een modern neuraal netwerk trainen gebeurt dat ook typisch in 100 tot 10.000 stappen.

[jfdaniels]

Zou je een korte samenvatting kunnen geven?

[Verwijderd]

Is dat niet gewoon een kwestie van een nieuw 'type' neuraal netwerk ontwerpen? (maar moet de video nog bekijken)

[polthemol]

wat als ik het weet en als voetganger met hond gewoon altijd ga oversteken, voorrang of niet De auto's remmen toch (even de aanname dat alle wagens autonoom zijn). Ik denk dat je voor die vorm van stagnatie veel meer mag vrezen, vooral in drukke steden kun je wel eens krijgen dat een autonome wagen gewoon bijna niet meer normaal kan rijden

[Accretion]

Interessante theorie.
Bij een aanrijding heeft de autorijder overigens al vaak schuld, ookal had de voetganger geen voorrang.

Werkt ook alleen als de auto niet ook handmatig bestuurd kan worden.

[polthemol]

ik zit al wat jaren verder waarbij alle auto's autonoom zijn of het merendeel. In een woonwijk gaan ze bv. zich netjes aan de snelheid houden (intelligent en zelfsturend enz.) dus ik ga als voetganger of fietser _altijd_ voorrang kan pakken, dat weet ik want het risico is weg (dat ik wordt aangereden, dat is nu immers een motivator om wel zo goed mogelijk mee te spelen met de verkeersregels ). Als je die theorie doortrekt naar drukkere gebieden (laten we voor de gein eens new york pakken of Bejing), dan heb je een meer dan royale kans dat je gigantische verkeersopstoppingen krijgt net omdat er voor de overtreders van regels (in deze theorie de voetgangers) geen risico meer is bij het overtreden van die regel. Men gaat immers zo goed als zeker niet proberen om 50 overstekende mensen tegelijk op de bon te slingeren, de auto's remmen toch volautomagisch, er gaan geen aanrijdingen zijn, alleen wat automobilisten die moeten wachten (en dat zal me worst wezen, ik heb er geen schade van).

[Michaelr1]

Dat is toch niet zo moeilijk? Je laat alle opvolgende autos afremmen EN checken of het object is wat het is / nog aanwezig is. Zo niet gaan we gewoon door en is er niks aan de hand.

[Accretion]

Tja, je kan sowieso remmen als de remlichten van de auto voor je aan gaan.

De snelheid waarmee een pc dit detecteert is enigzins verwaarloosbaar, imho is het "remlicht" het protocol voor, let op, ik stop.

Je hebt ook sensoren die de afstand meten tot de auto voor je, dichterbij = harder remmen.

Als je met een protocol een andere auto kunt laten stoppen, kun je eenvoudig een hele weg jammen.

[wica]

Maar als ze het in de toekomst willen voorkomen, zullen de algoritmes geheim moeten houden.
Als je weet hoe een algoritme werkt, kan je ook bedenken hoe je hem voor de gek houd

[H!GHGuY]

Alleen... het is geen algoritme. Lees je aub in over neurale netwerken vooraleer je zoiets schrijft. Het is niet alsof je een bug in een stuk code aan het zoeken bent.

Er is niets mis met de code. Er is iets mis met de uitkomst van de training van het algoritme.
Betere training zal dit ongetwijfeld verhelpen. In extremis zullen hiervoor alternatieve structuren om NN op te bouwen nodig zijn.

[Reactie gewijzigd door H!GHGuY op 24 juli 2024 00:31]

[bluegoaindian]

<emsem hebben ook dit soort bugs , aleen is het grote verschil dat wij er voor kunnen kiezen deze "bugs" te negeren , dat kunnen machines niet.

[bbob]

Mensen kun je idd ook voor de gek houden. Genoeg programma's die dat soort optische illusies laat zien waar wij als mens voor de gek gehouden worden, daar kiezen we in die zin ook niet voor, we worden echt voor de gek gehouden. Ons brein vult sommige zaken zelf gewoon in voor ons, dat zit ook in ons menselijk brein / dna ingebakken. Je kan dus stellen dat de mens ook gebreken heeft in die zin.

[bluegoaindian]

Mensen kun je idd ook voor de gek houden. Genoeg programma's die dat soort optische illusies laat zien waar wij als mens voor de gek gehouden worden, daar kiezen we in die zin ook niet voor, we worden echt voor de gek gehouden. Ons brein vult sommige zaken zelf gewoon in voor ons, dat zit ook in ons menselijk brein / dna ingebakken. Je kan dus stellen dat de mens ook gebreken heeft in die zin.

als is dat weer per mens verschillend autistische mensen gaan anders met triggers om als emotionele mensen.
het bewust zijn van een trigger is hier van levens belanmg en ik denk dat de mens het daar zal winnen vanwege de diversiteit/creativiteit in t vinden van oplossingen en dat is ook precies wat de video laat zien.

[bbob]

De mens zal het idd voorlopig winnen. Zelflerende systemen zijn immers ook door de creativiteit van de mens in gang gezet. De vraag is echter gaan ze op alle gebieden de mens inhalen, op deelgebieden hebben computer de mens al ingehaald maar op vele nog helemaal niet en staan ze pas aan het begin.

[bluegoaindian]

De mens zal het idd voorlopig winnen. Zelflerende systemen zijn immers ook door de creativiteit van de mens in gang gezet. De vraag is echter gaan ze op alle gebieden de mens inhalen, op deelgebieden hebben computer de mens al ingehaald maar op vele nog helemaal niet en staan ze pas aan het begin.

Ligt aan het type mens,
de instinct bount mensen wel , die zullen worden geemuleert creatievere varianten
zullen het redden.

[bbob]

Je moet veel verder denken zoals aan combinatie mens/machine of machine, deels op basis van levende cellen/materiaal.

[bluegoaindian]

Je moet veel verder denken zoals aan combinatie mens/machine of machine, deels op basis van levende cellen/materiaal.

idd je hersens aansluiten op (aankoppelbare zintuigen)
Machines blijven beperkt , en dat is maar goed ook , als machines de wereld zelf gaan optimaliseren zal de mens als eerste ongemak worden verwijderd.

[bbob]

Je zien het naar 1 kant mens op machine aansluiten. Andersom zal het in de toekomst ook mogelijk zijn om machines deels van levende organisme te maken.
Als ons DNA, de blauwdruk deels al bepaald wat we zijn, kan een computer met dna ook een levend organisme programmeren en dat combineren met computer.
Dat de mens verwijderd kan worden is idd een mogelijk scenario als de mens zichzelf niet verwijderd.

[Verwijderd]

Niet alleen betere training, maar meerdere parallelle volledig onafhankelijke ais waarvan de uitkomsten vergeleken worden.

En uiteraard is dit ook niet onfeilbaar. Met zoals mensen ook fouten maken.

En van de problemen is de herhaalkracht van computers in zijn algemeenheid dat vrij los staat van de hardware wat het op draait. Wij analoge mensen hebben niet afwijkende hardware, naar ook afwijkende software.

Maar goed en beetje goochelaar of andere trickster kan hier handig gebruik van maken om grote groepen mensen dat te laten zien wat zij willen dat ze zien.

[bbob]

Verschil is ieder mens moet leren, leert anders en dat maakt ieder mens uniek.

Computer kunnen met elkaar verbonden worden en wat de ene leert kan de ander overnemen om te verbeteren. Een mens leert natuurlijk ook van een ander mens maar het zal nooit een 100% kopie zijn daarvan.

De vraag is dus hoe uniek zullen zelflerende systemen in de toekomst zijn, hebben ze een eigen persoonlijkheid of praat je gewoon tegen 1 systeem dat alles kan.

[Verwijderd]

Mijn punt is dat homogeniteit en voorspelbaarheid in gedrag/conclusie is uit te buiten. Dit is niet anders voor mensen, dieren, planten als ais of algoritmes.

Echter, zonder homogeniteit en voorspelbaarheid is het moeilijk om iemand of iets te vertrouwen.

Catch 22.

[MSalters]

Nee. Dat is waarom het artikel expliciet de term "black box" gebruikt. De term " black box" betekent hier dat het neurale netwerk geheim is. Er waren al eerder "white box" aanvallen. Die voorkom je wel met een geheim netwerk.

[leuk_he]

Hmm, als je de analogie met dit artikel neemt, dan zou je ergens op een muur een plaatje van een hond of... een plaatje dat enkel door ai als hond wordt herkend zetten, en de auto zal dan vanzelf afremmen daar in de buurt omdat honden onvoorspelbaar zijn.

Vervolgens zul je daar kop-staartbotsingen zien omdat menselijke bestuurders die hond niet zien, en dus niet de noodzaak zien af te remmen.

En het kromme is dan dus dat de mens dan de schuld zou krijgen omdat die afstand genoeg had moeten houden om te remmen.

[bbob]

Met de huidige stand van de techniek heb je gelijk. Maar kijk je verder dan zou een systeem verschillende sensoren moeten hebben om een 3d beeld te herkennen. Voor auto kun je denken aan gewone camera, laser of radar maar ook thermisch infrarood voor warmtebeeld van een object.

Neem dat alles samen en 2d op de muur zou dan geen hond zijn.

[leuk_he]

Nee, je denkt precies als de ontwikkelaars van de ai die de het wapen herkennen in de schildpad.

Door een object te manipuleren kun je dus een feedbacklus creëren die objecten die door mensen niet als hond herkend zouden worden, maar door een ai dus wel. Tuurlijk, het is een imperfectie van de ai, die alleen getriggerd wordt door een bewuste aanval.

in geval van jouw sensor:
IR werkt niet, sneeuw blijft op mijn hond liggen, dus zoveel extra warmte zend hij niet uit.
Radar geeft net zo'n imperfect beeld als cameras. dopplerradar is ook imperfect, want ook een stilstaande hond moet herkend worden.
Laser is beperkt in resolutie, die detecteert dat er iets staat, maar de classificatie moet op basis van andere sensors.

Maar het punt is, de ai voor de auto is getuned om zoveel mogelijk objecten te classificeren, en zal dus eerder een false positive ontdekken dan een object niet herkennen. De hond niet herkennen is een fout. De hond herkennen in een bewust gefabriceerd object is geen fout, maar een aanval die veel moeilijker is te herkennen.

Net zo goed dat google denkt dat mijn hond een kat is.. inclusief miauw video. ok.. dat is een beetje off-topic.

[vinz98]

Ik stel me voor dat dit 'artefact' optreedt bij 2 dimensionale beelden door het missen van relevante beeldinformatie. Wanneer we allemaal overgestapt zijn op 3d scanners (wat we vroeger een fotocamera noemden) is dit probleem er niet meer.

[Blokker_1999]

Ik weet niet welke gedachte jij krijgt bij de term fotocamera, maar ik heb er nog niet veel gezien die in 3D hun beeldmateriaal konden opnemen.

[g4wx3]

nadat de machine heeft geleerd welke naam bij een object horen, snap je niets nog van hoe de machine dat doet, die doet dat in een zelf verzonnen taal.
Dat is best eng, je hebt geen controle over de machine, je kunt niets inspecteren. Af en toe wordt zo'n machine dan hard uitgezet, voor die ergere dingen begint te doen, zonder dat je er bewust van bent!

[MadEgg]

Het een zelfverzonnen taal noemen is wel een flinke overclassificatie van wat er gebeurt. Er is geen taal, en ook geen bewustzijn. IMO is er niets engs aan.

Het is dit soort FUD waardoor er zoveel heisa over AI ontstaat terwijl alles wat er gebeurt logisch, voorspelbaar en controleerbaar is. Dat je de gewichten in het ANN niet kunt direct kunt verklaren doet daar weinig aan af. Als je de machinecode van een hele simpele Hello World applicatie draait leest kunnen veel mensen, zelfs veel programmeurs, dat ook niet direct bevatten en/of uitleggen. Dat maakt het nog niet magisch of eng.

Het punt dat computers bewustzijn en een eigen wil ontwikkelen is nog héél ver van ons verwijderd.

[MSalters]

Neurale netwerken verzinnen zelf geen labels voor objecten. Dat doe je in training. En de meest simpele vorm is dat je één output neuron gebruikt voor één label. Moet een netwerk 100 verschillende objecten herkennen? Dan gebruik je 100 output nodes. En de output neuron met de hoogste waarde wint.

Natuurlijk voel je aankomen dat je fancy dingen kunt doen. Als alle neuronen een lage outputwaarde geven, dan is het object in beeld vermoedelijk niet 1 van de 100 getrainde labels.

[Jerie]

https://deepart.io hoplakee.