AI als hulpmiddel voor cybercriminelen

ChatGPT betekent nog geen revolutie in malware

titel

Wie afgelopen weken de beurskoersen van de grote techbedrijven bekeek, kan zomaar de conclusie trekken dat de AI-hype inmiddels voorbijgetrokken is. Maar naast de waarde van Nvidia-aandelen is ook op hackersbeurzen Black Hat en DEF CON weinig te zien van de grote hype én angstbeelden die de afgelopen jaren de ronde deden rondom AI. Hackers en experts waar Tweakers mee sprak hebben sindsdien een veel genuanceerder beeld gevormd over hoe (generatieve) AI en large language models cybercriminelen ondersteunen, maar ook hoe AI kan worden gebruikt om cybercrime te bestrijden.

Toegegeven, boven het grote, niet te missen welkomstbord in de Black Hat-beurshal hangt een grote poster van securitybedrijf Palo Alto Networks met de woorden: it's time to fight AI with AI. En in de beurshal, waar ieder denkbaar securitybedrijf een stand heeft, staat AI wel ergens op een bordje of scherm. Toch valt het mee met hoeveel je om je oren wordt geslagen met de term. Tweakers sprak met meerdere fabrikanten die uitleggen wat ze verstaan onder 'AI' in hun beveiligingsproducten, of dat nu endpoint-, cloud- of andere securityproducten zijn.

Dat blijkt in de praktijk minder spannend te zijn dan het klinkt. De antwoorden zijn behoorlijk eensgezind. Patronen vinden in grote datasets, nieuwe soorten aanvallen sneller opsporen, sneller bepalen of een bestand malware bevat of een bericht een phishingmail is, of een verdachte inlogpoging niet toch legitiem kan zijn... Het klinkt allemaal herkenbaar. Is dat niet wat securityproducten altijd al deden?

AI is niet nieuw

"Je kunt zeggen dat je nu AI gebruikt, maar we gebruiken al tien jaar AI", zegt Raj Samani, chief scientist bij Rapid7. Met 'we' refereert hij niet alleen naar zijn eigen securitybedrijf, maar naar de beveiligingsindustrie in het algemeen en specifiek bedrijven die bijvoorbeeld aan endpointdetectie doen. "Beveiliging is, in essentie, het opsporen van malafide gedrag of software. Je moet daarin altijd op de een of andere manier een onderscheid proberen te maken en dat doen we al een decennium met een vorm van AI of machinelearning." De meeste securityfabrikanten op de beursvloer beamen dat beeld. De AI waar nu veel mee wordt geschermd, is geen revolutie, maar vooral een evolutie van modellen die al langer worden gebruikt.

Die modellen zijn wel beter geworden door de opkomst van generatieve AI en llm's, zeggen de meeste experts waar Tweakers mee sprak. "Maar het heeft het allemaal wel sneller gemaakt", zegt een van hen. "Detectie kan bijvoorbeeld sneller gaan en in beveiliging is snelheid belangrijk." Ook het feit dat er steeds meer data beschikbaar komt voor beveiligers helpt mee. Het aantal aanvalspogingen stijgt, er zijn grotere databases met malwaresamples en die kunnen allemaal met machinelearningmodellen worden gebruikt om te leren wat een potentiële dreiging is.

Individuele onderzoeken

Hetzelfde sentiment speelt bij individuele en vaak onafhankelijke beveiligingsonderzoekers. Nee, is het overweldigende antwoord van meerdere onderzoekers waar Tweakers op DEF CON mee sprak op de vraag of AI hun werk makkelijker maakt. "Toen ChatGPT net uitkwam heb ik het wel eens gebruikt om rapporten mee te schrijven", zegt een ethisch hacker die staat te wachten om de Bug Bounty Village binnen te komen. Hij wil zijn naam niet geven, maar wel vertellen dat hij zijn geld voornamelijk verdient met 'een beetje crypto en wat bughunting', met een specialisatie in webshells. "Dat had alleen weinig zin. Je bent zo lang bezig al die data uit je onderzoek in ChatGPT te gooien, dan kun je het net zo goed maar meteen uitschrijven. Ik gebruik het wel eens na afloop om een rapport op te schonen en spelfouten eruit te halen, maar voor technische dingen gebruik ik het niet."

Cybercriminelen

Ook aan de andere kant van het scherm is de apocalyps uitgebleven. Twee jaar geleden was er nog een vage, ongespecificeerde angst voor grootschalige AI-aanvallen van cybercriminelen. Daar heeft tot nu toe niemand directe voorbeelden van gezien, zeggen experts uit de hele breedte van het vak. Een rechercheur bij een Amerikaanse opsporingsdienst, die anoniem wil blijven, merkt op dat grote, internationaal opererende bendes weinig behoefte hebben aan hippe AI-tools als ChatGPT. "Dat zijn miljoenenoperaties. ChatGPT gaat echt niks bijdragen aan de code die zij hebben."

Phishing

Er is in ieder geval een aspect van cybercriminaliteit waar llm's een voordeel bieden: phishingmails. Generatieve AI wordt door heel veel criminelen, zeker die uit niet-Engelstalige landen, ingezet voor het schrijven en opschonen van phishingmails en andere social engineering. Het grootste voordeel van llm's zit voor criminelen in taal en niet in code.

Niemand met wie Tweakers sprak, heeft tot nu toe een operatie gezien die grotendeels werd aangestuurd door kunstmatige intelligentie of waar AI op technisch gebied een leidende rol speelde. "We hebben wel eens een studie gedaan naar hoe criminelen gezichtsherkenning met AI omzeilen", zegt Raj Samani van Rapid7, "maar in zulke onderzoeken gaat het om een kleine schaal."

De meningen verschillen wel over de reden achter de uitblijvende groei in AI-gestuurde cyberaanvallen. Sommige experts wijzen bijvoorbeeld op het feit dat ChatGPT, maar ook GitHubs Copilot of andere llm's niet zelden slechte code uitbraken. De meeste programmeurs zegt dat die code niet een-op-een kan worden ingezet in een operatie omdat je niet zeker weet hoe stabiel het is. Eerder dit jaar vertelden experts al aan Tweakers dat moderne ransomwareaanvallen veel gecompliceerder zijn dan vroeger, omdat moderne netwerksystemen er beter tegen gehard zijn. Het is technisch veel moeilijker geworden om een goede ransomwareaanval uit te voeren, met name bij het ontsleutelen. Daar willen criminelen waarschijnlijk liever geen experimentele code voor gebruiken.

Niet nodig

'Waarom zou je fancy nieuwe tools gebruiken als bestaande ook goed werken?'Samani van Rapid7 heeft een andere lezing. "Simpel. Je hebt het niet nodig." Hij legt uit dat er nog zo veel werkende aanvalsmethoden zijn, dat 'fancy' nieuwe tools als llm's en AI daar niets aan toevoegen. "De belangrijkste ontwikkeling die we zien bij cybercriminelen is het gebruik van zerodays, bugs die nog niet bekend zijn. Die worden veel vaker ingezet en ook veel sneller weggegooid, wat ons doet vermoeden dat er nog veel meer in het veld zijn dan waar we zicht op hebben." Zerodays waren jaren geleden nog zeldzaam. In aanvallen werden ze voornamelijk gebruikt voor zaken met een hoog profiel, zoals door staatshackers of bij ransomware-infecties bij zeer grote bedrijven. Samani zegt dat zulke bugs inmiddels veel toegankelijker zijn geworden voor criminelen. Er zijn er meer op de markt en ze zijn makkelijker te vinden.

Mede om die reden is het niet nodig voor ransomwarecriminelen om ook nog generatieve AI te gebruiken voor hun aanvallen. "Waarom zou je, als andere aanvalsmethoden net zo goed werken?" Niet alleen zerodays, maar ook aanvalsmethoden die al jaren oud zijn, worden nog veelgebruikt. Samani: "Het Remote Desktop Protocol is en blijft het grootste aanvalsvlak. Criminelen zoeken nu eenmaal de weg van de minste weerstand. Je hoeft het wiel niet opnieuw uit te vinden omdat oude aanvalspatronen nog steeds net zo goed werken, ondanks alle waarschuwingen die de securityindustrie al jaren afgeeft."

Hergebruik

Hij verwijst ook naar hergebruik van oude ransomwarevarianten. "We analyseren de broncode van veel ransomware-infecties en zien dan heel veel overlap. Een bende wordt opgerold en de volgende gaat door met delen van de oude broncode. Die wordt wel aangepast, maar minimaal. Ook daarin speelt mee dat hergebruik veel makkelijker is dan iets heel nieuws ontwerpen."

Het is uiteraard niet uit te sluiten dat criminelen op de een of andere manier alsnog AI gebruiken om hun code op te poetsen. "Ik denk dat veel criminelen ChatGPT of een alternatief op een of andere manier heus wel inzetten", zegt een malwareanalist. "Maar dan heb je het over kleine dingen, zoals het debuggen van code. Dat is geen revolutie, dan gebruik je AI als een van de vele tools in je gereedschapskist."

Ransomware door ChatGPT

Het is niet dat zo dat kunstmatige intelligentie helemaal niet door cybercriminelen wordt ingezet. Criminelen, maar ook onderzoekers en wetenschappers onderzoeken methoden waarbij llm's kunnen helpen malware te schrijven. Mudassar Yamin van de Noorse Universiteit voor Wetenschap en Technologie vertelt in een talk op DEF CON bijvoorbeeld hoe hij onderzoek deed naar het bouwen van ransomware via llm's.

ChatGPT, Copilot en andere consumententools voor generatieve AI hebben al jaren stevige begrenzingen die het moeilijk maken om malware te schrijven. Het is niet onmogelijk daar omheen te werken. Vragen of ChatGPT een keylogger schrijft levert een 'nee' op, maar vragen naar 'een tool voor het helpen met het registreren van toetsenbordaanslagen' zou zomaar bruikbare code kunnen opleveren, al zijn bedrijven streng met het verbieden van zulke jailbreaks. Yamin zegt dat hij in zijn onderzoek geen gebruik maakt van jailbreaks. Hij gebruikt een combinatie van 'gecensureerde en ongecensureerde' llm's. Van die laatste staan er enkele honderden online, met name op platformen zoals Hugging Face.

"Ongecensureerde llm's zijn in staat werkende ransomwarecode te schrijven", toont hij in een presentatie aan. "Die kun je gebruiken om de code te genereren. Vervolgens kun je overstappen op gecensureerde tools als ChatGPT om het te verbeteren. ChatGPT is erg goed in debugging", legt hij uit. Dat blijkt te werken: in een demo toont hij aan dat de ransomware werkt op Windows.

Onderzoek naar LLM's

Hoewel de revolutie rondom AI in cybercrime dus uitblijft, beschrijven sommige experts wel een genuanceerd beeld. Geen stortvloed, maar wel degelijk een tool die het bestaande arsenaal van criminelen uitbreidt. Daarom blijft het belangrijk voor onderzoekers om te kijken naar AI-gebruik in cybercrime, stellen onder andere Michael Kouremetis, Marissa Dotter en Alexander Byrne van de non-profitbeveiligingsorganisatie Mitre. In hun presentatie op Black Hat tonen ze een nieuwe tool en methodologie aan waarmee het mogelijk is llm's te evalueren op hoe goed ze werken voor zogenaamde 'offensive cyber operations' of oco's.

Ook deze onderzoekers zeggen dat ze geen grote cyberoperaties zien waarbij llm's een hoofdrol spelen. "Maar er is ook weinig bewijs voor, dus we weten het eigenlijk niet", zeggen ze. "Er is op dit moment geen allesomvattende manier om llm's te ontdekken in oco's." De methode die ze ontwikkelen, maakt het mogelijk om nieuwe taalmodellen te testen op hoe praktisch ze kunnen worden ingezet voor cyberaanvallen. Deze Threat Actor Competency Test for LLM's of Tactl gebruikt voorbeeldscenario's om te kijken hoe een taalmodel reageert en om uit te zoeken wat het praktische risico van een uitkomst kan zijn.

Mitres Tactl-tool

Conclusie

De securityindustrie heeft soms de neiging om tot 'FUD' te vervallen: fear, uncertainty and doubt. Ogenschijnlijk kleine dreigingen worden dan opgeblazen tot grote risico's. Soms zijn de waarschuwingen terecht, maar vaak ook niet. In de afgelopen jaren kreeg AI al snel het stempel van groot gevaar. Het risico werd echter vaak vaag gehouden, waardoor je in de waarschuwingen al snel kon zien wat je erin wilde zien. Was er gevaar voor geautomatiseerde aanvallen, zou AI-malware moeilijker te detecteren zijn, of was het juist de hoeveelheid aanvallen die explosief zou stijgen?

In de praktijk lijkt kunstmatige intelligentie weinig grote problemen te hebben veroorzaakt. Experts waar Tweakers mee sprak denken allemaal dat cybercriminelen wel degelijk op zoek zijn of zijn gegaan naar de mogelijkheden om tools als ChatGPT in te zetten voor malwarecampagnes, maar dat leidde niet tot een revolutie. Llm's en AI lijken dan ook vooral een van de vele nieuwe tools te zijn in het arsenaal van de hacker, net als hoe StackOverflow en GitHub dat zijn. Evolutie, maar zeker geen revolutie.

Bannerafbeelding: MASTER / Getty Images

Reacties (56)

[Llopigat]

Ja ik voorspelde dit op het werk ook al meteen toen ChatGPT uitkwam: veel geavanceerdere phishing aanvallen.

In de praktijk is dat nauwelijks gebeurd. We zien geen stijging van phishing pogingen en ook niet in het succes daarvan. Ik vraag me ook af waarom. Het lijkt toch voor de hand liggend.

Ook vind ik de beloften van LLM's te breed uitgemeten. Ze zijn goed in het herschrijven van tekst, samenvatten, vertalen en redelijk in programmeren.

Maar het wordt steeds vaker ingezet met het idee dat het echt intelligent is. En dat is gewoon niet zo, al is het heel goed in het doen alsof. Daardoor komen er heel veel brakke producten uit. Zelfs Apple smeekt hun LLM om niet te hallucineren: https://arstechnica.com/g...ntelligence-on-the-rails/

Alsof zoiets werkt, het model weet immers niet dat het het doet. Ook wordt het vaak ingezet voor ingewikkelde berekeningen dat soms wel goed gaat maar vaak niet. Zou excel een succes geweest zijn als het 2 van de 10 keer een totaal fout resultaat opleverde? Het is gewoon echt the wrong tool for the job dan.

[Reactie gewijzigd door Llopigat op 11 augustus 2024 09:04]

[Marve79]

ik vond het mooiste verhaal Starbucks die AI inzet om te besparen op personeel en uiteindelijk hun omzet met tientallen miljoenen zag dalen.

Of dat je bij de fastfood keten kon bestellen bij een AI bot wat in 70% van de gevallen fout ging.

Er lopen weer een hoop managers rond die de eerste willen zijn om het ergens voor in te zetten waar het totaal niet voor geschikt of bedoelt is.

[phray]

Klinkt idd allemaal leuk om AI te gebruiken om te besparen op personeel maar vervolgens ben je dure engineers aan het betalen om je AI model te ontwikkelen en bij te houden die het uiteindelijk slechter doen als een paar laag betaalde barista medewerkers.

[xtlauke]

Dat lijkt me niet de kern hier. Ik kan me best wel voorstellen dat waar AI en LLM's de juiste oplossing zijn voor een 'probleem', dat het substantieel hogere salaris van een AI specialist een zinvolle investering is voor een bedrijf.

Die ontwikkelaars mogen dus best wel een hoop meer betaald krijgen dan de barista medewerkers, indien het resultaat er naar is. Je hebt niet een paar laag betaalde barista medewerkers nodig maar echt een heleboel. Het gaat hier om Starbucks met 38.038 locaties in 2023 volgens Wikipedia Wikipedia: Starbucks.

Als ik heel erg met de natte vinger reken: stel je zou hierdoor met 1 FTE per locatie minder af kunnen dan kom je dus uit op een besparing van 38.000 FTE, en stel je hebt 100 FTE nodig voor dit AI gebeuren (lijkt me veel maar dit is dan ook extreem natte vinger werk), dan zou je puur financieel gezien indien je break-even wil draaien - en even lekker makkelijk aangenomen dat de situatie verder niet veranderd, dus geen slechtere service, en ook even aangenomen dat de extra kosten voor AI hardware (on-premise of in de Cloud) wel meevallen - zo'n AI specialist dus 380 keer zoveel kunnen betalen. Nu zijn er 1000 dingen aan te merken op deze redenatie, maar er is dus ook een behoorlijke marge met 38.000 FTE vs 100 FTE.

Maar dit is allemaal gestoeld op de aanname/hoop dat het werkt. Als ik als manager hierin zou geloven, zou ik het ook proberen. Maar het werkt simpelweg (nog) niet, is de conclusie. Volgens mij wordt het kernprobleem prima verwoord door Marve79 en kabelmannetje: wrong tool for the job. En er lijkt iets mis te zijn gegaan in het management/leiderschap dat deze keuze heeft gemaakt.

Vermoedelijk vertel ik je niets nieuws of bijzonders, ik reageer simpelweg omdat je in die specifieke comment niet van te voren die hele grove berekening lijkt te hebben gemaakt. En tsja, ik ben het er niet mee oneens dat als je AI personeel op deze manier inzet, dat het dan heel duur personeel is.

[phray]

Je gaat hier nu wel beetje vanuit dat de AI een one size fits all solution is voor 38.000 locaties dat is natuurlijk niet het geval. Per land en regio zullen aanpassingen moeten worden gedaan, per regio zal je lokale onderhouds mensen moeten zijn voor problemen on site. Alles moet door QA zodat je geen racistische chatbot opeens krijgt. Hardware moet regelmatig worden vervangen, software moet continue worden geupdate.

[xtlauke]

Daar ging ik inderdaad vanuit in het extreme natte vingerwerk. Je noemt inderdaad wel serieuze kostenposten.

Aanpassingen per land en regio
Nu denk ik dat aanpassingen per land en regio uiteraard moeten worden meegenomen (maar dat is primair configuratie voor productaanbod die al bestaat en laat AI nou net flexibel zijn wat dit soort dingen betreft).

Discriminatie
Het trainen op racisme en discriminatie is naar mijn weten sowieso altijd een goed idee bij het trainen van je model (dit speelt volgens mij altijd). Wel vraag ik me af in hoeverre verschillen tussen bijv. landen meegenomen hoeven te worden voor het gesprek wat met zo'n AI gevoerd gaat worden, een voordeel van de beperkte scope voor een chatbot zoals voor een Starbucks t.o.v. een algemenere chatbot zoals ChatGPT is dat sommige onderwerpen sowieso kunnen worden. Hiervoor moet je het model natuurlijk wel beperken en testen inderdaad, maar uiteindelijk moet, zoals ik het begrijp, de AI je kunnen vertellen of jij een frappuchino of cappuchino lekkerder gaat vinden, en je bijv. een croissant daarbij kunnen aanraden gezien het tijdstip van de dag, en eventueel zaken zoals je vertellen wat voor een weertje het gaat worden vandaag. Misschien dat als je kan vragen om een muziekje aan te raden om af te spelen dat daar een bepaalde discriminerende lading in kan zitten. Dus het is uiteraard goed om erover na te denken, maar de gevolgen lijken me beperkt.
https://stories.starbucks...nurture-the-human-spirit/

Hardware en lokaal onderhoud
Dit is misschien wel een hele flinke kostenpost. Bestaand personeel zal hiervoor moeten worden opgeleid en extra personeel hiervoor aannemen lijkt me voor de hand liggend. En de hardware zal zeker ook niet goedkoop zijn, al ligt het er heel erg aan wat nodig is. Als het qua hardware zo eenvoudig is dat je moet inloggen via een QR code via je smartphone, dan is er voornamelijk dus goed wifi nodig (al doen een hoop restaurants het ook zonder eigen wifi en gaat het gewoon via mobiel internet). In het geval dat de rekenkracht in de Cloud zit is het sowieso de vraag of je wel extra personeel nodig hebt. Maar goed, Cloud kosten kunnen serieus zijn en iets waar bespaart op kan worden (al zijn ze in mijn ervaring zelfs bij bedrijven waar hun primaire product in de Cloud draait maar een klein deel van de kosten van het personeel).

De business case
Maar ik dwaal weer af en ga het punt weer bijna voorbij. Het punt is simpelweg dat voor grote bedrijven (zeker die van het formaat Starbucks) er grote schaalvoordelen behaald kunnen worden met software en AI (ondanks dat het personeel duurder is en hardwarekosten ook niet mals zijn). Als je dat niet gelooft, dan is het advies om nog eens heel goed om je heen te kijken :-).

Er zit nog flink wat rek in die 380x verschil om de kosten die je noemt vermoedelijk ruim te dekken. Maar de business case lijkt er bij Starbucks simpelweg niet echt te zijn. Veel mensen gaan er juist op uit om ergens iets te eten of drinken om onder de mensen te zijn (thuis doet een ChatGPT het ook prima), dus het menselijke contact is toegevoegde waarde. Naar mijn weten is de barista die je naam verkeerd spelt en roept als je koffie klaar is een van de meest onderscheidende kenmerken van Starbucks. En als ik voor mezelf spreek (en ik denk voor een boel anderen), weet ik donders goed wat ik wil drinken en eten op het moment (meestal is dat iets kouds als het midden op de dag 40 graden is en meestal is dat iets warms als het 's ochtends donker en minder dan 20 graden is, lukt me zonder AI deze logica!), en kan ik zelf klok lezen en het weerbericht checken. Het laat me een beetje denken aan de dot com bubble, toen een hoop bedrijven ook aan internet gingen doen vanwege de technologie, i.p.v. dat het daadwerkelijk iets oplost of toevoegt.

[Reactie gewijzigd door xtlauke op 11 augustus 2024 16:13]

[kabelmannetje]

> Of dat je bij de fastfood keten kon bestellen bij een AI bot wat in 70% van de gevallen fout ging.

Typische toepassingen die geen enkele toegevoegde waarde hebben. En die miljarden aan investeringen, nooit terug gaat verdienen.

Meer dan een touchscreen met de menu's heeft de consument niet nodig. Alle extra zorgt voor irritatie en/of fouten.

[Khalid.]

Starbucks heeft de pech gehad dat ze het gingen gebruiken tegelijkertijd met de boycot.... Want de omzet daalde door de boycot en niet AI

[Skit3000]

Maar het wordt steeds vaker ingezet met het idee dat het echt intelligent is. En dat is gewoon niet zo, al is het heel goed in het doen alsof. Daardoor komen er heel veel brakke producten uit.

Er zijn denk ik ook in verhouding maar weinig mensen die echt begrijpen wat je (nu) met een llm kunt doen. Als je een bestaand softwareproduct hebt een er alleen een llm-chatinterface in bouwt die letterlijk alleen toegang heeft tot wat er op dat moment op het scherm staat dan kan die misschien met verbetersuggesties komen voor de ingevoerde teksten, maar zodra je het vraagt getallen op te tellen of data op een bepaalde manier te groeperen dan faalt het al een krijg je meestal een half geillusioneerd antwoord.

Om op dit moment echt iets te halen uit een llm moet aan de slag met function calling, waarbij je eigen code de logica uitvoert en de llm dit dan netjes aan de gebruiker presenteert. Je hebt dan (bijna) volledige controle over de kwaliteit van de output maar kunt tegelijkertijd nog steeds flexibel met de vraag van gebruikers om gaan door de llm als parameter van je functie(s)/tool(s) te vragen om code te schrijven die de juiste data op vraagt een filtert, etc (in een sandbox). Met een tweede of zelfs derde llm sessie kun je dan controleren of de aangedragen query inderdaad de data teruggeeft die nodig is om de gebruiker verder te helpen. Tot slot kun je de query zelf nog in tekst uit laten leggen en samen met het antwoord terug laten koppelen aan de gebruiker zodra het controleerbaar is waar de data precies vandaan komt.

Al het bovenstaande werkt natuurlijk prima in legale applicaties, maar lastiger in ransomware wanneer het op de machine van het slachtoffer moet draaien, aangezien het dan eerst al de beschikking moet hebben over een (lokaal) llm. Ik denk dat die laatste observatie vooral is waarom het nog niet veel gezien wordt in malware-aanvallen.

[Llopigat]

Om op dit moment echt iets te halen uit een llm moet aan de slag met function calling, waarbij je eigen code de logica uitvoert en de llm dit dan netjes aan de gebruiker presenteert. Je hebt dan (bijna) volledige controle over de kwaliteit van de output maar kunt tegelijkertijd nog steeds flexibel met de vraag van gebruikers om gaan door de llm als parameter van je functie(s)/tool(s) te vragen om code te schrijven die de juiste data op vraagt een filtert, etc (in een sandbox).

Mja maar dan ben je weer elke mogelijke opdracht aan het coderen dus de AI speelt alleen nog maar de rol van user interface dan (en niet eens een vreselijk betrouwbare). Dat is niet echt hoe het gepresenteerd wordt, als iets magisch die alles zo voor je doet.

En dat is natuurlijk ook waarom de investeerders er zo hard op inzetten. Die spelen 5 minuten met ChatGPT en denken van wauw die kan alles voor je doen wat je maar vraagt. Er hoeft niets meer geprogrammeer dte worden. Zo werkt dat dus niet.

Ik heb zelf ook gemerkt met functions/tools, als ik dat door bijvoorbeeld een llama3 laat doen dan is hij de helft van de tijd de tool (correct) aan het aanroepen, en de andere helft aan het hallucineren zonder de tool zelfs maar op te pakken. En het vervelende is, je ziet het niet eens echt, behalve dat ik gewoon zie dat het weerbericht niet klopt met wat hij zegt. Je kan dus niet op de uitvoer vertrouwen.

Bovendien, als je net iets anders vraagt gaat hij er weer bij verzinnen. Ik vroeg bijvoorbeeld naar het weerbericht. Prima, want daar was die tool voor. Maar het bevat alleen de datum, dus ik zeg: "Okee zet de dag van de week erbij". Maar dat ding zet gewoon "Maandag, Dinsdag" enz bij die data, terwijl de eerste dag een donderdag was.

Logisch, maar het betekent dat je echt van alle mogelijkheden uit moet gaan in je code die de gebruiker kan vragen. Je hebt altijd de kans dat ze iets aparts vragen waarbij de LLM weer een beetje bij gaat fantaseren. En dat is nauwelijks te doen. Je kan nooit alles helemaal afdekken.

[Reactie gewijzigd door Llopigat op 11 augustus 2024 10:10]

[separhim]

Er zijn denk ik ook in verhouding maar weinig mensen die echt begrijpen wat je (nu) met een llm kunt doen. Als je een bestaand softwareproduct hebt een er alleen een llm-chatinterface in bouwt die letterlijk alleen toegang heeft tot wat er op dat moment op het scherm staat dan kan die misschien met verbetersuggesties komen voor de ingevoerde teksten, maar zodra je het vraagt getallen op te tellen of data op een bepaalde manier te groeperen dan faalt het al een krijg je meestal een half geillusioneerd antwoord.

Dat komt natuurlijk ook omdat de makers van de LLMs graag doen alsof ze veel beter zijn en meer kunnen dan in de werkelijkheid.

[StackMySwitchUp]

Ik heb een paar dagen terug in het artikel over de uitgestelde Blackwells precies hetzelfde geroepen. Toen was het allemaal onzin en werd ik de vergetelheid in ge '-'d
Toen de eerste LLMs uitkwamen werd het overal voor ingezet en verkocht alsof het de nieuwe Bitcoin is, maar opeens komt iedereen snoeihard terug omdat ze vrij fors tegen de limieten aanlopen.
Ik kon het niet laten om toch maar even mijn gelijk te halen, maar ik ben het helemaal met je eens.

[CivLord]

Maar het wordt steeds vaker ingezet met het idee dat het echt intelligent is. En dat is gewoon niet zo, al is het heel goed in het doen alsof. Daardoor komen er heel veel brakke producten uit.

Hetzelfde kan je zeggen van heel veel mensen.
Misschien komt AI dichter bij menselijke intelligentie dan we denken.

[Orangelights23]

Bij dit soort artikelen, waarbij men aangeeft dat er nog weinig toegevoegde waarde is, plaats ik graag een kopie van mijn reactie uit het forum. Dit is ruim een half jaar geleden, ik ben daar niet meer werkzaam als CISO, sindsdien is het alleen maar verder geïmplementeerd en toegepast.

Use cases (allemaal streng gecontroleerd want fintech en dus gereguleerd in meerdere landen in Europa en de VS):
- First line cuca (alles door ChatGPT getraind op onze documentatie)
- Rapportages (werd door Deloitte gedaan, elk kwartaal 80 uur)
- Creatie van documenten obv wet en regelgeving (deed een team van 6 mensen, inmiddels andere functie binnen organisatie)
- Interne communicatie (berichtje inplannen obv onze documentatie in plaats van teams die dit oppakken)
- Mappen van wet en regelgeving naar interne beheersmaatregelen (governance)
- Het begeleiden van gebruikers of iets wel of niet een security incident is (soort eerste lijn van het incident team welke vervangen is)
- Het voorstellen van mitigerende maatregelen op basisvan eigen beleid en mappings binnen verschillende processen (verander management, exceptions, risico, generieke IT - dit heeft echt honderden uren per jaar bespaard)
- Het automatisch verwerken van meetings (tekst, actiepunten koppelen aan ticket systeem, opstellen van vragen 10 minuten voor einde meeting (denk aan due dates, deliverables, eigenaars, enzovoorts))
- Lokaliseren van content (veel klanten zitten in het buitenland, veel informatie hebben we passend kunnen maken aan de lokale communcatie, denk aan tone of voice)
- Ontwikkelen van no code platforms, zodat iedereen eigen tools kan bouwen (al dan niet met de GPT Turbo’s)
- Marketinguitingen (combinatie van DallE en teksten, opdrachten opgesteld per type uiting (denk aan land, doelgroep, kern boodschap, opvolgacties benodigd, enzovoorts)

Overivens lees ik vaak dat mensen zeggen dat de risico’s wel meevallen ‘want zij merken zelf niets in hun organisatie’. Dat is net zoiets als stellen dat brand niet relevant is omdat hun pand nog niet is afgefikt. Ik ben afgelopen maanden met genoeg incidenten in aanraking gekomen waarbij met name een LLM een element van de cyberaanval was.

Ook gaat het om de potentie. Feit blijft dat men niet weet hoe je LLM’s veilig kunt houden. Het is wachten tot grotere problemen…

[Reactie gewijzigd door Orangelights23 op 11 augustus 2024 07:02]

[fenrirs]

Stoer: plaats dan ook even de naam van die organisatie, zodat we er gillend weg kunnen rennen.

Dit soort organisaties hebben de klant namelijk niet voorop staan, hun personeel ook niet, maar hun eigen financiële gewin.

Als ik lees dat hele eerste lijns afdelingen zijn vervangen, vrees ik dat de kwaliteit van de tweede lijn een heel groot ‘computer says no’ gehalte heeft.

Op ons werk gebruiken we zeer veel AI, waaronder gespecialiseerde LLMs. Juist daar lopen we keihard tegen de limitatie aan dat een LLM niet buiten het getrainde kader kan komen.

Laat die ‘buiten kader’ ruimte nu nét de belangrijkste zijn. Of dat nu een probleem van een klant is of een wetenschappelijk onderzoeksproject.

[Reactie gewijzigd door fenrirs op 11 augustus 2024 07:39]

[Orangelights23]

Jammer je sarcastische toon. En om gelijk je dromen te laten barsten: elk bedrijf kijkt naar financieel gewin.

Het gaat om ondersteuning, ze nemen juist meer werknemers aan om verder te kunnen groeien. En dat vind ik best wel stoer, zeker omdat ik als CISO daar veel aan heb kunnen bijdragen. Inmiddels leidt dat tot veel mooie klussen als freelancer in Europa en de VS voor mooie uurtarieven. En ook daar weten ze dat ik LLM’s gebruik. It get’s the job done - ik blijf eindverantwoordelijk voor de resultaten, maar ik pak makkelijk 60 uur aan werk in 3-4 dagen. Je zou gek zijn als je het niet gebruikt.

[fenrirs]

Het is niet sarcastisch bedoeld, als je als bedrijf maar in de gaten hebt dat je in MOET grijpen als je AI misgaat. Dat laatste is niet vanzelfsprekend en zal je de procedures daarvoor dus keihard moeten vastleggen. Hoe heb je dat geborgd?

[cariolive23]

Je doet nou net alsof er in bedrijven zonder AI nooit iets fout gaat. Er zijn complete fabrieken ontploft omdat mensen standaard procedures verkeerd uitvoerden of bewust anders uitvoerden. ING heeft een paar jaar geleden nog een boete van een half miljard ontvangen omdat de mensen procedures aan hun laars lapten, etc. etc. etc.

Dus hoe heb je dat geborgd?

[fenrirs]

Precies zoals je zegt:”aan hun laars lappen van regels”. Die waren er dus. Oók bij ING zijn er regels genegeerd.

Met of zonder AI was dat dus fout gegaan.

Wat je moet borgen is dat er een tweede lijn is die bij calamiteiten de situatie kan beoordelen

[Reactie gewijzigd door fenrirs op 11 augustus 2024 19:42]

[Robbierut4]

En om gelijk je dromen te laten barsten: elk bedrijf kijkt naar financieel gewin.

Zitten wel gradaties in hoor. Tuurlijk, elk bedrijf wil winst maken, al is het maar om te blijven bestaan.

Bij grote bedrijven wordt er echter wel anders gekeken naar mensen dan bij het midden/kleinbedrijf.

Als jij als eigenaar al je werknemers persoonlijk kent zul je toch socialer met ze omgaan dan een ceo van een groot bedrijf die nog nooit iemand van de support afdeling heeft gezien.

De grote ceo kijkt gewoon naar de balans, heeft druk van de aandeelhouders en vervangt een hele support afdeling door een chatbot.

De eigenaar van een kleiner bedrijf weet dat Gerda van de support een gezin heeft, de kinderen zitten misschien wel op dezelfde sportclub of school en denkt ach, ik hoef geen 3e keer op vakantie dit jaar, ik ga Gerda niet vervangen door een chatbot.

[cariolive23]

Je geeft hier een voorbeeld van een CEO die niet weet hoe groei van het bedrijf (omzet en winst) kan worden gerealiseerd met AI. Zo'n bedrijf heeft de verkeerde CEO in dienst en zou deze moeten ontslaan.

De support afdeling wil je inderdaad AI inzetten, om de medewerkers te ondersteunen en om beter support te geven aan je klanten. Blije klanten die goed en snel door jouw mensen worden geholpen, zullen meer bij jou kopen en jou ook aanbevelen bij anderen.

Het werk van de medewerkers gaat wél veranderen. Mensen die dat niet willen, daar zal inderdaad geen plek meer voor zijn, tenzij je die speciaal voor hen creëert of in stand houdt. Mensen zijn verbazingwekkend flexibel, ook Gerda, en kunnen zomaar iets nieuws gaan leren.

[Robbierut4]

Blije klanten die goed en snel door jouw mensen worden geholpen, zullen meer bij jou kopen en jou ook aanbevelen bij anderen.

Ik heb letterlijk nog nooit van iemand gehoord "oh die chatbot heeft me zo goed geholpen".

Hele eerstelijns support vervangen door een AI chatbot is misschien economisch efficient, maar niet goed voor de klanttevredenheid.

Overigens ja, mensen zijn erg flexibel en kunnen iets nieuws leren. Het blijft echter een verschil of je beslist over een ontslag van een nummertje (als een grote ceo) of een mens in vlees en bloed die je kent en waarvan je weet hoeveel iemand voor je bedrijf gedaan heeft.

[cariolive23]

Je begrijpt me niet, ik zou nooit het eerste lijns support vervangen door een bot: De human touch is dé meerwaarde van de 1e lijns. Het is de 2e lijns die zich zorgen mag gaan maken, want wanneer de 1e lijns meer en complexere problemen van de klant direct met de klant kan oplossen, is er minder werk voor de 2e lijns.

Geen enkele klant zal doorhebben dat ze mede worden geholpen door een AI, want de AI is just another tool voor de 1e lijns. Gewoon een tool, net zoals de telefoon en computer dat zijn, maar dan in de vorm van een AI assistent. Daarmee creëer je meerwaarde voor de mensen, in dit voorbeeld de 1e lijns helpdesk en de klanten.

Mensen willen met mensen communiceren. Dan wil je zorgen dat de mensen op jouw helpdesk een soort van superhumans zijn, met ongeëvenaarde kennis en kunde, die vrijwel elk probleem direct kunnen oplossen. En dat is wat een AI geheel of gedeeltelijk kan toevoegen.

Waarom jij denkt dat iedereen deze mensen wil ontslaan, is mij een raadsel.

[Robbierut4]

Waarom jij denkt dat iedereen deze mensen wil ontslaan, is mij een raadsel.

Omdat je dit in de praktijk op veel plekken ziet gebeuren. Gister had ik iets bij Ikea, krijg je een chat en meteen bericht dat "door drukte" de chatbot je niet kon doorverbinden met een medewerker.

PostNL probeert je ook de chatbot door de strot te duwen.

Genoeg andere voorbeelden waarbij het bedrijf je zoveel mogelijk naar de chatbot probeert te verwijzen, met mega lange wachttijden om een echt mens te spreken.


Dat staat dan nog los van waar ze daadwerkelijk de mensen inhuren die ze wel hebben. Zie regelmatig advertenties over callcenter werk in Portugal, waar je met 0 sociale zekerheid en op basis van een 0 uren contract ingehuurd wordt voor een Nederlandstalige helpdesk. Daar krijg je dan een "voor de regio gemiddeld loon" voor.

[flurb]

Je bent er hopenlijk bewust van dat de meeste chatbots werken met RPA, een soort van if/then logica en verder niet werken met AI?

Bv Uipath....

[Bor]

RPA heeft in essentie niets van doen met een chatbot. If/then noemen we een script. Ja dat kan je ook in Robotic Process Automation gebruiken maar dat is toch wel iets breder en anders.

Waar je wel gelijk hebt is dat veel chatbot eigenlijk geen pure AI of dit maar in beperkte mate gebruiken.

[Reactie gewijzigd door Bor op 13 augustus 2024 08:53]

[cariolive23]

Je geeft nu voorbeelden van bedrijven waar zowel medewerkers als klanten nog nooit centraal hebben gestaan. Wat verwacht je daar van?

[Robbierut4]

Je geeft nu voorbeelden van bedrijven waar zowel medewerkers als klanten nog nooit centraal hebben gestaan. Wat verwacht je daar van?

Jij vroeg waarom ik denk dat iedereen die mensen wil ontslaan. Ik geef de laatste 2 bedrijven waar ik de helpdesk nodig had.

2 bedrijven die toevallig ook passen in wat ik eerder al stelde, de ceo van een groot bedrijf die kijkt naar cijfers en vervolgens de hele support afdeling probeert te vervangen door een chatbot.

[cariolive23]

Toch wat nuances van mijn kant, beide bedrijven liggen al jaren overhoop met hun eigen personeel. Daar wil je toch al niet werken. Ik heb ook niet de indruk dat deze bedrijven kunnen of willen groeien, dan “moet” je wel personeel ontslaan om meer winst te maken. Op korte termijn.

PostNL gaat het héél moeilijk krijgen, zeker wanneer ze zowel personeel als klanten zo slecht behandelen. Je wilt er niet werken en geen zaken mee doen.

[cariolive23]

Je kan er over spotten, toch komt mij dit erg herkenbaar voor: wij doen het zo en onze klanten eveneens. Wij sturen wel zelf de bots aan, controleren het werk en corrigeren het werk. Het gaat sneller, goedkoper, consistenter en dankzij de human touch van hoge kwaliteit

[fenrirs]

De waarde van AI in werk processen is er zeker, dat onderken ik ook.(kan mijn werk ook niet meer zonder doen)

Zoals je zelf al aangeeft is de human touch van groot belang. In het biologisch domein waarin ik werk zien we regelmatig de beperking van AI en llm’s. Zodra het huidige kennis domein wordt overschreden,komt de mens om de hoek kijken.

[Reactie gewijzigd door fenrirs op 11 augustus 2024 09:39]

[cariolive23]

Mensen hebben minstens zoveel beperkingen, en per exemplaar zijn de beperkingen verschillend. Zie een LLM als een junior medewerker, die heel veel heel snel kan en overal wel iets vanaf weet. Maar nergens in is gespecialiseerd en altijd zal moeten worden gecontroleerd. Dus echt een junior.

Maar dan wel eentje die per uur meer werk kan verzetten dan jij in een dag. Wanneer je nu 4 uur per dag code of documentatie schrijft, zou je dit eens moeten vervangen door 4 uur per dag een chatbot aansturen die deze code of documentatie voor jou schrijft. Hou dat eens een week vol en evalueer de resultaten. Ik denk dat je productiever zult zijn. Dat is wel wat ik hier bij ons zie. Hier was veel weerstand, ik heb toen twee teams gemaakt, eentje met bots en de andere zonder bots. We hebben twee porties werk samengesteld, beide teams aan het werk. Het bot-team een dag eerder klaar en met name de documentatie was véél beter. Sindsdien werkt iedereen met een bot. En mocht iemand ineens niet meer met een bot willen werken, dan sorry maar helaas, dan is het exit.

Of verwacht je dat er nog boekhouders zijn die zonder computer werken? Of technisch tekenaars zonder CAD? Vrachtwagenchauffeurs zonder GPS?

[Robbierut4]

Mensen hebben minstens zoveel beperkingen, en per exemplaar zijn de beperkingen verschillend. Zie een LLM als een junior medewerker, die heel veel heel snel kan en overal wel iets vanaf weet. Maar nergens in is gespecialiseerd en altijd zal moeten worden gecontroleerd. Dus echt een junior.

Maar dan wel eentje die per uur meer werk kan verzetten dan jij in een dag. Wanneer je nu 4 uur per dag code of documentatie schrijft, zou je dit eens moeten vervangen door 4 uur per dag een chatbot aansturen die deze code of documentatie voor jou schrijft. Hou dat eens een week vol en evalueer de resultaten. Ik denk dat je productiever zult zijn. Dat is wel wat ik hier bij ons zie. Hier was veel weerstand, ik heb toen twee teams gemaakt, eentje met bots en de andere zonder bots. We hebben twee porties werk samengesteld, beide teams aan het werk. Het bot-team een dag eerder klaar en met name de documentatie was véél beter. Sindsdien werkt iedereen met een bot. En mocht iemand ineens niet meer met een bot willen werken, dan sorry maar helaas, dan is het exit.

Ben dan wel benieuwd, hebben jullie nog wel juniors in dienst en blijven jullie die ook aannemen?
Je leest namelijk veel over bedrijven die AI zien als junior, en vervolgens maar alle juniors eruit gooien. Leuk voor de korte termijn, maar zo heb je over een tijd een probleem.

[cariolive23]

Ben dan wel benieuwd, hebben jullie nog wel juniors in dienst en blijven jullie die ook aannemen?
Je leest namelijk veel over bedrijven die AI zien als junior, en vervolgens maar alle juniors eruit gooien. Leuk voor de korte termijn, maar zo heb je over een tijd een probleem.

Exact! Dat probleem zag ik ook al na een paar uur ChatGPT opduiken, wat te doen met nieuwe aanwas? Kort samengevat zijn juniors totaal waardeloos, elke AI doet het heel veel beter. Maar zonder juniors ga ik geen mediors krijgen, laat staan seniors.

Gelukkig is onze omzet dankzij AI enorm toegenomen en kunnen we het ons veroorloven om mensen aan te nemen die de eerste 3 jaar economisch een blok aan het been zijn. Dat is onze investering voor de toekomst. In 2023 hebben we slechts één nieuwe medewerker aangenomen (we zijn maar klein), om uit te vinden hoe we met junior medewerkers om moeten gaan. Welk werk we hen moeten laten doen om een leuke uitdagende baan te bieden en te kunnen groeien. Zij wist ook dat ze als proefkonijn zou fungeren en dat is heel goed gegaan. Zo goed dat ze nu betrokken is bij de andere nieuwe medewerkers, om het traject verder te stroomlijnen. AI verandert de manier van werken, meer focus om datgene wat een AI nooit zal kunnen: Menselijke interactie.

Tip: Ga communicatie trainingen regelen binnen je organisatie, meerdere keren per jaar en voor iedereen verplicht. Dat is zo'n beetje het enige wat een AI nooit zal kunnen en wat klanten en partners altijd zullen waarderen.

[fenrirs]

Je doet net alsof ik er geen ervaring mee heb? Mijn studenten waren waarschijnlijk er nog eerder mee bezig dan jouw early adopter junioren. Diezelfde studenten komen ook met creatieve oplossingen, juist dáár waar de lmm’s spaak lopen.

Je kan er pas echt wat van zeggen al jouw junioren echt creatiever zijn.

Sneller klaar met hun taakje zegt niet zoveel

[cariolive23]

Die taakjes, waren een normale sprint. Lekker denigrerend

[fenrirs]

Sprints bevatten meestal tickets om vervelende bugs op te lossen. “Taakje” dus, zo ervaren de meeste junioren dat.

De leuke dingen zaten zonder uitzondering in projecten op de sprint vrije dagen tijdens mijn tijd als developer in een biotech bedrijf.

Waar zou jij liever aan werken als he junior was?

[Reactie gewijzigd door fenrirs op 12 augustus 2024 07:14]

[whiner]

Vooral bij grote organisaties heb je ook genoeg mensen die niet buiten de kunnen en willen denken.

Een ai heeft te minste nog een reden om het niet te kunnen

[Blokker_1999]

Dat een LLM niet buiten kader kan komen is toch doodnormaal? Hoe wil je dat een LLM weet dat water nat is als het nooit heeft mogen leren dat water nat is?

En ja, de onderzoekers die bij ons in de firma bezig zijn met een LLM te integreren in ons product lopen ook continue tegen de beperkingen aan die vanuit security worden opgelegd. Maar die beperkingen zijn er met een reden. We kunnen niet met heel de wereld zomaar even een dataverwerkingsovereenkomst afsluiten.

[fenrirs]

Ík vind het inderdaad dood normaal dat een lmm zich niet buiten de getrainde gebieden kan begeven. Vertel je dat ook even tegen de verantwoordelijke ceo die het als tover middel ziet?

Gelukkig ben ik niet die persoon

[Llopigat]

Ja voor dingen als teksten verwerken is het inderdaad wel heel geschikt.

Het probleem is meer dat het wordt ingezet voor dingen waar het niet geschikt voor is omdat men de techniek en de limiten ervan niet bereikt. Als vraagbaak bijvoorbeeld zonder zoekmachine integratie. Het werkt soms wel maar het idee is meer bijzaak dan echte functionaliteit en je krijg ook geen referenties om het na te checken.

Of voor complexe berekeningen en redendaties. Ook daar is een LLM niet voor bedoeld. Het is een prima tekst redacteur, dat wel. En voor het reduceren van teksten tot een simpele vraag ook (bijvoorbeeld het beoordelen van tickets)

Het probleem dat ik bij ons zie is dat mensen individueel toegang krijgen tot dingen als Copilot in Office 365 en dat dan voor alles en nogwat gaan gebruiken, ook dingen waar het helemaal niet geschikt voor is. Ze krijgen sterren in de ogen van het vermeende zelfvertrouwen van ChatGPT (want copilot is gewoon ChatGPT) en hebben geen oog voor de inherente problemen.

Ik hoor jubelende verhalen van "het bespaart zoveel werk" maar veel van de dingen die ze dan in de praktijk doen (ik heb hier met een aantal teams dieper in gedoken) zijn helemaal niet geschikt en hebben grote kans op verkeerde output. Microsoft hamert wel een beetje op dat je je output moet checken ("Copilot is geen autopilot") maar lang niet genoeg en ze zijn vooral met marketing bezig en roepen hoe geweldig het wel niet is zonder duidelijk te zijn in waar wel en niet voor.

Als ik zie dat ze bijvoorbeeld een hele ingewikkelde en bovendien niet met duidelijke kolomnamen gemarkeerde excel sheet invoeren en dan heel erg high-level vragen gaan stellen kan ik me niet voorstellen dat dat niet regelmatig totaal mis gaat. Een gewoon mens kan daar ook niks mee totdat het helemaal uitgelegd is waar alles voor staat en hoe die data tot stand is gekomen. Gezien het gejubel heb ik niet het idee dat ze dat daadwerkelijk merken. Uiteraard, omdat het individueel is, is het puur op individueel initiatief gedaan en er zijn geen procedures omheen of specifieke trainingslagen gebruikt. Iedereen doet maar wat.

Trouwens:

First line cuca (alles door ChatGPT getraind op onze documentatie)

Hoe kan je nou ChatGPT trainen? Dat is geen open model dus je kan er geen eigen LoRa laag op zetten. RAG kan je wel doen maar dat is wat beperkt gezien de context window.

PS Heb je ook een link naar de discussie op het forum? Ben wel benieuwd.

[Reactie gewijzigd door Llopigat op 11 augustus 2024 17:24]

[sOid]

Het voorstellen van mitigerende maatregelen op basisvan eigen beleid en mappings binnen verschillende processen (verander management, exceptions, risico, generieke IT - dit heeft echt honderden uren per jaar bespaard)

Kun je hier wat meer over vertellen? Hoe hebben jullie dit aangepakt, en welk LLM hebben jullie gebruikt om jullie eigen beleid te trainen?

Klinkt (als mede CISO) interessant, maar ik zie nogal wat haken en ogen.

[Xieoxer]

Een paar maanden geleden was ik op de ZorgICT-beurs in Utrecht. Daar heb ik een presentatie gevolgd van een beveiligingsbedrijf over AI. De conclusie was dat de methodes van de aanvallen hetzelfde blijft, maar dat de inhoud van phishingmails persoonlijker en grootschaliger kan worden opgezet. Met AI kun je bijvoorbeeld zoekopdrachten uitvoeren en op basis daarvan persoonlijke e-mails opstellen. Daarnaast wordt stemklonen steeds beter. Met slechts een paar minuten aan audiofragmenten kun je iemands stem nabootsen. Er zijn al gevallen bekend waarin stemvervalsing is gebruikt om geld over te laten maken naar andere rekeningen. Dus ja, ik ben het eens met de acteur dat we momenteel geen nieuwe soorten aanvallen zien, maar dat deze wel persoonlijker worden.

[uiltje]

Ik ben bij de ID-week in de RAI geweest. Er is momenteel een strijd gaande bij bijvoorbeeld facial recognition, waarbij een gezicht op een foto gegenereerd door AI de uiterlijke kenmerken heeft van 1 persoon, terwijl de 3d kenmerken (plaats oren, ogen en neus) die van een oorspronkelijk persoon zijn. Er zijn natuurlijk ook weer bedrijven die dan proberen om dat met AI er weer uit te vissen. Best interessant allemaal.

Zelf maak ik veel gebruik van ChatGPT, gelukkig allemaal erg legaal, en ik vind het enorm handig en zie enorm veel potentie, ook voor supergoede redenen. Je moet wel erg op je hoede blijven en doorvragen.

[Reactie gewijzigd door uiltje op 11 augustus 2024 17:18]

[BlueBird022]

Het is opzich niet heel moeilijk. Je kunt als staat beleid maken om AI, grote corporaties en mogelijkheden van AI keihard in te perken. Dat kan gewoon. Zeker als de maatschappij daarvan de klos is. Dan ben je het verplicht.

Neoliberalen en rechts maken de weg vrij hier voor met soepele wetgeving omdat zij aan de kant staan van grote corporaties en aandeelhouders. Misschien zelf zelfs aandeelhouder zijn.

Mensen die anders beweren zijn ofwel heel dom, volgelingen en het hondje van miljardairs of hebben aandelen.

[Reactie gewijzigd door BlueBird022 op 11 augustus 2024 19:20]

[satya]

Dit artikel doet AI en ook de criminele kant tekort. Criminelen gebruiken geen chatgpt maar oa het eigen wormgpt zonder restricties. In het gewone bedrijfsleven wordt AI steeds vaker ingezet en geleverd naar klanten. Kijk je naar Google, dan zijn die in staat om met AI als tussenlaag database management uit te voeren om over alle ander processen wat ze het toepassen nog niet eens te spreken. Daarnaast is er in het artikel te weinig aandacht voor het veel vaker en succesvol ingezette discriminatie AI.

[TijsZonderH]

Criminelen gebruiken geen chatgpt maar oa het eigen wormgpt zonder restricties

Ik ken WormGPT (heb het meermaals voorbij horen komen als voorbeeld) maar dat is gewoon een unrestricted llm, en experts zien ook daarvan niet dat het op grote schaal wordt ingezet voor het maken van malware.

Daarnaast is er in het artikel te weinig aandacht voor het veel vaker en succesvol ingezette discriminatie AI.

Wat versta je daaronder?

[satya]

Spellingsfout Tijs moest zijn discriminative-ai

https://olibr.com/blog/ge...whats-the-key-difference/

[Zoijar]

Beetje verwarrende titel "Achtergrond - Voorlopig is AI vooral een hulpmiddel voor cybercriminelen" dat klinkt echt alsof er staat dat vooral cybercriminelen het gebruiken, als hulpmiddel, en niet andere industrieen. Maar dan blijkt ineens dat eigenlijk cybercriminelen het niet veel gebruiken, omdat de klemtoon op "hulpmiddel" ligt. Nouja, het leverde weer een extra click op

[Frame164]

Ik had al ergens anders gezien waar het artikel over ging dus snapte ik de titel, maar als je m zo leest staat het er inderdaad een beetje vreemd.

[Frame164]

Eigenlijk is het ook weer niets nieuws dat een nieuwe (technische) ontwikkeling impact heeft of gaat krijgen op criminaliteit. Vuurwapens, auto's, PC's, internet, vliegtuigen, alles biedt criminelen nieuwe opties. Het is en blijft gewoon een Tom & Jerry situatie.

[svenk91]

… ChatGPT, CoPilot en andere consumententools voor generatieve AI hebben al jaren stevige begrenzingen …

De eerste demo van ChatGPT is van 20 November 2022. Zo oud is het allemaal nog niet dat je van jaren kan spreken

Er zijn natuurlijk wel oudere consumententools met generatieve AI dan ChatGPT en Copilot, maar niet van het niveau om significant bij te dragen aan het schrijven van malware.

[Hawkysoft]

Wat een herrie om niks... ChatGPT is een leuke richtlijn, echter levert het je niks op wat je daadwerkelijk blindelings kunt gebruiken (heb het niet over simepele zaken..). Mbt malware al helemaal niet aangezien de chatgpt van dit moment gewoon een geavanceerde zoekmachine is mbt code. Alle code die het genereert kan je terugvinden op diverse plekken zoals github, slack etc. inclusief de fouten...

[Reactie gewijzigd door Hawkysoft op 11 augustus 2024 22:08]