AWS kondigt AI aan die kwaadaardige domeinen kan opsporen

Amazon Web Services heeft een AI aangekondigd die kwaadaardige domeinen kan opsporen. De dienst, genaamd Mithra, dient uitsluitend voor intern gebruik en wordt niet commercieel beschikbaar gesteld.

Mithra bestaat uit een neuraal netwerk met 3,5 miljard nodes en 48 miljard edges. Volgens Amazon is de AI in staat om in één AWS-regio tot 200 biljoen DNS-aanvragen per dag te verwerken en ontdekt daaruit dagelijks zo’n 182.000 schadelijke domeinen. Mithra geeft elke website vervolgens een reputatiescore om te bepalen welke websites al dan niet veilig zijn. De AI kan ook voorspellen welke websites mogelijk gevaarlijk zullen worden in de toekomst. Het doel van Mithra is om minder afhankelijk te zijn van externe bedrijven voor het opsporen van dreigingen.

Reacties (56)

[jaenster]

Ik vraag mij af hoe lang het duurt dat mensen tussen wal en schip vallen omdat ze volgens AI een gevaar vormen. Een soort hell waar cloudflare captcha's moeten gemaakt de hele tijd, omdat hun muis gebruik lijkt op die van een bot ofzo. In ieder geval volgens de AI.

[W13k3]

Is dat niet al zo?

Ik kwam op de zwarte lijst van ebay.de toen ik een account aanmaakte met een factuuradres in Nederland en mijn postadres wijzigde naar een postnummer in Duitsland. Dit om een pakket te laten bezorgen bij een packstation. Wat volkomen legaal is.

Ook een mail met uitleg kon ze niet overtuigen: ik was verdacht, het algoritme had een verdacht patroon opgemerkt: permanente blokkade op mijn mailadres.

Uiteindelijk zijn er dan nog wel andere mogelijkheden, maar toch...

[Reactie gewijzigd door W13k3 op 6 augustus 2024 09:41]

[Wakoz]

Mooi voorbeeld van hoe het fout kan gaan als algoritmes heilig worden verklaard en als daar geen weerwoord tegen in te brengen is. Nu is dat nog een vrij onschuldig voorbeeld waarin een algoritme onterecht iets als ik onveilig verklaard maar stel je voor dat algoritmes de overhand krijgen bij zaken die mensenlevens op het spel zetten of totaal verwoesten en dat er dan geen weerwoord tegen in te brengen is. Ik vind het maar eng.

[Kevinp]

Mooi voorbeeld wanneer overheiden verantwoordelijkheden van criminaliteit bij publieke organisaties neerleggen.

Waarbij zeer waarschijnlijk niet de juiste trainingen gegeven worden. En het gedrag zo risicomijdend is dat er eigenlijk niet geluisterd wordt.

En als consument is het zo goed als onmogelijk om hier iets tegen te beginnen.

[Cerberus_tm]

Volgens mij is de E. U. bezig met wetgeving om te verbieden dat bedrijven gebruikers blokkeren zonder goede uitleg en zonder beroepsmogelijkheid.

[Kevinp]

Tja, ik weet niet hoe het in de rest van de EU zit. Maar ik geloof nooit dat dit heel streng gaat zijn.

[CivLord]

Dat kan je desnoods via de rechter afdwingen.
Via de kantonrechter kan dat zonder al te hoge kosten en zonder advocaat.

[uiltje]

Er staat nergens dat hier geen weerwoord op mogelijk is en het weren van phishing sites lijkt me een nogal valide use case. Dus het gaat er om om het beste model uit te zoeken. Alles handmatig doen lijkt me geen optie.

Als een AI/LLM hier dan beter in is dan een algoritme dan lijkt me dat alleen maar beter. En het lijkt me dat een AI minder "harde" regels bevat, dus in principe lijkt me dat protesteren meer zin heeft. Of zou moeten hebben in ieder geval.

[kodak]

Bij wat dit soort bedrijven kunnen doen is dit geen onschuldig voorbeeld. Het gaat juist al voorbij een uiterste grens dat men anderen niet zomaar als verdacht mogen beschouwen. Dat men dat niet mag omdat men daarmee basisrechten aan het schenden is, die niet zomaar gegeven zijn en die juist uitdrukkelijk beschermd dienen te worden. Dat men als bedrijf schendingen daarvan ook absoluut niet in stand hoort te houden. En zeker ook niet dat men dat beschermen maar niet doet zolang het kan.

Niet voor niets is de wetgeving voor online platformen en handel recent weer met extra verduidelijkingen aangescherpt. Niet omdat men voorheen wel makkelijk anderen maar als verdacht mocht behandelen en rechten en bedoelingen daarvan maar mocht negeren. De aanscherping is omdat veel bedrijven constant maar andere gedrag zijn blijven tonen dan het hechten aan belang van behoorlijke behandelingnen van andermans basisvrijheden en rechten, om deze ondergeschikt te houden aan de eigen winst en snelle eigen voordelen.

[Reactie gewijzigd door kodak op 6 augustus 2024 13:48]

[STV]

Ik vind het maar eng.

Begrijpelijk, maar het altijd wel duidelijk dat de zwakste schakel in technische voortgang de menselijke cognitie vormt. AI die beslissingen gaan nemen, afwegingen maken en hun opvolgers ontwerpen is eng. Maar ook onvermijdelijk. Als wij het niet doen, doet China het wel. De voordelen zijn te groot om te negeren.

[mphilipp]

Mooi voorbeeld van hoe het fout kan gaan als algoritmes heilig worden verklaard en als daar geen weerwoord tegen in te brengen is

Punt is dat het met sites als eBay en bijvoorbeeld Youtube om gigantisch veel cases per dag gaat. Er worden op YT duizenden kanalen per dag aangemaakt en die produceren een stortvloed aan filmpjes met illegale content, frauduleuze links of wat dan ook. Het is feitelijk onmogelijk om dat allemaal met mensen na te kijken. Idem voor eBay. Het is een wereldwijde marktplaats; dat is gewoon niet te doen met mensen. Dus vandaar dat zij gewoon heel erg strikt zijn en bij zoveel klachten rücksichtlos te werk gaan.

Dat is de andere kant van het verhaal. Je kunt dan zeggen dat ze star zijn, maar ze kunnen er ook weer geen duizend man aan zetten. Dat is ook niet realistisch. Tenzij iedereen wil betalen.

[MSalters]

Het is niet de vraag of die sites er duizend man aan willen zetten. De EU is duidelijk: als er zoveel nodig zijn, dan moet het. Een falend business model mag je niet op de klant afschuiven.

AI kan zeker gebruikt worden om de kosten van menselijk toezicht te verlagen; de bulk van spammers en bots zal zich neerleggen bij het AI oordeel. Dat is ook compleet legitiem in de EU.

[mphilipp]

Het is niet de vraag of die sites er duizend man aan willen zetten. De EU is duidelijk: als er zoveel nodig zijn, dan moet het. Een falend business model mag je niet op de klant afschuiven.

Dat is heel kort door de bocht. De wet zegt nergens dat je desnoods maar duizenden mensen moet inzetten. Dat doet de overheid zelf ook niet met bv snelheidscontroles. De belastingaangifte wordt ook grotendeels automatisch afgehandeld. Dan glipt er wel eens wat doorheen, maar als je zegt dat ze alles handmatig moeten controleren, gaat de belasting omhoog.
Wetgeving moet je nooit helemaal lettelijk nemen natuurlijk. Dat is onzinnig. Heeft niets met een falend buisnessmodel te maken. Eerder met onrealistische wetgeving als je het zo strikt interpreteert.

[MSalters]

Je vergelijking is onterecht. De Nederlandse overheid heeft zichzelf geen verplichting opgelegd, noch heeft de EU zulke verplichtingen aan lidstaten opgelegd, maar de EU heeft wel een dergelijke toezichtplicht bij de grote "gatekeeper" partijen neergelegd.

De richtlijn zegt inderdaad nergens letterlijk dat je duizenden mensen moet inzetten. Dat volgt min of meer uit het feit dat een klein platform waar je met een half dozijn mensen kan volstaan simpelweg niet onder de richtlijn vallen.

En voor een bedrijf dat miljardenwinsten maakt, is die verplichting niet onredelijk. Het wordt pas een falend business model als je duizenden mensen nodig hebt, en niet genoeg inkomsten weet te vergaren om die duizenden mensen te betalen. De wetgeving is realistich genoeg, Google en Facebook gaan er niet failliet aan. X misschien, maar dat is dus een business model probleem.

[WORPspeed]

Daarom ben ik blij met de DMA. Ten minste zullen grote bedrijven (met gatekeeper/poortwachter status) dan wat transparanter en klantvriendelijker moeten worden.

Het is bij lange na niet perfect, maar t is een goed begin

[FlaffTweakr]

De oplossing zit weldegelijk in je comment. Een dienst als youtube hoort niet gratis te zijn in z'n huidige vorm, tenzij het als goed doel gezien wordt.

[mphilipp]

Nouja...echt gratis is YouTube ook weer niet. Je wordt gedwongen reklame te kijken, totdat je een abo neemt. Met die reklame zou de boel bekostigh moeten worden.
Maar als je echt zou willen dat alle klachten door een mens worden bekeken en beoordeeld, zou je zomaar €25 per maand moeten gaan betalen. Ik roep maar wat, maar er komt dagelijks zoveel bij, da's niet bij te houden.

En Youtube heeft ook geen incentive om dit anders aan te pakken. Het copyright strike verhaal bijvoorbeeld rammelt aan alle kanten en platenmaatschappijen verdienen bakken met geld aan filmpjes waarvan de opbrengsten naar hen gaan. Ook al zijn het heel duidelijk educatieve filmpjes, wat onder fair use zou moeten vallen. Maar ja...het systeem zit zo in elkaar dat als er 3 strikes in jouw nadeel worden beoordeeld, jij je hele kanaal kwijt bent.

[Splitinfinitive]

Zou de oplossing niet zijn om de content creator te laten betalen dan ?

Al is het maar 5 euro per maand dat zou al een groot deel van de meuk afvangen.

Je zou natuurlijk hier uitzonderingen op kunnen hebben voor mensen die reeds google music of hoe dat heet hebben.

Dan filter je een hoop van het gespuis er al uit.

Je kunt eventueel dan “gratis” een personal account hebben waarbij je filmpjes kunt delen met een link maar ze worden niet opgepakt door het algoritme. En als er een filmpje ineens duizenden views krijgt kan hij worden gereviewd.

Onderwijsinstellingen e.d kunnen hier dan eventueel uitzonderingsposities voor krijgen

[avlt]

Gelukkig dat de EU daar regels voor gemaakt heeft, b.v. dat het altijd mogelijk moet zijn om contact cq protest aan te tekenen bij mensen.

Maar, dit probleem bestaat sinds er ambtenaren rondlopen, computers en AI verergeren het alleen maar. Franz Kafka schreef er al over en denk maar eens aan de toeslagenaffaire en b.v. de anti-terror list in Amerika.

[Tintel]

Ja, net zoiets meegemaakt met 'verdacht biedingspatroon' - geen idee wat er verdacht was, maar "computer says no!".

En

De AI kan ook voorspellen welke websites mogelijk gevaarlijk zullen worden in de toekomst.

Amazon.com dus?

[Aldy]

verdacht biedingspatroon

Ik denk in eerste instantie bij bieden aan fysiek bieden en de veilingmeester weet op voorhand wie niet mee mag bieden. Dit kan gebeuren wegens uiteenlopende redenen. Maar als je eenmaal mag en kan meebieden, dan vraag ik mij af of een veilingmeester opeens kan zeggen: "U mag niet meebieden, want u heeft een verdacht biedingspatroon".
Wat weet een algoritme meer dan de fysieke veilingmeester? Ik ga ervan uit dat er een fout in het algoritme zit en dat het niet aan jou(w biedingspatroon) ligt.

[Tintel]

Ja, dat vermoed ik ook [een fout in het algoritme]. Maar zelfs contact met de helpdesk hielp niets.... mocht gewoon even niet meedoen (en toevallig op iets wat ik nogal graag wilde hebben....dus daarom toch maar helpdesk gebeld).

[Guru Evi]

Het probleem is dat dingen zoals een packstation vaak gebruikt worden voor dingen die wettelijk zijn maar mensen bedriegen. Hoogstwaarschijnlijk was zulke activiteit al aangemerkt voor mensen die "grijze" dingen doen en verdwijnen met het geld zodra er klachten binnen komen, en hopla jij behoort nu ook bij die groep.

Daar is geen algoritme voor nodig, gewone mensen doen dit ook (klasseren mensen in een hokje gebaseerd op vorige negatieve interacties) en dat is uiteindelijk wat alle anti-spam en anti-virus systemen momenteel doen. Als je vb je je DNS niet goed instelt word je vaker als spam aangemerkt, als je een cloud systeem hebt dat automatisch gegenereerde (sub)domeinen aanmaakt en vervolgens MX records aanvraagt van de DNS of met PSExec naar Windows machines zit te verbinden, dat ziet er ook uit als iemand die 'slecht'. Ik krijg waar ik werk vaak een notificatie van ons anti-malware systeem omdat we "automatisch" Python en PowerShell scripts naar alle machines verzenden (met Ansible), beter blokkeren en uitpluizen of het een aanval is of niet.

[Stukfruit]

Het blijft een gevecht tegen het water. Aan de ene kant hebben bedrijven gebruikers nodig om geld te verdienen, aan de andere kant kunnen ze ook niet te hard inzetten op verlies van authentieke gebruikers die last van de maatregelen krijgen.

Maar deze tool, zoals in het artikel staat, is voor intern gebruik. Jij en ik krijgen er helemaal niet mee te maken.

[jaenster]

Tot dat ik bij aws mijn nickname wil registeren als een domain, en de AI ziet dat mijn typo in mijn nickname een typisch iets is wat oplichters doen in een domein, en op die manier geweigerd word om klant te worden bij AWS, of als ik dat al ben, mijn hele account word getagged als oplichter of "kijk uit".

[cotix]

Ik heb een keer in een studentenbijbaantje google captcha geimplementeerd voor een bedrijf. Was een beetje een tent die op studenten draaiden dus de infra enzo was niet geweldig. Ik heb dat dus uitbunding met mijn eigen google account lopen testen, express dingen verkeerd invullen etc, en ik heb nog maanden overal drie dubbele captchas gekregen

[HenkEisDS]

Misschien moet je een AI model maken die partijen kan herkennen die niet een transparant en responsief klachtenbehandelsysteem hebben.

[aikebah]

Daar heb je toch geen AI-model voor nodig?

if (rand(0,1) > 0.10) return true

is als algoritme waarschijnlijk al zeer betrouwbaar

[BoerBart]

Ik mis in dit artikel zelf wel even kort de (directe) voordelen hiervan, volgens AWS zijn dit:

By scoring domain names, Mithra can be used in the following ways:

• A high-confidence list of previously unknown malicious domain names can be used in security services like GuardDuty to help protect our customers. GuardDuty also allows customers to block malicious domains and get alerts for potential threats.
• Services that use third-party threat feeds can use Mithra’s scores to significantly reduce false positives.
• AWS security analysts can use scores for additional context as part of security investigations.

[MaestroMaus]

Nu is de vraag; hoelang duurt het voordat Amazon dit gaat gebruiken om sites die op AWS gehost worden beter te scoren dan andere sites (ik ben cynisch, ik weet het).

[Reactie gewijzigd door MaestroMaus op 6 augustus 2024 09:38]

[dutchgio]

Als ze alle kwaadaardige domeinen die gehost worden op AWS kunnen detecteren kun je ze ook weren van je platform natuurlijk. Als dat wat je over houd dan niet kwaadaardig is zal dat logischerwijs ook een hogere score hebben.

[MSalters]

Dat zomaar heel snel kunnen. Amazon heeft betaalgegevens en andere metadata, die kunnen ze gebruiken om iets twijfelachtige sites het voordeel van de twijfel te geven indien de zelfde gegevens ook gebruikt zijn voor een serie legitieme sites. Maar is het een dubieuze site met een bestaande credit card en opeens een ander billing adres, dan moet je juist weer voorzichtiger zijn. AI's zijn goed in dat soort factoren combineren.

[gimbal]

Zodra dat bekend is zijn ze aan de schandpaal genageld. Er zijn minder riskante manieren om geld te verdienen.

[Jerie]

Als je gewoonweg alle net geregistreerde domeinen blokkeert, dan vang je al een heleboel af. Kan eenvoudig met bijvoorbeeld NextDNS. Alleen tja als je dan bij Baboe je wilt aanmelden op hun nieuwe website ivm het bakfietsdrama dan doet-ie het niet. Tja, zet je hem dan even uit of gewone DNS of Tor.

[Reactie gewijzigd door Jerie op 6 augustus 2024 11:13]

[cotix]

Na hoeveel tijd wou je ze unblocken dan? Dan wordt de techniek gewoon 100 domeinen registreren, een jaar wachten, en dan je scams launchen. Lijkt me een overdreven hinderlijke maatregel die maar matig effectief is

[Jerie]

Scammers kunnen prima een jaar wachten. Doen ze echter niet. Vrijwel altijd betreft het nieuwe domeinen. Dan gauw cashen en weer van domein switchen. Je bent met deze maatregel ahead of the curve. Want de scammers veranderen (voorlopig) de M.O. niet.

[PsiTweaker]

Geen idee of AI hier wel of niet goed in is, maar het lijkt mij dat AI de juiste tool is. Een techniek die zelfstandig 24/7 kan blijven scannen en ondertussen steeds slimmer wordt en zo problematisch website steeds eerder kan opsporen. Nu nog hopen op een snelle internationale actie, als een website kwaadaardig blijkt, waardoor zo'n site direct geblocked of voor iedereen duidelijk gemarkeerd wordt.

Zo zouden veel slachtoffers voorkomen kunnen worden t.o.v. nu, waarbij soms maanden te laat een site bekend raakt als kwaadaardig. En/of een Nederlandse instantie ( eindelijk ) actie onderneemt.

[Reactie gewijzigd door PsiTweaker op 6 augustus 2024 11:52]

[cotix]

Internationale actie is sloom en duur. Lijkt me nogal overkill, zeker omdat een nieuwe website beginnen in verweggistan super eenvoudig is, en de internationale opsporing met dat soort landen erg moeizaam is. Helemaal als je het hebt over een 'amateur' die voor een paar honderd/duizend tilt.

Lijkt me effectiever om dit client side aan te pakken. De meeste browsers waarschuwen al als je naar bekende phising sites gaat. Die lijsten zijn echter wel vaak out of date, of missen een hoop kleine scams. Zou mooi zijn als je een dergelijk model lokaal kan draaien en zo client side de interactie kan stoppen. Lijkt me een stuk effectiever dan internationaal kat en muis spelen.

edit: bedenk me net dat als je dit client side doet, de modellen openbaar moeten zijn en scammers dus er goed tegen aan kunnen testen wat ze moeten veranderen om door de check te komen. Misschien toch wat moeilijker dan ik dacht

[Reactie gewijzigd door cotix op 6 augustus 2024 12:04]

[wica]

Ik neem aan dit dit bedoelt is, voor de bedrijven die AWS Cloud/EC2 enzo gebruiken.
Als dit zo'n risico is, waarom hebben deze bedrijven dan servers, die direct internet op mogen. Zonder er een proxy er tussen, die enkel toegang geeft tot de geconfigureerde domeinen?

A.I. is leukt hoor, maar moet niet je primaire verdediging zijn. Er zijn tal van niet A.I. oplossingen, die het top doen, mits je het correct configureert.

[oef!]

Aws is niet verantwoordelijk voor de inrichting van je infra en er zijn nu eenmaal domeinen/hosters waar je een verhoogde kans op malwareservers hebt.

Als er bijvoorbeeld verbindingen vanuit zo'n domein naar aws infra opgezet worden of er door data exfiltratie grote datastromen richting die domeinen gaan wil je dat graag detecteren en scoren om zo je klanten beter te kunnen beschermen.

[wica]

Ik zeg toch ook niet dat AWS er voor verantwoordelijk is. Sterker AWS is totaal niet verantwoordelijk hoe jij met je infra op AWS omgaat.

Maar denk ik, dat als je afhankelijk wordt van een A.I. om kwaad aardige domeinen te herkennen, dat je al in de basis iets verkeerd doet.

[aikebah]

A.I. is een stuk brederr dan genAI met LLMs die momenteel zo populair is. Het lijkt me eigenlijk stug dat Amazon dit met een genAI tool doet.

[HADES2001]

"azure.portal.com, cloud.google.com, HARMFUL loss of revenue"
maar zonder dollen in de basis niet slecht hoop alleen wel dat er nog een menselijke interactie bij komt en niet dat iemand (site) een "gevaarlijke" rating krijgt omdat de AI iets verkeerd in zag. Nu is de dienst alleen nog intern maar geheid dat dit in de toekomst wel is anders kan worden. Security komt steeds meer naar voren en genoeg aanbieders die al content blockers aanbieden en ook beter worden. (ja ik weet 20 jaar terug was dit ook maar dat hield echt amper wat tegen, voor elke geblokte site waren er 10 nog open)

[HtheB]

AI of weer 1000 Indiërs achter de schermen?
nieuws: Amazon stopt met camerasysteem voor afrekenen in kassaloze winkels
https://www.washingtontim...es-relied-on-1000-people/

En ondertussen scammers op hun eigen platform worden niet door AI (noch handmatig) opgespoord...
YouTube: Amazon's allows FRAUDULENT product page after MANUAL REVIEW! Deep di...

[Ramoncito]

Mijn AV houdt het ook niet allemaal meer bij, ik krijg steeds meldingen dat een certificaat niet op de secure-lijst staat. Gisteren nog met kpn.com. Als ik er www. voor zette, dan ging het weer wel goed. Ik ben zo al talloze doodnormale websites tegengekomen die een veiligheidsmelding geven. Zelfs de gemeentelijke afvalwijzer werkt niet meer.

[Omega]

Er zijn al verschillende bedrijven die dit soort tools gebruiken om potentieel kwaadwillende domeinen op te sporen en flaggen, deze data wordt dan gebruikt door bijvoorbeeld DNS en anti-virus providers.

Zelf heb ik meerdere malen problemen gehad met deze diensten. Mijn domeinen zijn een aantal keer per abuis als malafide aangemerkt, waarna het door bijvoorbeeld Quad9 uit de gefilterde DNS wordt verwijdert of actief wordt geblokkeerd door anti-virus software. En dan moet je vervolgens meerdere bedrijven mailen om dit te laten corrigeren.

Deze problemen zijn ook niet makkelijk om op te merken en te diagnosticeren als webmaster. Je wordt niet bericht en als je gaat troubleshooten zal je enige feedback zijn dat je domein plots geen DNS record heeft bij sommige providers.

Je kan je domein checken op issues bijvoorbeeld hier, Quad9 heeft (dacht ik) 20 van dit soort providers in hun systeem;
https://quad9.net/result/

[Coolstart]

Ik hoop dat er lokale AI komt om fraude sites op te sporen. Ik heb eens €600 kwijtgespeeld aan een bedrijf in de Price watch. Ze hadden alle labels, goede reviews etc.

Het bleek aan BTW fraude te doen. Toen ik kocht regende het de dag reclamaties dat de helpdesk niet meer bereikbaar was en producten niet verzonden werden. Spijtig genoeg had ik het niet opgemerkt. De politie had de dag ervoor een inval gedaan in het pand.

Ondanks mijn melding op het forum kreeg mijn post een slotje ipv die webshop uit price watch te halen. Totaal onterecht maar dat terzijde.

Mijn brouwser zou via AI (lokaal) de website en het product kunnen reviewen. Is het product ok? Garantie ok? Webshop nog actief? Gebruikers reviews ok? De AI zou kunnen getriggered worden zodra ik iets in een winkelmandje drop.

[Reactie gewijzigd door Coolstart op 6 augustus 2024 09:31]

[OruBLMsFrl]

Of waarschijnlijker op het moderne internet wordt dat een betaalde dienst ofwel een gesponsorde dienst zoals een theoretische Amazon shopping protection. Die dan Amazon het meest veilig scoort en voorstelt om bij twijfel over andere webshops datzelfde product of soortgelijk meteen even voor je op te zoeken... uiteraard bij Amazon.
Het kan natuurlijk helpen zo een AI, maar trainen om het in allerlei landen goed te doen ook voor lokale webshops met lokale forum posts en keurmerken, dat is nog wel even werk om goed te krijgen en goed te houden. AI training is niet gratis, en scrapen van forum en keurmerk content is in veel gevallen verboden zegt onze AP, tenzij je die expliciet als wetenschappelijke tool / wetenschappelijk experiment wilt positioneren.