Twitch krijgt AutoMod met taalherkenning en machine learning

Twitch krijgt een zogenaamd AutoMod. Die moet automatisch verschillende soorten ongepaste berichten kunnen detecteren en deze tijdelijk blokkeren totdat een menselijke moderator deze heeft kunnen keuren.

De taalherkenning van AutoMod werkt volgens Twitch op basis van dezelfde technieken als Siri, Google Assistent en Amazon Echo. Het bedrijf combineert dat met machine learning om na verloop van tijd beter te worden in het identificeren van ongepaste uitspraken. AutoMod kan op vier verschillende 'standen' voor zijn controles ingesteld worden en verdeelt uitspraken in vier categorieën: identiteit, seksueel getinte taal, agressieve taal en scheldwoorden.

Gebruikers die elkaar en streamers lastigvallen vormen al langer een probleem op grote platformen als Twitch. Hoewel een moderator in principe een passende oplossing is, wordt hun werk moeilijker naarmate er meer gebruikers zich vijandig gedragen in de chat. AutoMod moet het vooraf door mods goedkeuren van berichten behapbaar maken door alleen de aanstootgevende berichten voor goedkeuring opzij te zetten.

Volgens PC Gamer is AutoMod al eerder met succes gebruikt. De bot zou bij de livestreams van de National Conventions van zowel de Amerikaanse Democratische als Republikeinse partij ingezet zijn. 'De beschaafde manier waarop chat met elkaar omging, leverde complimenten op, aldus Twitch. AutoMod werkt nu in het Engels, maar er zijn bètaversies beschikbaar voor Arabisch, Tsjechisch, Duits, Italiaans, Japans, Koreaans, Pools, Portugees, Russisch, Spaans en Turks.

Reacties (17)

[marco282]

Het idee is goed, echter twitch hun implementatie werkt niet echt geweldig. Zo lijkt het "leer" gedeelte niet echt aanwezig te zijn. Dezelfde soort berichten blijven terug komen voor goedkeuring. (Ik moderate voor een 20k viewers channel waar deze functie al een maand aan staat)

Een goed geconfigureerde moderatie bot met regex keywords werkt veel beter en op t moment zorgt deze "automod" voor veel meer werk last dan zonder doordat berichten die geflagged zijn toegestaan moeten worden. Berichten die niet toegstaan zijn moet je nu dus handmatig declinen terwijl als die gewoon doorgelaten wordt door de moderatie bots automatisch verwijderd worden.

Daarnaast als ff wat mods niet opletten worden enorm veel berichten dus niet doorgelaten omdat er geen reactie op de allow/block komt.

ps: Toen wij het als eerste uittesten, zat er nog een bug in dat als 2 mensen op allow drukten, het bericht 2x gepost werdt. Nog mooier, je kon de api call die een bericht allowed spammen waardoor de gebruikers bericht zonder rate limit in de chat gespammed werd.

EDIT:
Voorbeeld, woorden zoals fgt zouden normaal auto timed out worden door een bot
Nu komt er voor elke keer een bericht zoals dit.....
http://imgur.com/a/nXgIV

En daarnaast als een andere mod iets allowed dan blijft op mijn scherm t venstertje staan.

[Reactie gewijzigd door marco282 op 22 juli 2024 13:44]

[Cyxno]

Een ideale functie voor grotere chats (10.000+) viewers. In dit geval zal niet altijd de Subscribers-only mode geactiveerd te hoeven zijn om trolls weg te houden.

^{Here’s how it works. Streamers can configure AutoMod by selecting one of four levels. These levels affect how aggressively AutoMod holds back messages under four categories: identity, sexual language, aggressive speech, and profanity.}

Vraag me alleen wel af of 't mogelijk is bepaalde woorden daarbij te blacklisten of juist whitelisten.

[Reactie gewijzigd door Cyxno op 22 juli 2024 13:44]

[marco282]

Nee, je zult zodra iemand het zegt moeten toestaan of blocken. Als iets automatisch toegestaan wordt kan je het niet blacklisten. Je zal moeten wachten tot twitch dit blacklist. Wellicht zullen ze op basis van time outs hier data op vergaren.

Moderation bots zullen nooit vervangen worden door dit systeem.

Daarnaast lijkt het juist een ideale functie voor kleinere chats, grote chats hebben deze problemen niet omdat deze al volledig opgezet zijn met de juiste filtering tools.

[Reactie gewijzigd door marco282 op 22 juli 2024 13:44]

[Plainside]

Zelf vindt ik het een top idee om het zo aan te pakken.
Maar toch vraag ik me af hoe het omgaat met afkortingen die vaak worden gebruikt(denk FML, af, fu, etc) .
Gaat die daarop ook scannen of lezen( )...
En zoals Ricmaniac aangeeft vaak onstaan er leuke dingen met scheldwoorden(lees f*ck, stf, gtfo, etc).
Ook blijft het toch een soort expressie van emotie.

[BlaDeKke]

Dat zal volledig afhangen van machine learning, in theorie zijn er geen grenzen en gaat die na verloop van tijd meer memes en scheldwoorden 'vatten' dan een mens. Het hangt er van af hoe goed het algoritme is.

Als dit geen afkortingen kan ontleden. Dan heeft het ook geen nut. Ik denk dat ze daarom ook machine learning gaan inschakelen. Net omdat de mens zo creatief is.

[Ricmaniac]

ben benieuwd wat de grens is voor die automod. kan me voorstellen dat dat lastig is te bepalen en over het algemeen zijn er vaak veel grappige en leuke dingen in de chat wat voor een ander dan toch misschien iets aanstootgevends is of w/e

[CaptainHologram]

ik denk dat hij zal gaan werken zoals nightbot en moobot.
zover ik merk werken die nu echt goed.

wat ik zelf een beetje hoop is dat een mod 2 chats te zien krijgt; 1 met de normale chat en 1 met een gefilterde chat om te modereren, dan houd je de keuze bij de mods wat wel en niet kan. en maak je hun werk makkelijker.


edit:typo

[Reactie gewijzigd door CaptainHologram op 22 juli 2024 13:44]

[laminaatplaat]

Mij leek een chat in verschillende abstractie niveau's voor de streamer ook interessant. Bijvoorbeeld:
- Lijst met berichten die @de_streamer bevatten
- Overzicht die de boel geaggregeerd weergeeft, dus bijvoorbeeld samenvatting van de gebruikte emoticons over een bepaalde tijd. kan ook gedaan worden met dingen die gespammed worden.
- Misschien een gewicht geven aan bepaalde gebruikers zodat bepaalde mensen prominenter of minder prominent in de chat te zien zijn.

[menzo.io]

Daarom zijn er 4 verschillende standen die je kan instellen, zoals vermeld in het artikel. ("identiteit, seksueel getinte taal, agressieve taal en scheldwoorden")

Je kan zelf kiezen wat voor content je wel en niet in je stream wil hebben.

[ANGELfromSKY]

En dat is ook per streamer anders. Aangezien iedereen andere woorden wel/niet vind kunnen in hun chat. Ben wel heel benieuwd hoe dit gaat uitpakken en of veel mensen er gebruik van gaan maken.
Ik ga het zelf in ieder geval niet gebruiken.

[GoT.Typhoon]

Welk kanaal?

[Macboe]

Het is opzich wel grappig dat streamen, jammer dat streamen van Handheld zo slecht of moeizaam gaat: Bijv. Nintendo 3DS XL Ik zou zelf nooit zin hebben om berichten te gaan goedkeuren. Sommige streamers hebben 80000 viewers, de chat explode dan gewoon.

[Reactie gewijzigd door Macboe op 22 juli 2024 13:44]

[ANGELfromSKY]

Het streamen van een handheld is opzich niet hele moeilijk, maar de omweg om het te kunnen streamen kost vaak meer geld. Zo heb ik zelf ook een 3DS met een capture card en hier stream ik ook mee. Maar je betaald er toch meer voor dan een normale 3DS. En dat is voor veel mensen een reden om het niet te doen.


Verder ben ik ook wel mod bij sommige twitch kanalen, en je hebt gelijk dat dat soms niet goed loopt, omdat er zoveel mensen zijn. Dus ben benieuwd hoe ze daar mee omgaan.

[Macboe]

Wat kost dit kaartje, en waar te kopen?

[ANGELfromSKY]

Het pakket wat ik heb(custom 3DS, zodat je dus kan recorden) heb ik voor 600 dollar gekocht. Maar volgens mij kun je ze ook wel iets goedkoper krijgen.

Zodra ik weer thuis ben, zal ik even kijken naar het linkje. Al kon je er zelf ook wel snel op als je googlet naar "3DS capture card"

[Macboe]

Ik ga even kijken, bedankt!