Sony-patent beschrijft in-game moeilijkheidsgraad die zich aanpast aan speler

Sony heeft een patentaanvraag ingediend voor een middel van machinelearning die de moeilijkheidsgraad van een spel aanpast aan het spelniveau van de speler. De techniek zou het mogelijk maken een eindbaas makkelijker of moeilijker te maken, afhankelijk van de gamer.

In de patentaanvraag wordt voornamelijk het voorbeeld van een gevecht met een eindbaas van een level genoemd. Zo denkt Sony aan een situatie waarbij spelers vaak een bepaald patroon gebruiken om een vijand te verslaan, zoals door knoppen in een bepaald patroon te gebruiken, of de joysticks steeds op dezelfde manier te bedienen. Het spel zou dan dankzij machinelearning een manier kunnen bedenken waarbij die patronen niet meer werken, om het level zo lastiger te maken. Vijanden zouden bijvoorbeeld sneller kunnen bewegen, of een schild kunnen krijgen om bepaalde aanvallen af te kunnen weren. De aanpassende moeilijkheidsgraad zou ook kunnen werken bij multiplayerspellen, schrijft het patent.

De gameontwikkelaar en consolemaker wil het voor spelers niet alleen moeilijker maken, maar denkt ook aan manieren om games juist gaandeweg eenvoudiger te maken. Machinelearning zou ervoor kunnen zorgen dat wanneer een vijand continu met een bepaald wapen of patroon gamers weet te verslaan, dit wapen of patroon niet meer door die vijand wordt gebruikt.

Sony lijkt deze aanpassende moeilijkheidsgraad onder meer via servers te willen verspreiden, waarmee het spel met updates moeilijker of juist makkelijker kan worden. Spelers zouden dan via een instellingenmenu kunnen kiezen voor deze aanpassende moeilijkheidsgraad, of voor de 'standaard' moeilijkheidsgraad die het spel oorspronkelijk had.

Met de aanvraag focust Sony zich niet alleen op vecht- of schietspellen, maar kijkt het bedrijf ook naar racespellen, sport- en rts-games. Spelers die een moeilijkere tegenstander verslaan, kunnen daarbij ook een grotere beloning krijgen. Deze beloning zou ook af kunnen hangen van de manier waarop een vijand wordt omgelegd. Vertoont de speler 'nieuw' gedrag om een vijand te kunnen verslaan, dan zou deze een grotere beloning kunnen krijgen. Omgedraaid zou een speler een kleinere beloning kunnen krijgen als deze een 'simpeler' gedrag gebruikt om een vijand om te leggen. Een veranderende moeilijkheidsgraad zorgt er volgens Sony tevens voor dat spelers meer motivatie hebben om een spel opnieuw te gaan spelen. Of Sony deze vorm van machinelearning daadwerkelijk wil gebruiken voor games is niet bekend.

Update, woensdag: In dit artikel stond oorspronkelijk dat Sony de techniek heeft gepatenteerd. Dat is niet juist, er is alleen een aanvraag ingediend. Zoals Ribo89 opmerkt, is het nog maar de vraag of het patent wordt toegewezen, omdat de eerste beoordeling niet positief is over de inventiviteit van de beschreven techniek. De aanvraag toont uiteraard wel dat Sony nadenkt over en werkt aan deze techniek.

Reacties (70)

[Ribo89]

Dit octrooi (=patent) is nog niet toegewezen, maar slechts gepubliceerd. Degene die de aanvraag heeft beoordeeld (examiner) is in ieder geval van mening dat de beschreven techniek niet inventief is (zie: https://register.epo.org/...pn=US.2020039612.W&lng=nl > Written Opinion of the International Search Authority).

[_Pussycat_]

Samenvatting voor wie het zoeken wat lastig vindt.
Alleen claim 5, 8 en 9 zijn novel
Geen enkele claim is inventive.

5, 8 en 9 worden expliciet "obvious" genoemd.

Hiertegen mag trouwens geargumenteerd worden in een volgende stap.

Het zou Tweakers wel sieren het onderzoek niet aan de comments over te laten. Er is genoeg aan te merken op het patentsysteem maar dit lijkt tot zover prima te lopen, terwijl de indruk wordt gewekt dat Sony hier onzinnige patenten zomaar aan mag vragen.

[Lukosje]

Ik merk dat ik op Tweakers vaak eerste paar regels van een artikel lees en dan direct naar de comments ga omdat deze inhoudelijk vaak beter zijn dan het artikel zelf. Goede journalistiek is hier al een tijd nauwelijks te vinden.

[Grotbewoner]

Kost ook veel om overal verstand van te hebben, maar de nerds in de comments doen het gratis.

[shades]

Ja maar als een beetje een kritisch post/reply doet krijg je gelijk een -1 bom over je heen...........

[Xfade]

Omdat de comment section daar niet voor is.

[Robbaman]

Dan moet je misschien een Plus abonnement nemen

[Ribo89]

Sony en andere partijen mogen best onzinnige aanvragen doen als het systeem er maar voor zorgt dat deze niet toegewezen worden

[_Pussycat_]

Oké, aanvragen mag je inderdaad alles, maar er ontstaat een indruk dat die patenten ook toegekend worden wat tenminste hier op het moment niet zo lijkt.

[Verwijderd]

Huh, goed opgemerkt. Met alle claims die als 'niet-vernieuwend' worden omschreven, zal deze patentaanvraag worden afgewezen.

Alle claims worden afgewezen.

Edit: Correctie... Ook claim 5 wordt afgewezen met een verwijzing naar Reiche III en Fuzell-Casey. Daarmee worden alle claims de grond in geboord. Zie net pas bij de file index (International Search Report) dat claim 5 ook genoemd werd en moest even zoeken waar het benoemd werd.

Edit #2: De Europese autoriteit voor patenten, octrooien etc heeft pas 28 januari alle dingen binnen gekregen. De review door de Amerikaanse patenten&octrooien autoriteit is eind juli vorig jaar al geschreven.

[Reactie gewijzigd door Verwijderd op 25 juli 2024 21:35]

[Wesleyyy]

Een dynamische moeilijkheidsgraag en vijanden die zich aanpassen aan het gedrag en ervaring(spunten) van de speler is al vele malen in games toegepast. 'Machine Learning' en A.I. klinken in deze context vooral als hippe termen voor het werk wat data-analysten al decenia doen in de Games industrie om dit soort content te balanceren. Hoe is dit nieuw en vooral; hoe kan dit als patent aangenomen worden als het al een eerder gebruikte en gangbare strategie is? Iedere gamesstudio die dit principe toepast kan zich beroepen op alle games die dit in het verleden al toe hebben gepast en daarmee heeft Sony geen 'mechanic' of een ander concept in handen wat daadwerkelijk beschermt zou kunnen worden door middel van dit patent.

En als enkel het Machine Learning / Artificial Intelligence gedeelte nieuw is, wat uiteindelijk neerkomt op het automatiseren van dit data-analyse process en ook al vele jaren vrij goed toegankelijk is voor iedere willekeurige kleine developer, hoe kan een patent dan voorkomen dat andere developers gebruik maken van deze vrij beschikbare en gangbare technieken?

Dit was wellicht 15 jaar geleden relevant geweest maar lijkt nu geen enkele waarde meer te hebben.

[Edit; ik snap dat het patent veel bredere doelen omschrijft zoals het herkennen van speelpatronen, maar ook dit zijn al technieken die lang en breed toegepast worden in andere sectoren en producten. Deze bestaande technologie nemen en in een patent omschrijven dat je deze ook kunt toepassen op games creeert nog niets wat uiteindelijk patent-waardig zou moeten zijn)

[Reactie gewijzigd door Wesleyyy op 25 juli 2024 21:35]

[Eonfge]

Dit patent van Sony is niet eens zo kwaadaardig. Activision-Blizzard heeft enkele jaren geleden een patent gekregen op matchmaking waarbij ze spelers willen laten verliezen van spelers met meer cosmetische items. Op deze manier willen ze de Fear Of Missing Out pushen op gebruikers:

https://kotaku.com/activi...urages-players-1819630937

Zei het enkele dagen terug al, maar het mag nog best herhaald worden: De patenten en auteursrechten industrie zijn totaal corrupt en dienen al lang niet meer zijn oorspronkelijke doel. Patenten draaien niet meer om innovatie maar om grote juridische afdelingen, en zo centraliseerd macht zich steeds verder in de handen van enkele ondernemingen.

[Zoijar]

Als je die diagrammen ook ziet in zo'n patent... echt triest. Ik kan ook twee boxjes tekenen: computer --> amazing feature --> users.

[PPie]

Heb je nooit eerder een patent bekeken?
Diagrammen zien er altijd uit alsof een kind van 5 die heeft getekend...

[_Pussycat_]

Met handgeschreven cijfers! Dat hoort er gewoon bij!

[Accretion]

Gelukkig heeft Activision dat patent.

Dan wordt er voorkomen dat andere gamestudios ditzelfde 'evil mechanic' toepassen.

[Joeri.Bijlsma]

"Een dynamische moeilijkheidsgraag en vijanden die zich aanpassen aan het gedrag en ervaring(spunten) van de speler is al vele malen in games toegepast."

noem 10 spellen die dit doen.
Durf te wedden dat dat je niet gaat lukken, zelfs 2 is al te veel.

Ik ken zelf geen enkele game die dit doet en zit al een kleine 25 jaar aan de games.

[GromuhlDjun]

Sin Episodes: emergence
Dit was echt rampzalig, je kwam op een gegeven moment op een punt dat het gewoon niet meer te doen was. Zeker niet simpel om effectief toe te passen. Het voelde alsof je gestraft werd omdat je goed speelde. Het was op het kritieke moment niet meer mogelijk om de moeilijkheid omlaag te krijgen.

Left 4 Dead heeft een soortgelijk systeem, die bepaalt hoeveel zombies spelers te verduren krijgen aan de hand van hun prestaties.

Crash Bandicoot paste de snelheid van obstakels aan de kunde van de speler en gaf extra leven wanneer je er helemaal niets van bakte.

Anderen hebben genoemd:
MSGV
Mario Kart
Resident Evil 4
Zanac

Dus dan zitten we op 7, misschien halen we de 10 nog wel

[Gryvix]

de meeste recente racegames van Codemasters hebben dit, forza horizon 4 ook

[Pieeeeeee]

Maar dit zijn allemaal simpele checks. Bvb of je veel zombies afknalt met weinig schade en snelheid. Of het simpele feit of je (in Mario kart) eerst of laatste rijdt. Het artikel gaat over veel complexere berekeningen die kijken naar hoe je speelt, patronen gebruikt etc. Imo iets heel anders als de voorbeelden die hier aangehaald worden.

[GromuhlDjun]

Hoe ik het omschreven zie in de patentaanvraag, zijn het dezelfde soort checks als in de games hiervoor genoemd, maar dan op grotere schaal. Data van alle spelers gaat dan bepalen hoe bijvoorbeeld een eindbaas zich gedraagd. Zo kunnen ze sneller zien waar spelers moeite mee hebben zodat ze daar "real life purchases" aan kunnen binden (zoals omschreven op blz 17-18).

Het patent gaat zo te lezen vooral over winstmaximalisatie in combinatie met player retention. Ze willen het zo leuk mogelijk maken voor de speler, maar deze moet ook geld uit blijven geven. Het "nieuwe" is dus dat ze de mechanieken uit eerdere spellen gaan combineren en opschalen om dit te bereiken.

[UnanyMoose]

Unreal Tournament kon dit ook al met de automatische moeilijkheidsgraad van bots.

[shades]

Ik wil net zeggen - hoezo patent aanvragen - wordt vast wel een troll

[bdbfz]

Ik geef je er al eentje: Metal Gear Solid V: The Phantom Pain (2015)

MGSV Revenge system (enemy preparedness)

The revenge system is used in Metal Gear Solid V: The Phantom Pain as a game mechanic that adjusts difficulty based on various aspects of the player's methods of infiltrating outposts. When the level of a revenge category is increased it increases difficulty by adding better gear to a certain percentage of spawned AI. Some common examples of this include soldiers wearing helmets if the player has been neutralizing them through headshots and wearing night-vision goggles if the player has been repeatedly caught infiltrating at night, multiple sorties in a row.

[reddevi009]

Rubberbanding in vorige edities van Mario Kart

[deknegt]

En in alle Need for Speed games!

[Knijpoog]

Ohja idd bit Mario kart N64 werden de NPC beter of zwakker gebaseerd op je positie. Ook kreeg je meer kans op betere wapens als je een van laatste was. Bvb bliksemschicht krijg je nooit als je 1ste staat.

[Accretion]

Welke versies eigenlijk?
Het kwam vaak voor dat ik alsnog een ronde voor reed?

Wellicht zit er alsnog een limiet aan de rekbaarheid van het elastiek.
In zekere zin werken alle power-ups ook als methode om de tragere speler nog een kans te geven.

[arnoudx6]

Elder scrolls online schaalt in de story guests naar je level. Dat is toch wat ze hier bedoelen? Lijkt me dat meer spellen dit hebben.

[DCG909]

Aliens: isolation
Als je teveel onder een tafel blijft zitten trekt de director de alien sneller naar een andere ruimte/van je weg, speel je agressief, dan wordt deze vaker jouw kant op gestuurd.

Resident evil 4 heeft ook een dynamische difficulty iirc.
https://youtu.be/zFv6KAdQ5SE

Niet de minste, of jongste games dus

[Reactie gewijzigd door DCG909 op 25 juli 2024 21:35]

[hansg]

Zanac op de MSX, in 1986: https://en.wikipedia.org/wiki/Zanac#Gameplay

[-=bas=-]

Voel me nu opeens heel erg oud.
Maar MSX altijd +3.

[Mitsuko]

Left 4 Dead 2 bijvoorbeeld. 10 spellen noemen is misschien lastig maar het concept is niet nieuw.

[StGermain]

Injustice: Gods Among Us

Tamelijk ergerlijk zelfs dat hoe meer je wint in de campaign hoe moeilijker het wordt zodat je geregeld eens moet afgemaakt worden om dan weer verder te kunnen.

[galena]

Elke flipperkast verhoogt de high-score nadat je deze behaald hebt :-) En daarna gaat ie weer gestaag omlaag. Dat is ook een dynamische moeilijkheidsgraad.

[_Pussycat_]

In mijn flipperkast (ik had er één thuis) bleef de Highscore voor altijd vast staan. Nou ja, totdat de batterijen kapot waren.

[GertMenkel]

Rubberbanding zit in zo'n beetje elke mascotteracer sinds de jaren '00. Diverse iets serieuzere spellen als Need for Speed hebben dit ook ingebouwd zitten. The Elder Scrolls heeft sinds minstens Oblivion al een systeem dat de levels van je tegenstanders met je meestijgen. Sommige sportspellen, zoals NBA Jam, laten de tegenstander zelfs zichtbaar "vals spelen" als je te goed wordt.

Een uitgebreidere lijst is te vinden op Wikipedia: https://en.wikipedia.org/...ulty_balancing#Approaches. Dit patent is een oud trucje maar met het woord "machine learning" in het midden gegooid.

[IStealYourGun]

Max pain 3 (of was het 2) werd moeilijker of makkelijk afhankelijk of je veel dood ging of niet.

[thibaultvdb]

Raceroom Racing Experience heeft bij de beste AI's in simracing. Ik heb hier nooit een moeilijkheidsgraad moeten instellen, de game zorgt er voor dat je tegenstanders zich aanpassen aan jou rijgedrag. Altijd spannende races in die game!

[Verwijderd]

Het patent zelf lijkt in het algemeen niet baanbrekend. Wat wel verrassend is is dat men ook voor player-to-player 'gevechten' het on the fly wil kunnen toepassen zodat bepaalde typen aanvallen makkelijker of juist moeilijker ontweken/gestopt kunnen worden, etc, zonder dat er een patch nodig is om de aanval te nerfen of te buffen.

Dat is echt het enige onderdeel wat ik redelijk revolutionair vindt, de rest wordt al in meer of mindere mate toegepast.

[Skyclad]

Meestal is het een kweste dat de programmeurs aanpassingen maken aan zo'n boss als ze merken dat een bepaalde manier van spelen wordt gebruikt om deze te slopen (een manier die niet de bedoeling was). Het verschil hier is dat de AI bepaald wanneer er wat toegepast moet worden, en de programmeurs dus al vantevoren de verschillende mogelijkheden aangeven. Als ze dat goed werkend krijgen kan de AI al een soort 'bugfix' toepassen op basis van hoe mensen de boss verslaan, als de gebruikte methode niet de bedoeling was. Echter heb je er ook een extra 'point of failure' bij, wanneer de AI te beinvloeden is door op bepaalde punten 'slecht te spelen' bijvoorbeeld. Want als je het op het niveau van de speler wilt aanpassen dan moet je dat ook doen wanneer de speler niet goed genoeg ervoor lijkt te zijn.

Voor de herspeelbaarheid van single player games kan zoiets best interessant zijn. Voor multiplayer games lijkt me dit minder geschikt, gezien dat je of met het hele team een totaal willekeurige boss gaat krijgen (wanneer het op het niveau van alle aanwezige spelers gebaseerd wordt en je niet met een vaste groep speelt), of een steeds moeilijkere boss (wanneer je met een vaste groep speelt en het op 1 of alle leden gebaseerd wordt), of een boss die voor bijna iedereen onmogelijk wordt (wanneer het naar de hele server kijkt om alle strategieen onmogelijk te maken en dus ook nieuwe spelers te maken krijgen met een boss die zich aan de topspelers heeft aangepast). Of je moet een vaste set skills hebben die het iets moeilijker maken maar niet erg veel, zodat niet te veel wijzigt. En dan wordt het enige verschil met dungeons met verschillende moeilijkheidsgraden eigenlijk dat je dezelfde loot op alle moeilijkheden kan laten vallen.

[Accretion]

Hmm, dit is wel een goede opmerking.

Stel, in de statistieken komt vaak terug dat:
- een wapen/class de meeste 'kills' heeft
Of
- een boss veelvuldig wordt verslagen op een (simpele) methode.

Dan kan 'het spel zelf' of 'AI' een manier zoeken om het te herbalanceren.

Bijvoorbeeld de schade van dat wapen kleine beetjes verlagen.
Of de boss zijn weerstand voor dat type aanvallen verhogen.

Persoonlijk ben ik hier totaal geen fan van. Het hele idee is dat bepaalde wapens sterker zijn en bosses juist een bepaalde zwakheid hebben.

[WittiW]

Dus? Als je een techniek ontwikkelt die mogelijk voldoet aan het leuk maken van een spel voor elke doelgroep, is dit niet patenteerbaar? Wat is je bezwaar precies?

Niet dat ik iets van de belofte geloof, maar dat is iets anders.

[oef!]

Goede punten maar het subtiele verschil is dat dit een gedistribueerde variant van die technieken is. Het document beschrijft grotendeels uitwisseling van gegevens van verschillende spelers op (mogelijk verschillende) game platforms en machines.

Daarnaast wordt er ook gesproken over het aanpassen van moeilijkheidsgraad over hele genres, hiermee wordt geïmpliceerd dat er een gegevensstandaard en een infrastructuur moet zijn die games van aanvullende informatie voorziet zodat de game intern aanpassingen kan doen.

En wellicht dat dit al in MMO's gebeurt maar het aanpassen van een boss op basis van gedragspatronen van andere spelers (en het aanpassen van de beloning daarna) waardoor bestaande tactieken niet meer werken is best wel een leuk idee.

[Ramoncito]

Ik kan me vergissen, maar ik kan me een of ander (oud?) spel herinneren dat de moeilijkheidsgraad aanpaste als je voor de zoveelste keer het level of dat lastige punt niet haalde, doodging en weer terug op het vorige punt kwam. Ik nam aan dat het spel gewoon bijhield hoe vaak je het al geprobeerd had, en het dan iets aanpaste.

[Ocin32]

Ugh... gaan we nu op allerlei game mechanieken patenten leggen? Net als het nemesis systeem?

Slechte ontwikkeling. Wat mij betreft, vergelijkbaar met films heeft Michael bay ook niet het alleenrecht op over the top actiefilms en dat is maar goed ook?

Capcom heeft met resident evil 3 al de automatische difficulty aanpassing geïmplementeerd en werkt daar prima, moeten ze daar straks dan eerst bij Sony aankloppen om dit in het nieuwe deel te implementeren?

[Verwijderd]

Wat een onzin als ze daar ook echt een ""patent" op krijgen.
Gaat toch niet om een echte nieuwe uitvinding....?

[bamboe]

|Hoezo, de boss krijgt een extra schild of andere ontwijkings kans, dit is nieuw dat deden andere aanpassingen niet echt, tuurlijk krijgt sony daar een patent op...

[Poesmij]

Was dit ookal niet in een van de forza motorsport games?
Weet nog dat ik me gruwelijk irriteerde aan de career mode dat er op een gegeven moment geen doorkomen meer aan was en je express moest verliezen om weer mee te kunnen doen met de races.
Vind moeilijk best leuk, zo nu en dan wanneer ik dat wil. Bij deze game liep ik er dan ook op vast en ben ik ermee gestopt.

[jinks26]

Er zit zoiets in forza horizon 4. Daar krijg je een melding dat ze het niveau van de ai willen aanpassen omdat je de races iets te gemakkelijk wint.

[Ramoncito]

Ik weet nog wel dat als ik op een flipperkast speelde en telkens weer vrije spelen won, het aantal punten om dat te krijgen in steeds grotere stappen verhoogd werd. Leuk voor degene die na jou ging spelen

[Cowamundo]

Jammer dat jullie Pine in het artikel niet noemen:

nieuws: Nederlandse game die zich aan speler aanpast haalt doel op Kickstarter

Ik weet niet of het ook gebruik maakt van machine learning maar het is zeker niet nieuw.

[BrbZrk]

Dit hadden ze begin PS4 periode ook al. Niks mee gedaan blijkbaar.

[HADES2001]

Deed king kong op de ps2/x360 dit al niet een beetje? Als je 3 keer dood ging bij t-rex werd die vervangen voor 2 velociraptors. Snap dat dit iets verder gaat maar zo veel anders is het niet. Heb je 100x de combo A gebruikt dan verdedigt de vijand tegen combo A en moet je B gebruiken.
Zelf geen fan van, noem me maar oud maar doe mij maar ouderwets NES ninja gaiden of castlevania. Duidelijke patronen en word maar beter.

[Dude_Oner]

Ik moest gelijk denken aan SSX Tricky (2001). Daar moest je punten halen door tricks te doen met snowboarden. Als je te vaak dezelfde tricks deed kreeg je steeds minder punten. Zorgde ervoor dat je steeds nieuwe combos moest doen voor een goede score. Klinkt hetzelfde...of is dat niet AI genoeg 😁?

[GewoonWatSpulle]

De gameontwikkelaar en consolemaker wil het voor spelers niet alleen moeilijker maken,

.. maar ook voor andere ontwikkelaars om nog spellen te maken!