Games

Interview: R&D-Projekt von Ubisoft und Riot gegen toxisches In-Game-Verhalten

Ubisoft und Riot Games arbeiten gemeinsam am Forschungsprojekt "Zero Harm in Comms". Beide Unternehmen wollen an technologischen Möglichkeiten arbeiten, um disruptives Verhalten von Spieler:innen in Gamechats zu erkennen. Diese Zusammenarbeit ist Novum für die Branche und dürfte auch darüber hinaus Akzente setzen. GamesMarkt sprach mit den Projektverantwortlichen beider Big Player.

25.11.2022 13:37 • von
Yves Jacquier, Executive Director Ubisoft La Forge (links) und Wesley Kerr, Head of Technology Research Riot Games (Bild: Ubisoft, Riot Games)

Das technologische Forschungsprojekt "Zero Harm in Comms" von Ubisoft und Riot Games zielt darauf ab, eine branchenübergreifende Datenbank mit einem einheitlichen Kennzeichnungsökosystem zu schaffen, in der In-Game-Daten gesammelt werden, mit der KI-basierte präventive Moderationstools besser trainiert werden können, um disruptives oder toxisches Verhalten von Spieler:innen zu erkennen und zu entschärfen. Vielmehr sollen Grundlagen für zukünftige Kollaborationen innerhalb der Gamesbranche entwickelt und ein Framework erstellt werden, das die moralischen Ansprüche und den Schutz dieses Projekts garantiert. Als Teil der ersten Studie haben sich Ubisoft und Riot verpflichtet, die Learnings aus der ersten Phase des Experiments im nächsten Jahr mit der gesamten Branche zu teilen, unabhängig vom Ergebnis. Beide Unternehmen sind aktive Mitglieder der Fair Play Alliance, deren Ziel ist es, sichere Online-Erfahrungen durch gemeinsames Handeln und den Austausch von Wissen zu schaffen. Näheres zu dem R&D-Projekt erläuterten Wesley Kerr, Head of Technology Research bei Riot Games, und Yves Jacquier, Executive Director bei Ubisoft La Forge, im GamesMarkt-Interview.

GamesMarkt: Wie genau ist die Partnerschaft von Ubisoft und Riot Games zustande gekommen?

Wesley Kerr: "Ich war in der glücklichen Lage, schon in den vergangenen Jahren mit Yves von Ubisoft zusammenzuarbeiten, wenn es darum ging, wie wir die Investitionen von Riot in den Bereich der Technologieforschung ausweiten können. Für dieses Projekt trat Ubisoft an uns heran, weil sie das Interesse und das Engagement von Riot kannten, mit anderen in der Branche zusammenzuarbeiten, um sichere Communities zu schaffen und disruptives Verhalten einzudämmen."

Yves Jacquier: "Da Wesley und ich einen ähnlichen R&D-Auftrag haben, haben wir diesen Punkt offen diskutiert und vorgeschlagen, ein gemeinsames R&D-Projekt mit zwei Zielen zu initiieren: die Schaffung eines Rahmens, der es uns ermöglicht, Daten unter Wahrung des Datenschutzes und der Vertraulichkeit auszutauschen, wie es z. B. von der GDPR vorgeschrieben ist - und die Entwicklung eines innovativen Algorithmus, der auf diesen Daten trainiert wird, um die Erkennungsrate von toxischen Inhalten zu erhöhen. Dies ist ein komplexes Thema, das sehr schwierig zu lösen ist, ganz zu schweigen davon, wenn man es allein angeht. Wir sind davon überzeugt, dass wir als Branche durch gemeinsames Handeln und einen Wissensaustausch effizienter arbeiten können, um positive Online-Erfahrungen zu fördern und sicherzustellen, dass sich die Spieler:innen in sicheren Communities bewegen."

GM: Toxisches Verhalten in Online-Umgebungen ist ein nicht zu unterschätzendes Problem, vor allem in kompetitiven Spielen. Wie schätzen Sie die Relevanz dieses Problems ein?

Kerr: "In der gesamten Spielebranche liegt die allgemeine Faustregel bei etwa 95/5 Prozent. Das bedeutet, dass 95 Prozent der Spieler:innen, die sich in Spielen störend verhalten, nur manchmal auffällig werden. Bei diesen Spieler:innen reichen in der Regel Verwarnungen und leichte Strafen aus, um sie von einem erneuten Fehlverhalten abzuhalten. Die letzten fünf Prozent stören ständig und absichtlich. Wir haben null Toleranz gegenüber denjenigen, die sich in die Warteschlange einreihen, nur um das Spielerlebnis anderer Leute zu stören."

GM: Wo zieht man die Grenze zwischen toxischem Verhalten und "normalem", emotional aufgeladenen Verhalten, das gerade bei kompetitiven Matches schon vorkommen kann.

Kerr: "Wir suchen kontinuierlich nach Methoden, um das Verhalten von Spieler:innen besser einschätzen zu können - und wir hoffen, dass dieses Projekt uns helfen wird, einige dieser Grauzonen oder Grenzfälle besser zu verstehen. Was zum Beispiel als störend empfunden wird, kann in verschiedenen Kulturen, Regionen, Sprachen, Genres und Gemeinschaften unterschiedlich sein. Bei der Entwicklung dieser Systeme sind viele Faktoren zu berücksichtigen, die sich darauf auswirken können, wie wir gesunde Communities fördern und erhalten."

Jacquier: "Es gibt einen kulturellen Aspekt, dem wir uns bewusst sein müssen. Es gibt auch einen kontextuellen Aspekt, der für das Projekt entscheidend ist. Wenn zum Beispiel ein Spieler in einem kompetitiven Shooter sagt: "Ich komme, um dich zu erledigen", könnte das Teil der Spielfantasie sein und daher akzeptabel. In einem anderen Kontext würde es jedoch als Bedrohung angesehen werden. Das ist der Grund, warum es sich um ein sehr komplexes Problem handelt, da es normalerweise menschliches Urteilsvermögen erfordert, das leider nicht beliebig skalierbar ist."

GM: Sie setzen auf Künstliche Intelligenz bei der Erkennung von toxischem Verhalten. Wie trainieren Sie das System und woher stammen die Daten? Sind diese gegebenenfalls händisch annotiert?

Kerr: "Das ist eine ausgezeichnete und sehr schwierige Frage, um sie kurz zu beantworten, aber ich werde es versuchen. Eine der wichtigsten Aufgaben bei diesem Projekt ist es, einen sicheren Weg für den Datenaustausch zwischen Ubisoft und Riot zu finden, der die Privatsphäre unserer Spielenden wahrt. Die Daten bestehen aus Chatprotokollen von Spieler:innen, zusätzlichen Spieldaten sowie Kennzeichnungen, die angeben, welche Art von störendem Verhalten vorliegt, wenn überhaupt. Viele der Labels werden intern manuell beschriftet und wir nutzen semi-supervised Methoden, um Labels zu Beispielen hinzuzufügen, bei denen unsere Modelle ziemlich sicher sind, dass störendes Verhalten aufgetreten ist. Im Großen und Ganzen besteht das Training darin, ein Modell zu erstellen, das lernt, störendes Verhalten zu erkennen, indem es sich Hunderte oder Tausende von Beispielen ansieht und dabei lernt, die in den Beispielen vorhandenen Muster zu erkennen. Sobald das Modell trainiert ist, können wir es einsetzen, um störendes Verhalten in unseren Spielen zu erkennen."

Jacquier: "Ich möchte zu dem, was Wesley erklärt hat, noch hinzufügen, dass dies nur ein Tool in einem breiteren Toolset ist. Einen Weg zu finden, Daten gemeinsam zu nutzen und einen solchen Datensatz in Übereinstimmung mit allen Vorschriften zu erstellen, ist schwierig und von entscheidender Bedeutung. Wir hoffen, dass wir eine Blaupause schaffen können, um dies in Zukunft weiter zu erleichtern."

GM: Wie überlegen ist der KI-Ansatz in Relation zu traditionellen Methoden?

Kerr: "Das ehrgeizige Projekt steckt noch in den Kinderschuhen, aber wir hoffen, dass wir eine KI besser trainieren können, um die Erkennung von disruptivem Verhalten zu verbessern. In der Vergangenheit haben unsere Teams Methoden zur Erkennung bestimmter Schlüsselwörter eingesetzt, die einige der störenden Verhaltensweisen aufspüren. Mit dem Fortschritt in der Verarbeitung natürlicher Sprache und insbesondere mit einigen der neueren großen Sprachmodelle sind sie in der Lage, mehr Kontext und Nuancen in der verwendeten Sprache zu verstehen, anstatt nur nach Schlüsselwörtern zu suchen. Die Fähigkeit, Nuancen zu erfassen, ist von entscheidender Bedeutung, um disruptives Verhalten zu erkennen, ohne zu viele falsch positive Ergebnisse zuzulassen (d. h. Erkennungen, die falsch sind und dazu führen, dass unschuldige Akteure bestraft werden)."

Jacquier: "Traditionelle Methoden bieten die volle Präzision, sind aber nicht skalierbar. KI ist viel besser skalierbar, aber auf Kosten der Präzision. Deshalb bewerten wir die Effizienz einer KI sowohl anhand des Prozentsatzes der erkannten Inhalte als auch anhand des Prozentsatzes der Falschmeldungen, die sie auslöst. Wir müssen also an diesem KI-Ansatz arbeiten, um ihn zu einem leistungsfähigen und zuverlässigen Instrument zu machen, und ihn gleichzeitig als ein weiteres Element in unserem Werkzeugkasten betrachten."

GM: Das Forschungsprojekt ist bestimmt nicht nur für den Gamesbereich interessant. Welche anderen Einsatzbereiche sind vorstellbar?

Kerr: "Wir wissen, dass disruptives Verhalten ein Problem ist, das nicht nur bei Spielen auftritt und nicht nur Gamer:innen betrifft, die unsere Titel spielen, sondern alle Menschen, die online interagieren. Wir hoffen, dass Partner innerhalb und außerhalb der Spielebranche von diesem Projekt profitieren werden. Wir wissen, dass dieses Problem nicht im luftleeren Raum gelöst werden kann. Deshalb wollen wir mit Partner:innen innerhalb und außerhalb der Spielebranche wie Ubisoft zusammenarbeiten, die an die Schaffung sicherer Communities und die Förderung positiver Erfahrungen in Online-Räumen glauben."

Jacquier: "Das ist ein wichtiger Aspekt der Forschung: Wir lassen uns von anderen Forschenden inspirieren, die ihre Ergebnisse und Erkenntnisse weitergeben, und wir arbeiten daran, darauf in anderen Kontexten aufzubauen oder Verbesserungen vorzuschlagen, und diese Erkenntnisse können dann in anderen Bereichen angewendet werden."

GM: Glauben Sie, dass Sie auf diesem Gebiet Pionierarbeit leisten?

Kerr: "Wir haben schon früh in Player Dynamics investiert und wissen, wie wichtig es ist, ein gesundes Zusammenspiel in Games zu schaffen und Systeme zu entwickeln, die bereichernde soziale Erfahrungen fördern und schädliche Interaktionen vermeiden. Wir sind begeistert von diesem ehrgeizigen Projekt und der Arbeit, die die Teams bei Riot leisten, um das Spielerlebnis für alle unsere Spieler zu verbessern."

Jacquier: "Wir erheben nicht den Anspruch, in diesem Bereich insgesamt Pionierarbeit zu leisten. Die sozialen Medien arbeiten schon seit langem mit modernsten Technologien an diesen Themen, während die Fair Play Alliance erst fünf Jahre alt ist und viele Mitglieder aus der Branche vereint. Der Durchbruch besteht jedoch darin, dass zwei Konkurrenten Daten und Fachwissen im Rahmen eines Forschungs- und Entwicklungsprojekts austauschen, das sich mit einem branchenweiten Problem befasst. Meines Wissens ist das das erste Mal, dass so etwas gemacht wird. Wir sehen es als ein Pilotprojekt, dessen Erkenntnisse uns helfen werden, die nächsten Schritte zu gestalten."

GM: Die ersten Ergebnisse sollen öffentlich zugänglich gemacht werden. Was erhoffen Sie sich von dieser Offenheit?

Kerr: "Wir glauben an die gemeinsame Weitergabe von Erfahrungen und Wissen, sodass andere in der Branche weiterhin iterieren und innovieren können, um diesen herausfordernden Bereich besser meistern zu können."

GM: Spielen verschiedene Sprachen nicht eine entscheidende Rolle bei der Erkennung? Ein Beispiel: Im Deutschen gibt es zum Beispiel das Wort "weniger", das am Ende des Wortes eine Zeichenfolge einer Beleidigung aus dem Englischen enthält. Wie lässt sich verhindern, dass solche normalen Begriffe im Zusammenhang mit Toxizität falsch gekennzeichnet werden?

Kerr: "Das Projekt wird zunächst auf Englisch gestartet, aber wir sind offen für weitere Sprachen, aber Sie haben einen interessanten Punkt über Sprachen angesprochen. Die Sprache ist eine der vielen Herausforderungen beim Aufbau starker Gemeinschaften, die wir in Betracht ziehen, wenn wir eine globale Denkweise beibehalten und uns nicht zu sehr auf die Region konzentrieren, in der wir leben. Das konkrete Beispiel verdeutlicht, warum die stichwortbasierte Erkennung begrenzt ist und warum wir uns darauf konzentrieren, mehr Daten zu sammeln, um robustere Modelle zu entwickeln."

Jacquier: "Ihr Beispiel zeigt, wie schwierig diese Herausforderung ist. Um solche Systeme zuverlässig zu machen, müssen sie einen hohen Prozentsatz schädlicher Inhalte sehr genau erkennen und gleichzeitig die Rate der falsch-positiven Meldungen niedrig halten. Und diese beiden Ziele sind bei Ansätzen des maschinellen Lernens immer im Gleichgewicht. Um gute Ergebnisse zu erzielen, müssen nicht nur die kulturellen Besonderheiten berücksichtigt werden - was bei uns als schädlich gilt, ist es woanders vielleicht nicht -, sondern auch der Kontext. Dies erklärt, warum es sich um ein R&D-Projekt handelt: Es bleibt noch viel Arbeit zu tun."

Kurzvitae von Wesley Kerr und Yves Jacquier

Wesley Kerr ist Head of Technology Research bei Riot Games. Er gründete das AI-Innovationszentrum bei Riot, entwickelte Empfehlungsalgorithmen für das Shop-Erlebnis und arbeitete mit dem Player-Dynamics-Team zusammen, um das Spielerlebnis zu verbessern. In seiner Zeit vorher, bei Google Research, arbeitete er an der Verbesserung der Suche und den Entdeckungsmöglichkeiten von Spielen im Google Play Store. Kerr promovierte in Bereich Informatik, wo er am Schnittpunkt von Spielentwicklung und künstlicher Intelligenz forschte.

Yves Jacquier ist Executive Director bei Ubisoft La Forge. Jacquier arbeitet seit 2004 beim französischen Publisher in verschiedenen Position. Er leitete die Online-Dienste sowie die Production-Services-Studios und gründete 2016 La Forge, um eine Brücke zwischen akademischer Forschung und Videospielproduktion zu schlagen. Er hat außerdem einen Doktortitel in Hochenergiephysik.

Marcel Kleffmann