Emotikony już nie takie fajne. Utrudniają wykrywanie mowy nienawiści w sieci

Nowe badania sugerują, że prawdopodobieństwo zidentyfikowania obraźliwych wpisów w sieci jest mniejsze, jeśli zawierają one emotikony. Według Oxford Internet Institute szkodliwe posty mogą zostać całkowicie pominięte, podczas gdy dopuszczalne posty są błędnie oznaczane jako obraźliwe.

Wiele z obecnie stosowanych systemów jest szkolonych na podstawie dużych baz danych tekstu, w których rzadko pojawiają się emotikony. Przez to algorytmy mogą mieć trudności w weryfikowaniu treści, gdy natkną się na symbole zamieszczone w internecie.

Analiza przeprowadzona przez portal Sky News wykazała, że ​​konta na Instagramie publikujące rasistowskie treści zawierające emotikony, były ponad trzykrotnie mniej narażone na zablokowanie w porównaniu z tymi, które publikowały nienawistne wiadomości zawierające tylko tekst.

Aby pomóc w rozwiązaniu tego problemu, badacze stworzyli bazę danych zawierającą prawie 4000 zdań, z których większość zawierała emotikony użyte w sposób obraźliwy. Wspomniany zbiór został wykorzystany do szkolenia modelu sztucznej inteligencji w celu zrozumienia, które wiadomości były, a które nie były obraźliwe.

Naukowcy przetestowali model na nadużyciach związanych z rasą, płcią, tożsamością płciową, seksualnością, religią i niepełnosprawnością. Przeanalizowali również różne sposoby, w jakie emoji mogą być używane w sposób obraźliwy.

Perspective API, wspierany przez Google projekt oferujący oprogramowanie służące do identyfikacji mowy nienawiści, okazał się w skuteczny w rozpoznawaniu tego typu komentarzy w bazie danych w zaledwie 14 proc. Narzędzie to jest szeroko stosowane i obecnie przetwarza ponad 500 milionów zapytań dziennie.

Model opracowany przez badaczy pozwolił uzyskać blisko 30-proc. poprawę w prawidłowym rozpoznawaniu nienawistnych treści oraz aż 80-procentową poprawę w odniesieniu do niektórych rodzajów nadużyć opartych na emotikonach.