Uczniowie spostrzegli się, że ocenia ich AI. Postanowili wykiwać algorytm
Lazare Simmons, 12-letni siódmoklasista z USA był zrozpaczony swoimi wynikami z testu z historii. Przyczyną jego smutku okazał się jednak nie surowy nauczyciel, lecz system sztucznej inteligencji, który ocenił go w bezlitosny sposób.
Jego dociekliwa mama Dona przejrzała na wylot platformę do nauki wirtualnej Edgenuity i spostrzegła się, że oceny nie wystawiał człowiek, lecz algorytm AI. Co więcej, była tak zdeterminowana, aby ten mechanizm przechytrzyć i… udało się jej, a z podobnych sztuczek korzystali także inni uczniowie.
Oceniający algorytm: równie bezlitosny, co ograniczony
Niecodzienną sytuację opisał portal The Verge. Uczeń jednej z amerykańskich szkół był niemal pewien, że to z jego wiedzą jest coś nie tak, gdy zobaczył, że otrzymał 50/100 punktów z testu z historii. Jego mama (która sama jest wykładowczynią historii) początkowo myślała, że to taki typowy ruch ze strony nauczyciela, który początkowo wolał ocenić ucznia surowiej.
Jednak, gdy syn wyjawił jej resztę historii i to, że otrzymał ocenę dosłownie sekundę po przesłaniu odpowiedzi, Dona Simmons wiedziała, że coś tu nie gra. Żaden człowiek nie byłby w stanie sprawdzić testu w takim czasie. I nie myliła się.
Gdy zorientowała się, że pracę oceniał algorytm sztucznej inteligencji, była zdeterminowana, aby wraz z synem go "złamać". Okazało się, że system Edgenuity wyszukiwał specyficznych słów-kluczy, które miały pojawić się w pracach uczniów.
Szybko obnażyli ograniczenia systemu – nie trzeba było pisać nawet poprawnych zdań, lecz naszpikować tekst jakimikolwiek pasującymi do tematu wyrażeniami. "Jakie były zalety położenia Konstantynopolu i jak miasto to przyczyniło się do rozkwitu Bizancjum?" - brzmiało jedno z pytań. Wystarczyło rzucić obok siebie hasełka, takie jak "bogactwo, karawana, statek, Indie, Chiny, Bliski Wschód".
Efekt? Maksymalna liczba punktów gwarantowana. Można było w ten sposób uzyskać najwyższe noty bez jakiegokolwiek uczenia się. Przedstawiciele platformy Edgenuity nie odpowiedzieli na pytania The Verge związane z efektywnością algorytmu.
System używany w większości amerykańskich szkół
Śledztwo portalu wykazało, że z podobnej taktyki korzystało przynajmniej ośmiu innych uczniów. Co ciekawe, system Edgenuity jest wykorzystywany przez 20 000 szkół, w tym 80 proc. największych z nich w USA.
Jak się jednak okazuje, uczniowie nie będą mogli zastosować podobnej taktyki we wszystkich rodzajach zadań. Pytania otwarte, o jakich tutaj była mowa, stanowią jedynie 5 procent treści na Edgenuity. Mimo wszystko część osób będzie niewątpliwie takim rozwiązaniem skuszona, zwłaszcza, że działa ono nie tylko w odniesieniu do historii, lecz praktycznie każdego przedmiotu.
Co ciekawe, w teorii nauczyciele mają możliwość ręcznego nadpisania automatycznej oceny i przejrzenia prac uczniów, a The Verge może potwierdzić, że były takie przypadki, gdy kogoś przyłapano. Jednakże w znakomitej większości sytuacji nigdy do takich interwencji nie dochodzi.
Funkcjonowanie systemów takich, jak Edgenuity to przestroga przed automatyzacją edukacji. Z drugiej zaś strony, może kojarzyć się również z poleganiem na kluczu odpowiedzi w egzaminach gimnazjalnych i maturalnych, jakie miało miejsce od 2005 roku wzwyż w polskiej edukacji.