Naukowcy z Politechniki Gdańskiej oraz AI Lab z Ośrodka Przetwarzania Informacji - Państwowego Instytutu Badawczego stworzył modele językowe, bazujące wyłącznie na polskich tekstach. Jak przekazuje PAP, mogą być one polskimi odpowiednikami GPT.
Zespół naukowców z Politechniki Gdańskiej oraz AI Lab z Ośrodka Przetwarzania Informacji (OPI) – Państwowego Instytutu Badawczego, stworzył polskojęzyczne modele językowe o nazwie Qra. To pierwsze tego typu narzędzie na taką skalę, które stanowi odpowiednik otwartych narzędzi takich jak Meta czy Mistral AI. Jak podkreśla gdańska uczelnia techniczna, Qra charakteryzuje się lepszym zrozumieniem treści w języku polskim oraz tworzy spójne teksty z większą precyzją.
Informacja o tym osiągnięciu została przekazana przez biuro prasowe Politechniki Gdańskiej w piątek. Jak podano, modele językowe zostały opracowane na bazie terabajta danych tekstowych, które są wyłącznie w języku polskim.
Dalsza część artykułu pod materiałem wideo
Sztuczna inteligencja pomoże Polakom
"Qra to pierwszy tej skali i najlepszy w modelowaniu języka polskiego odpowiednik otwartych narzędzi Mety czy Mistral AI. Qra lepiej rozumie treści w języku polskim, lepiej rozumie pytania zadawane w tym języku i lepiej sama tworzy spójne teksty" - czytamy w komunikacie.
Modelowanie języka polskiego odbywało się w specjalistycznym środowisku obliczeniowym dedykowanym do budowy modeli sztucznej inteligencji, które powstało na Politechnice Gdańskiej w Centrum Kompetencji STOS. To jedno z najnowocześniejszych centrów IT w tej części Europy, gdzie znajduje się superkomputer Kraken.
Jak informuje uczelnia, w procesie tworzenia modeli wykorzystano klaster 21 kart graficznych NVIDIA A100 80GB. Przygotowanie środowiska, utworzenie narzędzi i modeli oraz ich trenowanie (w oparciu m.in. o treści z takich obszarów, jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) i testowanie zajęło zespołom około pół roku. "Dzięki rozbudowanej infrastrukturze CK STOS właściwy proces trenowania w przypadku najbardziej złożonego z modeli został skrócony z lat do około miesiąca" - przekazano.
Model lepszy niż modele dużych firm
W wyniku współpracy Politechniki Gdańskiej i Ośrodka Przetwarzania Informacji powstały trzy modele o różnym stopniu złożoności, tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B oraz Qra 13B uzyskują istotnie lepszy wynik perplexity, czyli zdolności do modelowania języka polskiego w zakresie jego rozumienia, warstwy leksykalnej, czy samej gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) oraz Mistral-7B-v0.1 (Mistral-AI).
Testy pomiaru perplexity przeprowadzono m.in. na zbiorze pierwszych 10 tys. zdań ze zbioru testowego PolEval-2018 oraz dodatkowo przetestowano modele na zbiorze 5 tysięcy długich i bardziej wymagających dokumentów napisanych w 2024 r.
Modele Qra mają stanowić podstawę rozwiązań informatycznych do obsługi spraw i procesów, które wymagają lepszego zrozumienia języka polskiego.
"Na tym etapie Qra jest fundamentalnym modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są bardzo wysokiej jakości, co potwierdza m.in. miara perplexity" - zaznaczano w komunikacie.
Zespół naukowców zapowiedział, że rozpocznie pracę nad strojeniem modeli, aby zweryfikować ich możliwości pod kątem takich zadań, jak klasyfikacja tekstów, dokonywanie ich streszczeń, odpowiadania na pytania.
Opracowane modele zostały upublicznione w repozytorium OPI-PG na platformie huggingface. Model można pobrać do swojej dziedziny i problemów czy zadań, jak np. udzielanie odpowiedzi.
