Cholerne ą-ę – czyli kodowanie w UTF-8

Studia jak to studia, wymuszają na biednym studencie zgłębianie dziwacznych zakamarków wiedzy. Tym razem moje ćwiczenia z Teorii Informacji i Kodowania poruszyły temat Unicode, a konkretniej UTF-8.

Skoro na co dzień używamy tego kodowania w wielu plikach, to warto go poznać. Sposoby, które przedstawię na łamach tego wpisu mogą okazać się szczególnie przydatne studentom. Nie mam zamiaru tłumaczyć tutaj dlaczego takie kodowanie jest fajne (lub nie) ani tony zbędnej teorii, a raczej praktycznie pokazać jak przed kolokwium albo sprawdzianem szybko nauczyć się kodować dowolne znaki w UTF-8.

UWAGA: Zakładam, że czytelnik w biegły sposób potrafi poruszać się pomiędzy systemem binarnym i heksadecymalnym.

Rys teoretyczny

Lata temu grupa mądrych ludzi zza oceanu wymyśliła, że znaki w dokumentach możemy kodować na podstawie tabeli ASCII. O ile ASCII tylko i wyłącznie w czystej postaci jest już dzisiaj rzadko spotykane, to w kodowaniu UTF-8 ma olbrzymie znaczenie – zaraz zobaczymy dlaczego.

Tabela ta oczywiście nie zawiera znaków innych niż z alfabetu łacińskiego, ponieważ amerykanie nie mieli takiej potrzeby. Próbowano to obejść przy pomocy stron kodowych. Ten kto jeszcze pamięta Windows 9x, ten wie o co chodzi ;)

Wracając to problemu kodowania znaczków innych niż w tablicy ASCII wymyślono tak:

• Jeżeli znak, który chcemy zakodować znajduje się w tablicy ASCII, to zapisujemy go standardowo według jego kodu z tablicy
• W przeciwnym razie posłużmy się sposobem kodowania, który wykładowca tłumaczył jak najbardziej zawiłym sposobem na wykładzie

Co to dla nas oznacza?

Jeżeli mamy literkę jak A lub e lub dowolną inną z tablicy ASCII, to wyszukujemy jej kod i wpisujemy w plik. Tak robią edytory tekstu przy kodowaniu UTF-8. Więc A zapiszemy jako 41h, e zapiszemy jako 101h.

Kodujemy!

Aby zakodować coś spoza kodu ASCII, użyjemy do tego kolejnej tabelki.

Dla każdego znaku z tabelki posłużymy się następującym algorytmem:

• Odnajdujemy interesujący nas znak w tablicy i zapisujemy jego numer Unicode (U+x)
• Rozpisujemy numer binarnie (uwaga, numer jest zapisany heksadecymalnie)
• Kodujemy znaki w kolejnych „przedziałach” bitów grupowanych po 8, numerując każdy przedział kolejno bitami 10, 110, 1110, 11110...

Brzmi strasznie? Tylko w teorii. Zakodujmy dla przykładu literkę Ę. 1. Odnajduję kod literki Ę i zapisuję go: U+118. 2. Rozpisuję binarnie 118h: 000100011000, po pominięciu nic nie zmieniających bitów otrzymuję 100011000. 3. Koduję:

• Próbuję zapisać w pierwszym przedziale bity. Numer pierwszego przedziału to 10. Mam do wykorzystania 6 bitów, więc biorę ostatnie 6 bitów naszego rozpisanego 118h: 011000. Po włączeniu numeru przedziału na początek otrzymuję: 1001 1000
• Pozostały mi bity 00100. Koduję więc drugi przedział i numeruję go kolejno: 110. Łączę numer z pozostałymi bitami i otrzymuję: 1100 0100
• Zakodowałem całą liczbę! Teraz łączymy przedziały: 1100 0100 1001 1000
• W przeliczeniu na system szesnastkowy otrzymujemy C498h.

Jeżeli znamy podstawowe przeliczenia między systemami liczbowymi, to kodowanie w UTF-8 nie powinno sprawić nikomu problemu. A jak sprawdzić czy na pewno dobrze zadokowaliśmy znak?

Sprawdzenie

Z przyzwyczajenia używam dość archaicznego programu HexView

W ulubionym edytorze (w moim przypadku TextPad ) zapisuję naszą przykładową literkę Ę i zapisuję, stosując kodowanie UTF-8.

Następnie w HexView otwieram nasz plik tekstowy i sprawdzam rezultat:

Jak widać, literka Ę jest zakodowana poprawnie :)

Podsumowanie

Jak widać nie taki diabeł straszny i spokojnie można nauczyć się kodowania znaków, a potem może i zaimplementować własny algorytm ich zapisu w swoje programy? Niezależnie od tego czy mój wpis służył w celu zaspokojenia własnej ciekawości, czy też nauki do kolosa na kierunku technicznym, mam nadzieję że pomogłem :) Jeżeli popełniłem gdzieś po drodze błąd, to proszę abyście mnie poprawili ;)