UTF-8(7) Miscellaneous Information Manual UTF-8(7) NAZWA UTF-8 - zgodne z ASCII wielobajtowe kodowanie Unikodowe OPIS The Unicode 3.0 character set occupies a 16-bit code space. The most obvious Unicode encoding (known as UCS-2) consists of a sequence of 16-bit words. Such strings can contain--as part of many 16-bit characters--bytes such as '\0' or '/', which have a special meaning in filenames and other C library function arguments. In addition, the majority of UNIX tools expect ASCII files and can't read 16-bit words as characters without major modifications. For these reasons, UCS-2 is not a suitable external encoding of Unicode in filenames, text files, environment variables, and so on. The ISO/IEC 10646 Universal Character Set (UCS), a superset of Unicode, occupies an even larger code space--31 bits--and the obvious UCS-4 encoding for it (a sequence of 32-bit words) has the same problems. Kodowanie UTF-8 dla Unicode i UCS nie ma tych problemow i jest sluszna metoda uzywania zestawu znakow Unicode w systemach operacyjnych wzorowanych na UNIX-ie. WLASCIWOSCI Kodowanie UTF-8 ma nastepujace przydatne wlasciwosci: * UCS znaki od 0x00000000 do 0x0000007f (klasyczne znaki US-ASCII) zakodowane sa po prostu jako bajty 0x00 do 0x7f (zgodnosc z ASCII). Oznacza to, ze pliki i lancuchy ktore zawieraja tylko siedmiobitowe znaki ASCII maja takie samo kodowanie i w ASCII i w UTF-8. * All UCS characters greater than 0x7f are encoded as a multibyte sequence consisting only of bytes in the range 0x80 to 0xfd, so no ASCII byte can appear as part of another character and there are no problems with, for example, '\0' or '/'. * Zachowany jest leksykograficzny porzadek sortowania lancuchow w UCS-4. * All possible 2^31 UCS codes can be encoded using UTF-8. * Bajty 0xc0, 0xc1, 0xfe i 0xff nie sa nigdy uzywane w kodowaniu UTF-8. * Pierwszy bajt ciagu wielobajtowego reprezentujacego pojedynczy znak UCS nie-ASCII zawsze zawiera sie w zakresie 0xc2 do 0xfd i wskazuje jak dlugi jest ow ciag. Wszystkie pozostale bajty takiego wielobajtowego ciagu zawieraja sie w zakresie od 0x80 do 0xbf. Pozwala to na latwa resynchronizacje i sprawia, ze kodowanie jest niezalezne od stanu [systemu] oraz odporne na brakujace bajty. * Znaki UCS zakodowane w UTF-8 moga miec dlugosc do szesciu bajtow, jakkolwiek standard Unicode nie definiuje znakow powyzej 0x10ffff, wiec znaki Unicode moga miec maksymalnie cztery bajty w UTF-8. KODOWANIE Do reprezentacji znaku uzywane sa nastepujace ciagi bajtow. Ciag, ktorego nalezy uzyc zalezy od numeru kodu UCS znaku: 0x00000000 - 0x0000007F: 0xxxxxxx 0x00000080 - 0x000007FF: 110xxxxx 10xxxxxx 0x00000800 - 0x0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx 0x00010000 - 0x001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 0x00200000 - 0x03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 0x04000000 - 0x7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx The xxx bit positions are filled with the bits of the character code number in binary representation, most significant bit first (big-endian). Only the shortest possible multibyte sequence which can represent the code number of the character can be used. The UCS code values 0xd800-0xdfff (UTF-16 surrogates) as well as 0xfffe and 0xffff (UCS noncharacters) should not appear in conforming UTF-8 streams. According to RFC 3629 no point above U+10FFFF should be used, which limits characters to four bytes. PRZYKLADY Znak Unicode 0xa9 = 1010 1001 (znak copyright) kodowany jest w UTF-8 jako 11000010 10101001 = 0xc2 0xa9 a znak 0x2260 = 0010 0010 0110 0000 (symbol "nie rowna sie") kodowany jest jako: 11100010 10001001 10100000 = 0xe2 0x89 0xa0 Uwagi o stosowaniu Aby wlaczyc obsluge locale UTF-8 uzytkownicy musza wybrac na przyklad export LANG=pl_PL.UTF-8 aby aktywowac obsluge UTF-8 w aplikacjach. Oprogramowanie, ktore musi wiedziec, jakie kodowanie znakow jest uzywane powinno zawsze ustawiac locale, na przyklad za pomoca setlocale(LC_CTYPE, "") a programisci moga wowczas sprawdzac wartosc wyrazenia strcmp(nl_langinfo(CODESET), "UTF-8") == 0 to determine whether a UTF-8 locale has been selected and whether therefore all plaintext standard input and output, terminal communication, plaintext file content, filenames, and environment variables are encoded in UTF-8. Programmers accustomed to single-byte encodings such as US-ASCII or ISO/IEC 8859 have to be aware that two assumptions made so far are no longer valid in UTF-8 locales. Firstly, a single byte does not necessarily correspond any more to a single character. Secondly, since modern terminal emulators in UTF-8 mode also support Chinese, Japanese, and Korean double-width characters as well as nonspacing combining characters, outputting a single character does not necessarily advance the cursor by one position as it did in ASCII. Library functions such as mbsrtowcs(3) and wcswidth(3) should be used today to count characters and cursor positions. The official ESC sequence to switch from an ISO/IEC 2022 encoding scheme (as used for instance by VT100 terminals) to UTF-8 is ESC % G ("\x1b%G"). The corresponding return sequence from UTF-8 to ISO/IEC 2022 is ESC % @ ("\x1b%@"). Other ISO/IEC 2022 sequences (such as for switching the G0 and G1 sets) are not applicable in UTF-8 mode. BEZPIECZENSTWO Standardy Unicode i UCS wymagaja, aby przy generowaniu UTF-8 uzywac najkrotszej z mozliwych postaci, np. generowanie dwubajtowej sekwencji o pierwszym bajcie 0xc0 nie jest zgodne ze standardem. Unicode 3.1 dodal wymaganie, aby zgodne ze standardem programy nie akceptowaly innych niz najkrotsze postaci jako swoich danych wejsciowych. Jest to zwiazane z bezpieczenstwem: jesli wprowadzane przez uzytkownika dane sa sprawdzane pod katem mozliwych naruszen bezpieczenstwa, program moze sprawdzac jedynie wersje ASCII wystapien "/../", ";" lub NUL i przeoczyc, ze jest wiele niezgodnych z ASCII sposobow przedstawienia tych rzeczy w nienajkrotszym kodowaniu UTF-8. STANDARDY ISO/IEC 10646-1:2000, Unicode 3.1, RFC 3629, Plan 9. ZOBACZ TAKZE locale(1), nl_langinfo(3), setlocale(3), charsets(7), unicode(7) TLUMACZENIE Autorami polskiego tlumaczenia niniejszej strony podrecznika sa: Gwidon S. Naskrent , Andrzej Krzysztofowicz i Michal Kulach Niniejsze tlumaczenie jest wolna dokumentacja. Blizsze informacje o warunkach licencji mozna uzyskac zapoznajac sie z GNU General Public License w wersji 3 lub nowszej. Nie przyjmuje sie ZADNEJ ODPOWIEDZIALNOSCI. Bledy w tlumaczeniu strony podrecznika prosimy zglaszac na adres listy dyskusyjnej . Linux man-pages 6.06 28 stycznia 2024 r. UTF-8(7)