Provided by:
manpages-hu_20010119-5_all 
NÉV
UTF-8 - ASCII kompatíbilis több bájtos Unicode kódolás
LEÍRÁS
Az Unicode karakterkészlet 16 bites kódteret foglal el. A
legkézenfekvőbb Unicode kódolás (az UCS-2) 16 bites szavak sorozatából
áll. Az ilyen karakterláncok olyan bájtokat is tartalmazhatnak egyes 16
bites karakterek részeként, mint a '\0' vagy a '/', amelyeknek
speciális jelentésük van fájlnevekben és különféle C könyvtári
függvények paramétereiben. Ráadásul a UNIX-os segédprogramok többsége
ASCII fájlokat vár, és nem tudja a 16 bites szavakat karakterként
feldolgozni jelentős módosítások nélkül. Ezért az UCS-2 nem megfelelő
az Unicode kódolására fájlnevekben, szövegfájlokban, környezeti
változókban, stb. Az ISO 10646 Universal Character Set (UCS), amely
tartalmazza részhalmazként az Unicode-ot, már 31 bites kódtéren
helyezkedik el, és a kézenfekvő UCS-4 kódolás (32 bites szavak
sorozata) erre a karakterkészletre ugyanezeket a problémákat veti fel.
Az Unicode és az UCS UTF-8 típusú kódolása mentes ezektől a
problémáktól, ezért ez a követendő út a Unicode karakterkészlet
használatára a Unix-szerű operációs rendszerek alatt.
TULAJDONSÁGOK
Az UTF-8 kódolás a következő jó tulajdonságokkal rendelkezik:
* Az 0x00000000-tól 0x0000007f-ig terjedő UCS karakterek (a klasszikus
US-ASCII karakterek) egyszerűen a 0x00-tól 0x7f-ig egy bájton
tárolódnak. (ASCII kompatibilitás.) Ez azt jelenti, hogy ha egy
fájlban vagy karakterláncban csak 7 bites ASCII karakterek fordulnak
elő, akkor a kódolásuk ASCIIésUTF-8 alatt azonos lesz.
* Minden 0x7f-nél nagyobb kódú UCS karaktert olyan több bájtból álló
sorozat kódol, amelyben minden bájt 0x80 és 0xfd közé esik, tehát nem
jelenhet meg egy ASCII bájt, mint egy másik karakter része, ezért nem
okozhat problémát például a '\0' vagy a '/'.
* Az UCS-4 karakterláncok ábécérendje megmarad.
* A 2^31 darab lehetséges kód bármelyike megadható az
UTF-8segítségével.
* A 0xfe és 0xff bájtokat nem használja az UTF-8 kódolás.
* Egy nem-ASCII UCS karaktert reprezentáló több bájtos sorozat első
bájtja mindig 0xc0 és 0xfd közé esik, és egyben megadja, hogy milyen
hosszú a több bájtos sorozat. Az ezt követő bájtok valamennyien a
0x80-tól 0xbf-ig terjedő tartományba esnek. Ez lehetővé teszi az
újraszinkronizálást, és a kódolást ellenállóvá teszi a hiányzó
bájtokkal szemben.
* Az UTF-8 kódolású UCS karakterek akár hat bájlt hosszúak is lehetnek,
de a Unicode karakterek csak legfeljebb három bájt hosszúak. Mivel a
Linux csak a 16 bites Unicode részhalmazát használja az UCS-nek,
ezért Linux alatt az UTF-8 több bájtos sorozatok csak egy, két vagy
három bájt hosszúak lehetnek.
KÓDOLÁS
A következő bájtsorozatok reprezentálnak egy karaktert. A használandó
sorozat függ a karakter UCS kódjától.
0x00000000 - 0x0000007F:
0xxxxxxx
0x00000080 - 0x000007FF:
110xxxxx 10xxxxxx
0x00000800 - 0x0000FFFF:
1110xxxx 10xxxxxx 10xxxxxx
0x00010000 - 0x001FFFFF:
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0x00200000 - 0x03FFFFFF:
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0x04000000 - 0x7FFFFFFF:
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
Az xxx bitpozíciókat azokkal a bitekkel kell feltölteni, amelyek a
karakter kódját alkotják kettes számrendszerbeli reprezentációban. Csak
a legrövidebb több bájtos reprezentációt szabad használni a több
lehetséges variáció közül.
PÉLDÁK
A Unicode-os 0xa9 = 1010 1001 karakter (a copyright jel) UTF-8-as
kódolása:
11000010 10101001 = 0xc2 0xa9
A 0x2260 = 0010 0010 0110 0000 karakter (a "nem egyenlő" szimbólum)
kódolása:
11100010 10001001 10100000 = 0xe2 0x89 0xa0
BIZTONSÁG
Az Unicode specifikáció megköveteli, hogy az UTF-8 kódokat előállítók a
legrövidebb lehetséges formát válasszák, például egy olyan kétbájtos
sorozat, amelynek az első bájtja 0xc0, nem szabályos. Az Unicode
kiadta az UTF-8 Corrigendum című dokumentumot, amelyben megtiltja a
szabványt betartó programoknak, hogy elfogadjanak olyan kódokat,
amelyek nem a legrövidebb formájukban érkeznek. Ennek biztonsági okai
vannak: ha a felhasználó által beadott kódsorozatot ellenőrzik a
biztonság érdekében, az ellenőrzés valószínűleg az "/../", ";" vagy NUL
értékek ASCII formátumára terjedne csak ki, és esetleg nem gondolnak
arra, hogy számos más módon lehet ezeket a jeleket az UTF-8 kódolás
segítségével nem ASCII formátumban reprezentálni. Lásd még az IETF RFC
2279-et.
Néhány rendszer (amelyek a NUL-t a karakterlánc végeként értelmezik)
ennek ellenére használja a C0 80 kódot a NUL (ASCII 00) karakter belső
ábrázolására.
SZABVÁNYOK
ISO 10646, Unicode 1.1, XPG4, Plan 9.
SZERZŐ
Markus Kuhn <mskuhn@cip.informatik.uni-erlangen.de>
LÁSD MÉG
unicode(7)
MAGYAR FORDÍTÁS
Tímár András <timar_a@freemail.hu>