第九届中国曲艺节在天津开幕

Unicode

Logo c?a Hi?p h?i Unicode.
Tên g?i khác	Universal Coded Character Set (UCS)
Ng?n ng?	International
Chu?n	Unicode Standard
??nh d?ng m? hóa	UTF-8 UTF-16 GB18030 ít ph? bi?n h?n: UTF-32 BOCU SCSU L?i th?i: UTF-7
Thay th? cho	ISO/IEC 8859, various others
Official website Official, technical website

百度 　　（原题《中国市场化进程出现倒退？新任财政部长这样回应》）

Unicode (hay g?i là m? th?ng nh?t; m? ??n nh?t) là b? m? chu?n qu?c t? ???c thi?t k? ?? dùng làm b? m? duy nh?t cho t?t c? các ng?n ng? khác nhau trên th? gi?i, k? c? các ng?n ng? s? d?ng ky t? t??ng hình ph?c t?p nh? ch? Hán c?a ti?ng Trung Qu?c, ti?ng Nh?t, ch? N?m c?a ti?ng Vi?t, v.v. Vì nh?ng ?i?m ?u vi?t ?ó, Unicode ?? và ?ang t?ng b??c thay th? các b? m? truy?n th?ng, k? c? b? m? tiêu chu?n ISO 8859. Unicode ?ang ???c s? d?ng trên r?t nhi?u ph?n m?m c?ng nh? các trình ?ng d?ng, ch?ng h?n Windows.

Unicode 16.0, phiên b?n m?i nh?t, ???c phát hành vào ngày 10 tháng 9 n?m 2024. Phiên b?n này b? sung 5.185 ky t? và b?y ch? vi?t m?i: Garay, Gurung Khema, Kirat Rai, Ol Onal, Sunuwar, Todhri và Tulu-Tigalari.

Hi?p h?i Unicode

Hi?p h?i Unicode ? California xu?t b?n phiên b?n ??u tiên c?a The Unicode Standard (Tiêu chu?n Unicode) vào n?m 1991, và v?n liên t?c hoàn thi?n chu?n. Các phiên b?n m?i ???c vi?t d?a trên các phiên b?n ?? có, nh? v?y ??m b?o ???c tính t??ng thích. C?ng xin l?u y r?ng Unicode và tiêu chu?n ISO 10646 là hai khái ni?m hoàn toàn ??c l?p. Khi nói ??n ISO 10646 t?c là ng??i ta ?ang nói ??n tiêu chu?n qu?c t? chính th?c, còn Unicode thì ???c Unicode Consortium (t?p h?p ??i di?n các c?ng ty tin h?c l?n) so?n ra. K? t? n?m 1991, khi Nhóm làm vi?c ISO và Liên ?oàn Unicode quy?t ??nh h?p tác ch?t ch? v?i nhau trong quá trình nang c?p và m? r?ng chu?n ?? ??m b?o tính t??ng thích (c? th? là v? trí c?a các ky t? trên c? hai ??u y h?t nhau – ch?ng h?n ch? ? là 01A1). Còn v?i Unicode thì l?i khác, chu?n này ???c phát tri?n b?i Liên ?oàn Unicode. Liên ?oàn Unicode là m?t t? ch?c phi l?i nhu?n t?p h?p b?i m?t s? c?ng ty, trong ?ó có c? nh?ng c?ng ty ?a qu?c gia kh?ng l? có ?nh h??ng l?n nh? Microsoft, Adobe Systems, IBM, Novell, Sun Microsystems, Lotus Software, Symantec và Unisys. (Danh sách ??y ?? t?i: [1]). Tuy nhiên, chu?n Unicode kh?ng ch? quy ??nh b? m?, mà còn c? cách d?ng hình, cách m? hóa (s? d?ng 1, 2, 3 hay 4 byte ?? bi?u di?n m?t ky t? (UTF-8 là m?t ví d?), s? t??ng quan (collation) gi?a các ky t?, và nhi?u ??c tính khác c?a các ky t?, h? tr? c? nh?ng ng?n ng? t? ph?i sang trái nh? ti?ng ? R?p ch?ng h?n.

Kho ch?

Unicode chi?m tr??c 1.114.112 (= 2²⁰+2¹⁶) m? ch?, và hi?n nay ?? gán ky hi?u cho h?n 96000 m? ch?. 256 m? ??u tiên phù h?p v?i ISO 8859-1, là cách m? hóa ky t? ph? bi?n nh?t trong "th? gi?i ph??ng Tay"; do ?ó, 128 ky t? ??u tiên còn ???c ??nh danh theo ASCII.

Kh?ng gian m? Unicode cho các ky t? ???c chia thành 17 m?t ph?ng (plane) và m?i m?t ph?ng có 65536 code point. M?t ph?ng ??u tiên (plane 0), "M?t ph?ng ?a ng?n ng? c?n b?n" (Basic Multilingual Plane - BMP), là n?i mà ?a s? các ky hi?u ???c gán m?. BMP ch?a các ky hi?u cho h?u h?t các ng?n ng? hi?n ??i, và m?t s? l??ng l?n các ky t? ??c bi?t. ?a s? các code point ???c phan b? trong BMP ???c dùng ?? m? hóa các ng?n ng? CJKV (Hán-Nh?t-Hàn-Vi?t).

Hai m?t ph?ng ti?p theo ???c dùng cho các ky t? "?? h?a". M?t ph?ng 1, "M?t ph?ng ?a ng?n ng? b? sung" (Supplementary Multilingual Plane - SMP), ???c dùng ch? y?u cho các lo?i ch? vi?t c?, ví d? Egyptian hieroglyph (ch?a ???c m? hóa), nh?ng c?ng còn ???c dùng cho các ky hi?u am nh?c. M?t ph?ng 2, (Supplementary Ideographic Plane - SIP), ???c dùng cho kho?ng 40000 ch? Trung Qu?c ít g?p mà ?a s? là các ky hi?u c?, ngoài ra c?ng có m?t s? ky hi?u hi?n ??i. M?t ph?ng 14 hi?n ch?a m?t s? các ky t? th? ng?n ng? kh?ng ???c khuy?n khích và m?t s? ky hi?u l?a ch?n bi?n th?. M?t ph?ng 15 và M?t ph?ng 16 ???c m? cho các s? d?ng cá nhan.

V?n còn nhi?u tranh lu?n gi?a các chuyên gia v? ng?n ng? CJK (Hoa-Nh?t-Hàn), ??c bi?t là các chuyên gia ng??i Nh?t, v? nhu c?u và l?i ích k? thu?t c?a vi?c "th?ng nh?t ch? Hoa", t?c là vi?c chuy?n nh?ng b? ch? Hoa và ch? Nh?t vào trong m?t b? ch? h?p nh?t. (Xem thêm m? hóa ch? Hoa)

Kho ≈2²⁰ ?i?m m? b?o ??m s? t??ng thích v?i b? m? UTF-16. Vi?c m?i ch? dùng h?t có 10% kho ch? cho th?y r?ng kho ch? c? ≈20 bit này khó b? ??y trong m?t t??ng lai g?n.

Các b?ng m?

??c t? ??u t?i gi?, chúng ta ch? m?i bi?t r?ng Unicode là m?t cách ?? ?ánh s? duy nh?t cho t?t c? các ky t? ???c dùng b?i con ng??i trong ng?n ng? vi?t. Nh?ng nh?ng con s? ?ó ???c ghi trong các h? th?ng x? ly v?n b?n l?i là nh?ng v?n ?? khác; nh?ng v?n ?? ?ó là h?u qu? c?a vi?c ph?n l?n các ph?n m?m ? ph??ng Tay ch? bi?t t?i các h? th?ng m? hóa 8-bit, và vi?c ??a Unicode vào các ph?n m?m ch? m?i di?n ra ch?m ch?p trong nh?ng n?m g?n ?ay.

Các ch??ng trình 8-bit c? ch? nh?n bi?t các ky t? 8 bit, và kh?ng th? dùng nhi?u h?n 256 ?i?m m? n?u kh?ng có nh?ng cách gi?i quy?t ??c bi?t. Do ?ó ng??i ta ph?i ?? ra nhi?u c? ch? ?? dùng Unicode; tùy thu?c vào kh? n?ng l?u tr?, s? t??ng thích v?i ch??ng trình ngu?n và s? t??ng tác v?i các h? th?ng khác mà m?i ng??i ch?n m?t c? ch?.

UTF-32

Cách ??n gi?n nh?t ?? l?u tr? t?t c? các 2²⁰+2¹⁶ Unicode code points là s? d?ng 32 bit cho m?i ky t?, ngh?a là, 4 byte – do ?ó, cách m? hóa này ???c Unicode g?i là UTF-32 và ISO/IEC 10646 g?i là UCS-4. V?n ?? chính c?a cách này là nó hao ch? h?n 4 l?n so v?i tr??c kia, do ?ó nó ít ???c dùng trong các v?t nh? ngoài (nh? ??a, b?ng). Tuy nhiên, nó r?t ??n gi?n, nên m?t s? ch??ng trình s? s? d?ng m? hóa 32 bit bên trong khi x? ly Unicode.

UTF-16

UTF-16 là m?t cách m? hóa dùng Unicode 20 bit. Các ky t? trong BMP ???c di?n t? b?ng cách dùng giá tr? 16-bit c?a code point trong Unicode CCS. Có hai cách ?? vi?t giá tr? 16 bit trong m?t dòng (stream) 8-bit. Có l? b?n ?? nghe qua ch? endian. Big Endian có ngh?a là cho Most Significant Byte ?i tr??c, t?c là n?m bên trái – do ?ó ta có UTF-16BE. Còn Little Endian thì ng??c l?i, t?c là Least Significant Byte ?i tr??c – do ?ó ta có UTF-16LE. Thí d?, giá tr? 16-bit c?a con s? Hex1234 ???c vi?t là Hex12 Hex34 trong Big Endian và Hex34 Hex12 trong Little Endian.

Nh?ng ky hi?u kh?ng n?m trong BMP ???c bi?u di?n b?ng cách dùng surrogate pair (c?p thay th?). Code points có giá tr? t? U+D800 ??n U+DFFF ???c dành riêng ra ?? dùng cho m?c ?ích này. Tr??c h?t, m?t code point có 20 bit ???c phan ra làm hai nhóm 10 bit. Nhóm Most Significant 10 bit ???c map vào m?t giá tr? 10 bit n?m trong kho?ng t? u+D800 ??n u+DBFF. Nhóm Least Significant 10 bit ???c map vào m?t giá tr? 10 bit n?m trong kho?ng t? U+DC00 ??n U+DFFF. Theo cách ?ó UTF-16 có th? bi?u di?n ???c nh?ng ky hi?u Unicode có 20 bit.

UTF-8

Bài chi ti?t: UTF-8

UTF-8 là m?t cách m? hóa ?? có tác d?ng gi?ng nh? UCS-4 (c?ng là UTF-16), ch? kh?ng ph?i có code point nào khác. UTF-8 ???c thi?t k? ?? t??ng thích v?i chu?n ASCII. UTF-8 có th? s? d?ng t? m?t (cho nh?ng ky t? trong ASCII) cho ??n 6 byte ?? bi?u di?n m?t ky t?.

Chính vì t??ng thích v?i ASCII, UTF-8 c?c k? có l?i th? khi ???c s? d?ng ?? b? sung h? tr? Unicode cho các ph?n m?m có s?n. Thêm vào ?ó, các nhà phát tri?n ph?n m?m v?n có th? s? d?ng các hàm th? vi?n có s?n c?a ng?n ng? l?p trình C ?? so sánh (comparisons) và x?p th? t?. (Ng??c l?i, ?? h? tr? các cách m? hóa 16 bit hay 32 bit nh? ? trên, m?t s? l?n ph?n m?m bu?c ph?i vi?t l?i do ?ó t?n r?t nhi?u c?ng s?c. M?t ?i?m m?nh n?a c?a UTF-8 là v?i các v?n b?n ch? có m?t s? ít các ky t? ngoài ASCII, hay th?m chí cho các ng?n ng? dùng b?ng ch? cái Latinh nh? ti?ng Vi?t, ti?ng Pháp, ti?ng Tay Ban Nha, v.v.; cách m? hóa ki?u này c?c k? ti?t ki?m kh?ng gian l?u tr?.

UTF-8 ???c thi?t k? ??m b?o kh?ng có chu?i byte c?a ky t? nào l?i n?m trong m?t chu?i c?a ky t? khác dài h?n. ?i?u này khi?n cho vi?c tìm ki?m ky t? theo byte trong m?t v?n b?n là r?t d? dàng. M?t s? d?ng m? hóa khác (nh? Shift-JIS) kh?ng có tính ch?t này khi?n cho vi?c x? ly chu?i ky t? tr? nên ph?c t?p h?n nhi?u. M?c dù ?? th?c hi?n ?i?u này ?òi h?i ph?i có ?? d? (v?n b?n s? dài thêm) nh?ng nh?ng ?u ?i?m mà nó mang l?i v?n nhi?u h?n. Vi?c nén d? li?u kh?ng ph?i là m?c ?ích h??ng t?i c?a Unicode và vi?c này c?n ???c ti?n hành m?t cách ??c l?p.

Các quy ??nh chính xác c?a UTF-8 nh? sau (các s? b?t ??u b?ng 0x là các s? bi?u di?n trong h? th?p l?c phan)

• Các ky t? có giá tr? nh? h?n 0x80, s? d?ng 1 byte có cùng giá tr?.
• Các ky t? có giá tr? nh? h?n 0x800, s? d?ng 2 byte: byte th? nh?t có giá tr? 0xC0 c?ng v?i 5 bit t? th? 7 t?i 11 (7th-11th least significant bits); byte th? hai có giá tr? 0x80 c?ng v?i các bit t? th? 1 t?i th? 6 (1st-6th least significant bits).
• Các ky t? có giá tr? nh? h?n 0x10000, s? d?ng 3 byte: byte th? nh?t có giá tr? 0xE0 c?ng v?i 4 bit t? th? 13 t?i 16; byte th? hai có giá tr? 0x80 c?ng v?i 6 bit t? th? 7 t?i 12; byte th? ba có giá tr? 0x80 c?ng v?i 6 bit t? th? 1 t?i th? 6.
• Các ky t? có giá tr? nh? h?n 0x200000, s? d?ng 4 byte: byte th? nh?t có giá tr? 0xF0 c?ng v?i 3 bit t? th? 19 t?i 21; byte th? hai có giá tr? 0x80 c?ng v?i 6 bit t? th? 13 t?i 18; byte th? ba có giá tr? 0x80 c?ng v?i 6 bit t? th? 7 t?i th? 12; byte th? t? có giá tr? 0x80 c?ng v?i 6 bit t? th? 1 t?i th? 6.

Hi?n nay, các giá tr? khác ngoài các giá tr? trên ??u ch?a ???c s? d?ng. Tuy nhiên, các chu?i ky t? dài t?i 6 byte có th? ???c dùng trong t??ng lai.

• Chu?i 5 byte s? l?u tr? ???c m? ky t? ch?a ??n 26 bit: byte th? nh?t có giá tr? 0xF8 c?ng v?i 2 bit th? 25 và 26, các byte ti?p theo l?u giá tr? 0x80 c?ng v?i 6 bit có y ngh?a ti?p theo.
• Chu?i 6 byte s? l?u tr? ???c m? ky t? ch?a ??n 31 bit: byte th? nh?t có giá tr? 0xFC c?ng v?i bit th? 31, các byte ti?p theo l?u giá tr? 0x80 c?ng v?i 6 bit có y ngh?a ti?p theo.

UTF-7

Chu?n hóa ???c ít dùng nh?t có l? là UTF-7. Chu?n MIME yêu c?u m?i th? ?i?n t? ph?i ???c g?i d??i d?ng ASCII cho nên các th? ?i?n t? nào s? d?ng m? hóa Unicode ???c coi là kh?ng h?p l?. Tuy nhiên h?n ch? này th??ng b? h?u h?t m?i ng??i b? qua. UTF-8 cho phép th? ?i?n t? s? d?ng Unicode và ??ng th?i c?ng phù h?p v?i tiêu chu?n. Các ky hi?u ASCII s? ???c gi? nguyên, tuy nhiên các ky t? khác ngoài 128 ky hi?u ASCII chu?n s? ???c m? hóa b?ng m?t escape sequence hay m?t d?u '+' theo sau m?t ky t? Unicode ???c m? hóa b?ng Base64, và k?t thúc b?ng m?t d?u '-'. Ky t? '+' n?i ti?ng s? ???c m? hóa thành '+-'.

Các v?n ?? khác

Tiêu chu?n Unicode còn bao g?m m?t s? v?n ?? có liên quan, ch?ng h?n character properties, text normalisation forms và bidirectional display order (?? hi?n th? chính xác các v?n b?n ch?a c? hai lo?i ng?n ng? có cách vi?t t? ph?i qua trái nh? ti?ng ? R?p hay ti?ng Hebrew) và trái qua ph?i.

Unicode trên m?ng toàn c?u

H?u h?t các trang web ti?ng Vi?t s? d?ng cách m? hóa UTF-8 ?? ??m b?o tính t??ng thích, tuy nhiên m?t s? trang web v?n còn gi? cách m? hóa theo chu?n ISO-8859-1 c?. Các trình duy?t hi?n ??i ngày nay nh? Mozilla Firefox có ch?c n?ng t? ??ng ch?n cách m? hoá (encoding) thích h?p n?u nh? máy tính ?? ???c cài ??t m?t font thích h?p (xem thêm Unicode và HTML).

M?c dù các quy t?c cú pháp có th? ?nh h??ng t?i th? t? xu?t hi?n c?a các ky t? nh?ng các v?n b?n HTML 4.0 và XML 1.0 ??u có th? bao trùm h?u h?t các ky t? trong Unicode, ch? tr? m?t s? l??ng nh? ky t? ?i?u khi?n và d?y ch?a ???c gán D800-DFFF và FFFE-FFFF. Các ky t? này bi?u th? ho?c là các byte n?u b? m? có ??nh ngh?a ho?c là chu?i s? c?a Unicode n?u b? m? kh?ng ??nh ngh?a. Ch?ng h?n: Δ Й ? ? ? ぁ 叶 葉 ? s? ???c hi?n th? là Δ, Й, ?, ?, ?, ぁ, 叶, 葉 và ? n?u máy tính ?? có cài ??t font thích h?p. Các ky t? này l?n l??t là ch? "Delta" trong b?ng ch? cái Hy L?p, "I ng?n" trong b?ng ch? cái Cyril, "Meem" trong b?ng ch? cái ? R?p, "Qof" trong b?ng ch? cái Hebrew, s? 7 trong b?ng ch? cái Thái, Hiragana "A" c?a ti?ng Nh?t, ch? Hán "di?p" gi?n th?, ch? Hán "di?p" ph?n th? và am "Nyrh" b?ng Hangul trong ti?ng Hàn/Tri?u Tiên.

Các ph?ng ch? Unicode

Ph?ng ch? Unicode có th? ???c t?i v? t? nhi?u trang web, h?u h?t chúng là mi?n phí. Dù ?? có hàng ngàn ph?ng ch? trên th? tr??ng, nh?ng h?u h?t ch? h? tr? ? m?t m?c ?? nh?t ??nh m?t s? ky hi?u ngoài ASCII c?a Unicode. Thay vì ?ó, các ph?ng ch? Unicode th??ng t?p trung h? tr? các ky t? ASCII và nh?ng ch? vi?t c? th? ho?c t?p các ky t? hay ky hi?u. Có vài nguyên do c?a ?i?u này: các ?ng d?ng và tài li?u r?t ít khi c?n hi?n th? ky t? t? nhi?u h?n hai h? th?ng ch? vi?t; ph?ng ch? th??ng là nh?ng t?p kh?ng ??y ??; h? ?i?u hành và các ?ng d?ng ngày càng x? ly t?t h?n các ky t? t? nhi?u b? ph?ng khác nhau... Thêm vào n?a, vi?c thi?t k? m?t h? th?ng chi ti?t hàng nghìn ky t? là c?ng vi?c ?òi h?i nhi?u th?i gian và c?ng s?c trong khi h?u nh? kh?ng thu l?i gì t? vi?c này....

Ph?ng ch? Unicode cho phép g? ti?ng Vi?t ? các ph?ng Times New Roman hay Tahoma hay Arial

L?ch s? các phiên b?n Unicode

Các phiên b?n Unicode

Phiên b?n	Ngày phát hành	Sách	?n b?n ISO/IEC 10646 t??ng ?ng	S? h? ch? vi?t	S? ky t?
1.0.0	10/1991	ISBN 0-201-56788-1 (quy?n 1)		24	7.161
1.0.1	6/1992	ISBN 0-201-60845-6 (quy?n 2)		25	28.359
1.1	6/1993		ISO/IEC 10646-1:1993	24	34.233
2.0	7/1996	ISBN 0-201-48345-9	ISO/IEC 10646-1:1993 cùng v?i các Tu chính án 5–7	25	38.950
2.1	5/1998		ISO/IEC 10646-1:1993 cùng v?i các Tu chính án 5–7 c?ng nh? hai ky t? t? Tu chính án 18	25	38.952
3.0	9/1999	ISBN 0-201-61633-5	ISO/IEC 10646-1:2000	38	49.259
3.1	3/2001		ISO/IEC 10646-1:2000 ISO/IEC 10646-2:2001	41	94.205
3.2	3/2002		ISO/IEC 10646-1:2000 cùng v?i Tu chính án 1 ISO/IEC 10646-2:2001	45	95.221
4.0	4/2003	ISBN 0-321-18578-1	ISO/IEC 10646:2003	52	96.447
4.1	3/2005		ISO/IEC 10646:2003 cùng v?i Tu chính án 1	59	97.720
5.0	7/2006	ISBN 0-321-48091-0	ISO/IEC 10646:2003 cùng v?i các Tu chính án 1 và 2, c?ng nh? 4 ky t? t? Tu chính án 3	64	99.089
5.1	4/2008		ISO/IEC 10646:2003 cùng v?i các Tu chính án 1–4	75	100.713
5.2	10/2009		ISO/IEC 10646:2003 cùng v?i các Tu chính án 1–6	90	107.361
6.0	10/2010		ISO/IEC 10646:2010 cùng v?i d?u rupee ?n ??	93	109.449
6.1	1/2012		ISO/IEC 10646:2012	100	110.181
6.2	9/2012		ISO/IEC 10646:2012 cùng v?i d?u lira Th? Nh? K?	100	110.182
6.3	9/2013	ISBN 978-1-936213-08-5	ISO/IEC 10646:2012 cùng v?i 6 ky t?	100	110.187
7.0	6/2014	ISBN 978-1-936213-09-2	ISO/IEC 10646:2012 cùng v?i các Tu chính án 1 và 2, c?ng nh? d?u rúp Nga	123	113.021
8.0	6/2015	ISBN 978-1-936213-10-8	ISO/IEC 10646:2014 cùng v?i tu chính án 1, d?u Lari Gruzia, chín CJK unified ideographs và 41 emoji	129	120.672
9.0	6/2016	ISBN 978-1-936213-13-9	ISO/IEC 10646:2014 cùng v?i tu chính án 1 và 2, ch? Adlam, ch? Newa, Japanese TV symbols và 74 emoji	135	128.712
10.0	6/2017	ISBN 978-1-936213-16-0	ISO/IEC 10646:2017	139	136.690
11.0	6/2018	ISBN 978-1-936213-19-1	ISO/IEC 10646:2017 plus Amendment 1, as well as 46 Mtavruli Georgian capital letters, 5 CJK unified ideographs, and 66 emoji characters.	146	137,374
12.0	3/2019	ISBN 978-1-936213-22-1	ISO= ISO/IEC 10646:2017 plus Amendments 1 and 2, as well as 62 additional characters.	150	137,928
12.1	5/2019	ISBN 978-1-936213-25-2		150	137,929
13.0	3/2020	ISBN 978-1-936213-26-9	ISO= ISO/IEC 10646:2020	154	143,859
14.0	9/2021	ISBN 978-1-936213-29-0		159	144,697

Liên k?t ngoài

• Liên ?oàn Unicode
• Các phiên b?n Unicode: 3.1, 3.2, 4.0
• DecodeUnicode - Unicode WIKI, 50.000 gifs and information about each character
• Alan Wood's Unicode Resources (ch?a danh sách các trình x? ly t? có kh? n?ng Unicode)
• Unicode Code Charts (PDF)
• UTF-8, UTF-16, UTF-32 Code Charts L?u tr? ngày 28 tháng 7 n?m 2005 t?i Wayback Machine
• The Letter Database
• Project UTF-8, evangelizing Unicode support trong ph?n m?m mi?n phí L?u tr? ngày 31 tháng 3 n?m 2002 t?i Wayback Machine
• Vietnamese Unicode FAQ