葛光富

(中國電子科技集團(tuán)公司第二十八研究所,南京 210007)

引言

在我國的信息系統(tǒng)工程應(yīng)用中,順應(yīng)國際化時代的發(fā)展,各類新運(yùn)用的工具和軟件的漢字編碼大多采用了全球共享通用的Unicode字符集,該字符集目前能夠涵蓋世界上主要語言的符號和文字.而在指揮控制、網(wǎng)絡(luò)安全、公共交通等業(yè)務(wù)領(lǐng)域方面,現(xiàn)役信息系統(tǒng)的漢字編碼包括有GB2312、GBK 以及GB18030等,為兼容與已有系統(tǒng)的互譯互操作,故按照國際化要求新開發(fā)的信息系統(tǒng)在相當(dāng)?shù)囊欢螘r間內(nèi),仍會面臨著上述編碼形式的漢字編碼轉(zhuǎn)換需求[1-4].

綜合軍民用市場,有著大量的計算處理設(shè)備用于搭建各型信息系統(tǒng),但這些設(shè)備卻部署著種類多樣、復(fù)雜不一的操作系統(tǒng)運(yùn)行環(huán)境.尤其是嵌入式設(shè)備更為突出,如車載終端的VxWorks (美國風(fēng)河)、ReWorks(電科32所)等,便攜終端的Android(美國谷歌)、WinCE (美國微軟)、AOS (深圳華為)、SyberOS (北京元心)等.因此,為降低系統(tǒng)開發(fā)維護(hù)成本、提升行業(yè)企業(yè)效益,用于支撐應(yīng)用跨操作系統(tǒng)平臺快速移植改造的漢字編碼轉(zhuǎn)換技術(shù),成為信息系統(tǒng)軟件服務(wù)平臺統(tǒng)籌規(guī)劃中的必要考慮因素.

要進(jìn)行漢字編碼轉(zhuǎn)換,對于Linux/類Linux系統(tǒng)上的軟件,利用GNU (GNU is Not Unix,指的是一個自由軟件工程項目)的libconv庫即可實現(xiàn).該庫支持包括世界主流語系在內(nèi)的字符集區(qū)域標(biāo)準(zhǔn)與國家標(biāo)準(zhǔn)編碼間的互轉(zhuǎn),但是這對于計算處理資源受限的嵌入式終端而言,資源占用就顯得有點龐大,且不利于移植改造應(yīng)用到各類操作系統(tǒng)尤其是國產(chǎn)化操作系統(tǒng).因此研究一種支持信息系統(tǒng)內(nèi)部以及信息系統(tǒng)間通用的輕量化、可適用、易維護(hù)的漢字編碼轉(zhuǎn)換方法,是在跨操作系統(tǒng)平臺應(yīng)用實踐中急需解決的問題.

本文利用Windows7 記事本工具,進(jìn)一步研究[5-7]開發(fā)出一種面向信息系統(tǒng)跨平臺輕量應(yīng)用的漢字編碼轉(zhuǎn)換程序,能夠提供有效的漢字編碼轉(zhuǎn)換接口,用于與已有信息系統(tǒng)的如文本、信息的漢字交互處理,支撐新開發(fā)信息系統(tǒng)的快速構(gòu)建開通.

1 常用漢字編碼

漢字編碼指的是為漢字設(shè)計的一種便于輸入電子計算機(jī)的代碼,是解決漢字能夠進(jìn)入計算機(jī)的關(guān)鍵.國標(biāo)碼,全名國家標(biāo)準(zhǔn)代碼,是我國的常用漢字編碼集,目前主要有GB2312、GBK、GB18030三種.另外,UTF-8因能夠與ASCII兼容而作為優(yōu)先采用的國際字符編碼,也涵蓋了漢字的編碼.

1.1 GB2312編碼

GB2312-80編碼是我國第一個漢字編碼國家標(biāo)準(zhǔn),共收錄漢字6763個,同時收錄了682個非漢字全角字符.它對收錄的每個字符采用兩個字節(jié)表示,其編碼范圍為0xA1A1到0xFEFE,首字節(jié)在0xA1與0xFE之間,尾字節(jié)在0xA1與0xFE之間.其中0xB0A1到0xF7FE為漢字的編碼范圍,0xA1A1到0xA9FE為非漢字字符的編碼范圍,其他為空白區(qū).

1.2 GBK編碼[5]

GBK全稱《漢字內(nèi)碼擴(kuò)展規(guī)范》,是在GB2312標(biāo)準(zhǔn)基礎(chǔ)上的內(nèi)碼擴(kuò)展規(guī)范,使用了雙字節(jié)編碼方案,其編碼范圍從0x8140到0xFEFE,首字節(jié)在0x81與0xFE之間,尾字節(jié)在0x40與0xFE之間且不為0x7F,總共23 940個碼位,收錄了21 003個漢字,完全兼容GB2312-80標(biāo)準(zhǔn),支持國際標(biāo)準(zhǔn)ISO/IEC10646-1和國家標(biāo)準(zhǔn)GB13000-1 中的全部中日韓漢字,并包含了BIG5編碼中的所有漢字.GBK編碼空間組成如表1所示.

表1 GBK編碼空間組成

1.3 UTF-8編碼[6]

UTF-8是一種針對Unicode[7]字符集的可變長度字符編碼,所有的字符均使用1到6個字節(jié)進(jìn)行編碼,是一種前綴碼.在只包含1個字節(jié)的UTF-8編碼中,其最高位置0,其余的7個二進(jìn)制位用來對字符進(jìn)行編碼;在含n(1

表2 UTF-8與Unicode編碼對照表

1.4 GB18030編碼

GB18030-2000《信息交換用漢字編碼字符集基本集的擴(kuò)充》,是我國計算機(jī)系統(tǒng)必須遵循的基礎(chǔ)性標(biāo)準(zhǔn)之一.它是GBK的取代版本,在其基礎(chǔ)上增加了6530個CJK(中日韓)統(tǒng)一漢字?jǐn)U充A的漢字(由4字節(jié)表示:第1字節(jié)0x81～0x82,第2字節(jié)0x30～0x39,第3字節(jié)0x81～0xFE,第4字節(jié)0x30～0x39,共占用了25 200個碼位).

2 漢字編碼轉(zhuǎn)換程序分析與設(shè)計

因GB18030 能夠前向兼容GBK、GB2312,基于這一特點,適應(yīng)性選取GB18030與UTF-8間的編碼轉(zhuǎn)換來輕量應(yīng)用支撐信息系統(tǒng)的漢字編碼互處理需求,同時使用通用的C/C++語言,分析與設(shè)計出一種面向信息系統(tǒng)跨平臺輕量應(yīng)用的漢字編碼轉(zhuǎn)換程序.

2.1 GB18030與Unicode編碼映射表制作

要進(jìn)行GB18030與UTF-8間的漢字編碼轉(zhuǎn)換,就必須利用GB18030和Unicode間的漢字字符碼值映射關(guān)系,以及Unicode和UTF-8間的國際字符編碼轉(zhuǎn)換規(guī)則,故首先要制作GB18030與Unicode間的漢字編碼映射表.

GB18030編碼中,GBK 漢字字符由2個字節(jié)表示,CJK統(tǒng)一漢字?jǐn)U充A的漢字字符由4個字節(jié)表示;與其對應(yīng)的Unicode標(biāo)準(zhǔn)字符集中,GBK、CJK統(tǒng)一漢字?jǐn)U充A的漢字字符編碼占用2個字節(jié)大小的空間.兩者之間的漢字字符編碼存在一一映射的關(guān)系,可以通過編制漢字字符編碼相互映射的表來進(jìn)行轉(zhuǎn)換.

GB18030與Unicode編碼映射表在互聯(lián)網(wǎng)上百度文庫、CSDN 社區(qū)等處能夠找到部分缺漏不全的字符編碼對照,但在軟件程序中使用還是需要經(jīng)過二次加工制作成為可識別的代碼語言.而本文在Windows7系統(tǒng)平臺上,利用記事本工具和編寫轉(zhuǎn)換過程應(yīng)用程序來輔助生成代碼語言的漢字編碼映射表,具體的實現(xiàn)方法為:

1)根據(jù)1.2和1.4 小節(jié)中GBK、CJK統(tǒng)一漢字?jǐn)U充A的漢字編碼空間組成說明,編寫執(zhí)行GB18030編碼全漢字生成程序,將全部有效的編碼漢字按照碼值從低到高依次保存到一個文本文件GB.txt 中;

2)在使用記事本方式打開GB.txt文件后,將打開的文件另存為Unicode編碼的新文件Uni.txt 中;

3)編寫執(zhí)行GB18030與Unicode編碼映射表生成程序,對照GB.txt與Uni.txt文件,以C語言可識別代碼的數(shù)組形式生成GB18030與Unicode間的漢字編碼映射表,以支持兩者編碼的快速映射查找.映射表生成算法設(shè)計如算法1和算法2.

算法1.GB18030到Unicode 漢字編碼映射表生成算法1)創(chuàng)建GB18030到Unicode 漢字編碼映射表,其中數(shù)組支持存放元素65 536個,數(shù)組元素下標(biāo)能夠一一對應(yīng)GB18030 漢字字符碼值,數(shù)組元素數(shù)值為2個字節(jié)大小存儲的Unicode 漢字字符碼值,初始化映射表元素值為代表無效映射的0xFFFF;2)從Uni.txt文件中依次取得兩個字節(jié)組成漢字字符,獲取漢字字符的Unicode 碼值;3)從GB.txt文件中依次取得兩個字節(jié),根據(jù)兩個字節(jié)的碼值范圍判斷是否GBK 漢字字符,不是則再取得兩個字節(jié)組成4個字節(jié)的CJK統(tǒng)一漢字?jǐn)U充A的漢字字符,獲取漢字字符的GB18030 碼值;4)計算漢字字符的G B 1 8 0 3 0 碼值在按照碼值從低到高的GB18030編碼范圍中的排序序號(如GBK 漢字的尾字節(jié)占用191個碼位,故0x8140 對應(yīng)序號為0,0x8240 對應(yīng)序號為191,依次類推,直到CJK統(tǒng)一漢字?jǐn)U充A,也按照同樣規(guī)則計算),該序號為Unicode 碼值的存放位置;5)將漢字字符的Unicode 碼值,存放到漢字編碼映射表中對應(yīng)的位置;6)返回第2)步,直到文件結(jié)束,生成GB18030到Unicode 漢字編碼映射表完畢.

算法2.Unicode到GB18030 漢字編碼映射表生成算法1)創(chuàng)建Unicode到GB18030 漢字編碼映射表,其中數(shù)組支持存放元素65 536個,數(shù)組元素下標(biāo)為Unicode 漢字字符碼值,數(shù)組元素數(shù)值為2個字節(jié)大小存儲并能夠一一對應(yīng)GB18030 漢字字符碼值,初始化映射表元素值為代表無效映射的0xFFFF;2)從GB.txt文件中依次取得兩個字節(jié),根據(jù)兩個字節(jié)的碼值范圍判斷是否GBK 漢字字符,不是則再取得兩個字節(jié)組成4個字節(jié)的CJK統(tǒng)一漢字?jǐn)U充A的漢字字符,獲取漢字字符的GB18030 碼值;3)漢字字符是CJK統(tǒng)一漢字?jǐn)U充A 漢字,則計算漢字字符的GB18030 碼值在按照碼值從低到高的GB18030編碼范圍中的排序序號(如GBK 漢字總計占用24 066個碼位,結(jié)合CJK統(tǒng)一漢字?jǐn)U充A 漢字的尾字節(jié)占用10個碼位,故0x81308130 對應(yīng)序號為24 066,0x81308230 對應(yīng)序號為24 076,依次類推),該序號為GB18030 碼值存表值,GBK字符的GB18030 碼值存表值直接使用原值;4)從Uni.txt文件中依次取得兩個字節(jié)組成漢字字符,根據(jù)該漢字字符的Unicode 碼值,獲取漢字字符的Unicode 碼值,該碼值為GB18030 碼值相對值的存放位置;5)將漢字的GB18030 碼值存表值,存放到漢字編碼映射表中對應(yīng)的位置;6)返回第2)步,直到文件結(jié)束,生成Unicode到GB18030 漢字編碼映射表完畢.

GB18030和Unicode間的漢字編碼映射表(如漢字“科”—0xC6BF/0x79D1)代碼語言示例如圖1所示,映射表總計1024行,每行64個碼值映射元素,其中值為0xFFFF 表明當(dāng)前位置對應(yīng)的GB18030編碼為無效編碼.

有了漢字編碼映射表,就可以結(jié)合UTF-8與Unicode的編碼轉(zhuǎn)換規(guī)則,實現(xiàn)字符串GB18030與UTF-8編碼形式間的轉(zhuǎn)換,具體的轉(zhuǎn)換程序設(shè)計見后續(xù)小節(jié)中描述.

圖1 Unicode到GB18030編碼映射表

2.2 GB18030與Unicode編碼字符串轉(zhuǎn)換

將GB18030編碼字符串(含英文、數(shù)字等基礎(chǔ)ASCII 碼字符,其碼值范圍為0x0到0x7F)轉(zhuǎn)換到UTF-8編碼的算法如算法3.

算法3.GB18030到UTF-8編碼字符串轉(zhuǎn)換算法1)從GB18030編碼字符串中依次讀取一個字節(jié),根據(jù)碼值判斷是否基礎(chǔ)ASCII 碼字符,不是則再讀取一個字節(jié)組成兩個字節(jié)后判斷是否GBK 漢字字符,不是則再讀取兩個字節(jié)組成4個字節(jié)的CJK統(tǒng)一漢字?jǐn)U充A的漢字字符;2)字符類型是基礎(chǔ)ASCII 碼字符,則將字符按原碼值作為UTF-8字符寫入轉(zhuǎn)換后的編碼字符串,否則轉(zhuǎn)到下一步;3)根據(jù)漢字字符的碼值,計算字符在按照碼值從低到高的GB18030編碼范圍中的排序序號,查找GB18030到Unicode 漢字編碼映射表,獲取對應(yīng)序號位置字符的Unicode 碼值;4)結(jié)合表2中體現(xiàn)的UTF-8與Unicode間的編碼轉(zhuǎn)換規(guī)則,根據(jù)漢字字符的Unicode 碼值計算得到字符的UTF-8編碼碼值,將相應(yīng)碼值的UTF-8字符寫入轉(zhuǎn)換后的編碼字符串;5)返回第1)步,直到待轉(zhuǎn)換字符串結(jié)束,生成轉(zhuǎn)換后UTF-8編碼字符串完畢.

GB18030到UTF-8編碼字符串轉(zhuǎn)換利用接口函數(shù)g2u()實現(xiàn),關(guān)鍵代碼如下:

將UTF-8編碼字符串轉(zhuǎn)換到GB18030編碼的算法如算法4.

算法4.UTF-8到GB18030編碼字符串轉(zhuǎn)換算法1)從UTF-8編碼字符串中依次讀取一個字節(jié),根據(jù)碼值判斷是否基礎(chǔ)ASCII 碼字符,不是則再讀取一個字節(jié)直至到組成UTF-8字符;2)字符類型是基礎(chǔ)ASCII 碼字符,則將字符按原碼值寫入轉(zhuǎn)換后的編碼字符串,否則轉(zhuǎn)到下一步;3)結(jié)合UTF-8與Unicode間的編碼轉(zhuǎn)換規(guī)則,根據(jù)UTF-8字符的碼值計算得到Unicode 碼值,查找Unicode到GB18030 漢字編碼映射表,獲取對應(yīng)碼值位置字符的GB18030 碼值存表值;4)根據(jù)Unicode 碼值的編碼范圍判斷對應(yīng)字符是否CJK統(tǒng)一漢字?jǐn)U充A 漢字,是則GB18030 碼值存表值作為在GB18030編碼范圍中的排序序號計算還原出GB18030 碼值,否則上一步存表值就是GB18030 碼值;5)將相應(yīng)碼值的GB18030字符寫入轉(zhuǎn)換后的編碼字符串,返回第1)步,直到待轉(zhuǎn)換字符串結(jié)束,生成轉(zhuǎn)換后GB18030編碼字符串完畢.

UTF-8到GB18030編碼字符串轉(zhuǎn)換利用接口函數(shù)u2g()實現(xiàn),關(guān)鍵代碼如下:

3 程序應(yīng)用實例

本文方法實現(xiàn)的漢字編碼轉(zhuǎn)換程序,以動態(tài)庫的形式提供,適用于GTK、Tilcon、Element-UI、QT 等界面庫的信息系統(tǒng)軟件開發(fā),并已成功運(yùn)用于多型含裝甲車載嵌入式、單兵移動便攜信息處理終端的陸軍業(yè)務(wù)信息系統(tǒng)中.這些信息系統(tǒng)中,配套工具開發(fā)的前端展現(xiàn)界面(如圖2所示)的漢字編碼類型大多數(shù)固定為UTF-8編碼,為兼容與已有系統(tǒng)如文本、協(xié)議的漢字交互處理,后端服務(wù)處理采用的中文編碼形式為GB18030或GBK.上述漢字編碼轉(zhuǎn)換程序不僅可以更輕量地應(yīng)用于各類業(yè)務(wù)信息系統(tǒng),而且利于信息系統(tǒng)間的軟件部件甚至整件的快速改造移植.這些都能夠為提高信息系統(tǒng)的資源利用率以及降低系統(tǒng)的開發(fā)維護(hù)成本,起著積極的作用.

圖2 某裝甲車載平臺GTK 開發(fā)的前端界面示例

4 結(jié)束語

本文立足于為信息系統(tǒng)的處理終端尤其是嵌入式終端提供輕量化的跨平臺通用漢字編碼轉(zhuǎn)換手段,論述了常用漢字編碼的基本原理、編碼對照關(guān)系.同時,給出了面向跨平臺輕量應(yīng)用的編碼轉(zhuǎn)換方案,這套方案已成功地在多型嵌入式如單兵業(yè)務(wù)信息系統(tǒng)中得到應(yīng)用[8],且也能適用于其他信息系統(tǒng)[9].