基于深度學(xué)習(xí)的甲骨文字檢測(cè)與識(shí)別

劉國(guó)英

(安陽(yáng)師范學(xué)院 甲骨文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，河南 安陽(yáng) 455000)

一、前言

甲骨文是迄今為止中國(guó)發(fā)現(xiàn)的年代最早的成熟文字系統(tǒng)，是漢字的源頭和中華優(yōu)秀傳統(tǒng)文化的根脈。2017 年 10 月 30 日，甲骨文入選聯(lián)合國(guó)教科文組織“世界記憶名錄”，其研究?jī)r(jià)值得到全世界公認(rèn)。然而，甲骨學(xué)一直是一個(gè)沒(méi)有多少人參與的冷門(mén)學(xué)科。主要原因有兩個(gè)方面。首先，甲骨學(xué)研究門(mén)檻高，必需具備古文字學(xué)、考古學(xué)、歷史學(xué)、文獻(xiàn)學(xué)等多學(xué)科知識(shí)背景，高水平人才匱乏。其次，甲骨文認(rèn)讀難度大而難以被大眾接受。目前，甲骨文僅僅停留在少數(shù)甲骨學(xué)專家的學(xué)術(shù)研究中，普通大眾沒(méi)有熱情，社會(huì)上沒(méi)有培育出相應(yīng)的土壤，后備人才匱乏。這一問(wèn)題已經(jīng)引起黨和國(guó)家的高度重視。2016年5月習(xí)近平在全國(guó)哲學(xué)社會(huì)工作座談會(huì)上指出要重視發(fā)展諸如“甲骨文等古文字研究”。在2019年11月1日，他在祝賀甲骨文發(fā)現(xiàn)和研究120周年的賀信中又進(jìn)一步強(qiáng)調(diào)“在新形勢(shì)下，要確保甲骨文等古文字研究有人做、有傳承”。

在政府的大力倡導(dǎo)下，研究人員開(kāi)始嘗試?yán)糜?jì)算機(jī)技術(shù)進(jìn)行甲骨文字的檢測(cè)與識(shí)別研究，以期在降低普通大眾認(rèn)讀甲骨字難度的同時(shí)為甲骨學(xué)專家提供輔助工具。早期的甲骨文字檢測(cè)和識(shí)別研究基本按照傳統(tǒng)模式識(shí)別路線開(kāi)展，特征提取和分類(lèi)器設(shè)計(jì)等多個(gè)環(huán)節(jié)都需要人工參與。這對(duì)研究人員的經(jīng)驗(yàn)要求較高，且流程較為復(fù)雜，應(yīng)用也不夠方便。近年來(lái)，深度學(xué)習(xí)技術(shù)尤其是自然場(chǎng)景目標(biāo)檢測(cè)和識(shí)別技術(shù)的快速發(fā)展為甲骨文字檢測(cè)和識(shí)別注入了新的活力。研究人員逐漸開(kāi)始嘗試使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行甲骨文字的檢測(cè)和識(shí)別研究，提出了一些新的方法，建立了多個(gè)甲骨文字檢測(cè)和識(shí)別數(shù)據(jù)集。對(duì)這些研究?jī)?nèi)容進(jìn)行詳細(xì)梳理，將有助于加速甲骨文字檢測(cè)和識(shí)別技術(shù)的發(fā)展，為甲骨學(xué)研究和甲骨文活化利用提供支撐。

本文組織結(jié)構(gòu)如下：第2節(jié)介紹甲骨文字識(shí)別的研究現(xiàn)狀；第3節(jié)介紹甲骨文字檢測(cè)的研究現(xiàn)狀；第4節(jié)具體分析當(dāng)前研究的困難；第5節(jié)對(duì)全文進(jìn)行總結(jié)并進(jìn)行展望。

二、甲骨文字識(shí)別

1.傳統(tǒng)甲骨文字識(shí)別技術(shù)

早期的甲骨文字識(shí)別遵循了“數(shù)據(jù)預(yù)處理+特征提取+分類(lèi)識(shí)別”的傳統(tǒng)甲骨文字識(shí)別框架。復(fù)旦大學(xué)的周新倫和李鋒等[1-2]將甲骨文字視為“線”和“點(diǎn)”構(gòu)成的無(wú)向圖，并基于圖論方法提取多層次圖特征，從而進(jìn)行二級(jí)和三級(jí)甲骨文字識(shí)別。北京大學(xué)呂肖慶等人[3]將甲骨文字視為圖形符號(hào)，并利用輪廓線曲率直方圖獲得的傅里葉描述子表示甲骨字形狀，使用支持向量機(jī)(support vector machines , SVM)[4]進(jìn)行甲骨字識(shí)別。安陽(yáng)師范學(xué)院栗青生教授[5]將甲骨文字抽象為無(wú)向圖，并基于圖同構(gòu)判定算法進(jìn)行甲骨字識(shí)別。劉永革等[6]利用甲骨字的分塊直方圖表示文字特征、基于支撐向量機(jī)進(jìn)行甲骨字識(shí)別。江蘇師范大學(xué)顧紹通[7]假設(shè)甲骨文異體字之間的拓?fù)浣Y(jié)構(gòu)具有不變特性，并利用最小距離對(duì)甲骨字拓?fù)浣Y(jié)構(gòu)編碼進(jìn)行等價(jià)關(guān)系判斷，進(jìn)而獲得甲骨文字的識(shí)別結(jié)果。日本立命館大學(xué)(Ritsumeikan University)L. Meng[8](p8-10)針對(duì)待識(shí)別甲骨文字圖像和模板甲骨圖像，分別使用霍夫變換和聚類(lèi)來(lái)提取的直線特征點(diǎn)，并利用對(duì)應(yīng)的最小距離進(jìn)行一級(jí)識(shí)別，再使用模板匹配方法進(jìn)行識(shí)別結(jié)果優(yōu)化。這些方法主要針對(duì)甲骨文字的字形特征進(jìn)行研究，并取得了有意義的結(jié)果。上述方法基本在較小的數(shù)據(jù)集上進(jìn)行甲骨文字識(shí)別嘗試，方法的穩(wěn)定性、準(zhǔn)確率和泛化能力均難以滿足要求。

2.基于深度學(xué)習(xí)的甲骨文字識(shí)別

目前，基于深度學(xué)習(xí)的甲骨文字識(shí)別都是監(jiān)督方式的。它們需要大量的訓(xùn)練數(shù)據(jù)使深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)甲骨單字的不同模式，從而實(shí)現(xiàn)對(duì)單字圖像的自動(dòng)識(shí)別。如圖1所示，常見(jiàn)的甲骨單字圖像主要有兩類(lèi)：甲骨字模圖像和拓片文字圖像。

圖1 甲骨字模圖像與拓片文字圖像：第一行為字模圖像，第二行為對(duì)應(yīng)拓片文字圖像。

最早將深度學(xué)習(xí)技術(shù)應(yīng)用于甲骨字模圖像識(shí)別的代表性工作是2016年郭俊等[11]提出的多層次甲骨字符表示方法。該方法將基于稀疏自編碼的中層表示特征和基于Gabor的低層表示特征結(jié)合起來(lái)描述甲骨字符，采用的甲骨字模數(shù)據(jù)集包含291個(gè)甲骨文單字，共有20039個(gè)樣本。2018年，Zhen Yang等人[12]基于LeNet和AlexNet在一個(gè)含有21373個(gè)樣本、涉及39個(gè)單字的甲骨字模數(shù)據(jù)集上進(jìn)行了識(shí)別研究。同年，我們?cè)O(shè)計(jì)了一個(gè)簡(jiǎn)單的深度識(shí)別網(wǎng)絡(luò)，并在包含44868個(gè)樣本、共計(jì)5491個(gè)單字(含異體字)的甲骨字模數(shù)據(jù)集上進(jìn)行了驗(yàn)證[13]。甲骨字模數(shù)據(jù)集通過(guò)甲骨學(xué)專家手工描摹生成，不含任何噪聲，上述識(shí)別方法均能達(dá)到90%以上的識(shí)別準(zhǔn)確率。

然而，甲骨字模圖像與拓片文字圖像有較大區(qū)別，后者噪聲影響極其嚴(yán)重，識(shí)別難度要大得多。因此，真正意義的甲骨文字識(shí)別工作需要在拓片文字?jǐn)?shù)據(jù)集上進(jìn)行。2019年，我?！凹坠俏男畔⑻幚怼苯逃恐攸c(diǎn)實(shí)驗(yàn)室和華南理工大學(xué)金連文教授團(tuán)隊(duì)[14]聯(lián)合推出了目前標(biāo)注樣本最多的甲骨拓片文字?jǐn)?shù)據(jù)集OBC306，包含306個(gè)甲骨文單字，共計(jì)309551個(gè)樣本，并通過(guò)Inceptiion-v4、ResNet-101、ResNet-50、VGG16、AlexNet等典型識(shí)別網(wǎng)絡(luò)提供了基準(zhǔn)識(shí)別率。河南大學(xué)王慧慧[15]根據(jù)不同甲骨字的樣本分布構(gòu)造了一組更為精細(xì)的拓片文字?jǐn)?shù)據(jù)集，并利用非稀疏表示、深度學(xué)習(xí)和稀疏表示三類(lèi)方法進(jìn)行了識(shí)別實(shí)驗(yàn)。甲骨磨損、拓印噪聲和甲骨紋理干擾對(duì)識(shí)別結(jié)果影響很大，從公開(kāi)報(bào)道結(jié)果來(lái)看，整體識(shí)別率都不理想，最高的僅為70%左右。

三、甲骨文字檢測(cè)

1.基于傳統(tǒng)方法的甲骨文字檢測(cè)

基于傳統(tǒng)方法進(jìn)行甲骨文字檢測(cè)的方法較少。安陽(yáng)師范學(xué)院史小松老師進(jìn)行了一定的嘗試[16]。她使用基于連通分量的方法進(jìn)行了甲骨字檢測(cè)的探索，從一定程度上解決了純手工提取甲骨字的誤差和效率問(wèn)題，并可作為進(jìn)一步分析定位并識(shí)別甲骨字的基礎(chǔ)。但該方法在復(fù)雜背景或噪聲比較嚴(yán)重的拓片圖像中，效果不太理想，存在拓片上部分殘字或筆畫(huà)定位不準(zhǔn)確的現(xiàn)象。

2.基于深度學(xué)習(xí)的甲骨文字檢測(cè)

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，尤其是自然場(chǎng)景圖像中目標(biāo)檢測(cè)技術(shù)的快速發(fā)展，促使研究人員逐漸開(kāi)始利用深度學(xué)習(xí)技術(shù)進(jìn)行甲骨文字的檢測(cè)嘗試。目前，基于深度學(xué)習(xí)的甲骨文字檢測(cè)也都是監(jiān)督方式的。它利用大量已標(biāo)注甲骨文字位置信息的訓(xùn)練數(shù)據(jù)，采用一階段或者兩階段的方式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)拓片圖像中甲骨文字的自動(dòng)標(biāo)注。

華南理工大學(xué)黃雙萍教授團(tuán)隊(duì)[17]構(gòu)造了一個(gè)甲骨文字檢測(cè)數(shù)據(jù)集OBCD，標(biāo)注了5838幅甲骨拓片圖像。他們結(jié)合使用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)R-FCN(Region based Fully Convolutional Network)[18]和特征金字塔模型FPN(Feature Pyramid Networks)[19]進(jìn)行甲骨字檢測(cè)研究。日本立命館大學(xué)Lin Meng[20]構(gòu)造了一個(gè)包含330幅圖像的甲骨文字檢測(cè)數(shù)據(jù)集，改進(jìn)了SSD[21]以提高較小字體甲骨字的檢測(cè)準(zhǔn)確率。我們?cè)诩坠俏淖謾z測(cè)方面做了更為充分的基礎(chǔ)性研究工作[22]。首先，構(gòu)造了一個(gè)包含9500張圖像的甲骨文字檢測(cè)數(shù)據(jù)集?；谠摂?shù)據(jù)集，分析了近幾年有代表性的通用目標(biāo)檢測(cè)框架(包括：Faster R-CNN[23]、 SSD[21]、RefineDet[24]、RFBnet[25]和YOLOv3[26])的甲骨文字檢測(cè)性能，并對(duì)性能最優(yōu)的YOLOv3進(jìn)行了改進(jìn)。上述研究在字符分布均勻、大小相似、干擾較少的甲骨片上均表現(xiàn)良好。然而如圖2所示，字符粘連、背景干擾、殘缺字和重疊檢測(cè)等問(wèn)題使得一些甲骨字的準(zhǔn)確檢測(cè)十分困難。

圖2 甲骨字檢測(cè)面臨的主要困難

四、甲骨文字檢測(cè)和識(shí)別研究存在的問(wèn)題

1.檢測(cè)和識(shí)別方法存在的問(wèn)題

與自然場(chǎng)景圖像相比，甲骨圖像數(shù)據(jù)有其自身的特點(diǎn)，具體來(lái)說(shuō)，：

① 甲骨字的背景噪聲嚴(yán)重。甲骨片在地下埋藏 3000 多年，經(jīng)過(guò)長(zhǎng)期的腐蝕變化，上面的文字變得模糊不清，獲取的甲骨圖像往往存在非常嚴(yán)重的背景噪聲，拓印出來(lái)的拓片也常常出現(xiàn)嚴(yán)重的干擾拓痕。

② 殘缺甲骨字較多。甲骨片在出土?xí)r很容易碎裂，甲骨字附近經(jīng)常會(huì)出現(xiàn)斷裂，因此產(chǎn)生大量的甲骨殘字，這些殘字與甲骨天然紋理非常相似，其檢測(cè)與識(shí)別困難極大。

③ 甲骨字具有極強(qiáng)的不規(guī)則性。同一甲骨片上的甲骨字大小不一、方向隨意、分布分散，極大增加了檢測(cè)與識(shí)別的難度。

④ 甲骨文異體字出現(xiàn)頻繁，但具有部分相似性。甲骨字出現(xiàn)在殷商時(shí)期，當(dāng)時(shí)并沒(méi)有統(tǒng)一的文字規(guī)范，再加上商周時(shí)期(約公元前 1600—公元前 256 年)跨度約 1300 多年，文字的演化比較明顯，導(dǎo)致甲骨文中出現(xiàn)大量的異體字。很多異體字之間存在部分的相似性，這為異體字的識(shí)別提供了新的線索。

⑤ 甲骨字出現(xiàn)頻率嚴(yán)重不平衡。在文獻(xiàn)[28]研究的56743個(gè)甲骨字樣本中，包含1425個(gè)單字。其中，常用字 366 個(gè)，次常用字 500 個(gè)，罕用字 559 個(gè)。甲骨字的字頻結(jié)構(gòu)極不平衡，為深度學(xué)習(xí)技術(shù)的使用帶來(lái)困難。

然而，現(xiàn)有的檢測(cè)和識(shí)別方法僅僅簡(jiǎn)單地將自然場(chǎng)景領(lǐng)域中的深度神經(jīng)網(wǎng)絡(luò)模型遷移到甲骨文字的檢測(cè)和識(shí)別應(yīng)用中來(lái)，并沒(méi)有考慮甲骨圖像數(shù)據(jù)自身的特點(diǎn)。這是現(xiàn)有方法不能取得令人滿意的結(jié)果的主要原因。

2.訓(xùn)練數(shù)據(jù)集存在的問(wèn)題

訓(xùn)練數(shù)據(jù)集對(duì)監(jiān)督方式的甲骨文字檢測(cè)和識(shí)別至關(guān)重要。然而因?yàn)橹饔^和客觀的原因，現(xiàn)有的訓(xùn)練數(shù)據(jù)集仍存在一些較為嚴(yán)重的問(wèn)題。具體來(lái)說(shuō):

① 訓(xùn)練數(shù)據(jù)集規(guī)模不大，難以保證深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)性能。檢測(cè)數(shù)據(jù)集主要來(lái)源于《甲骨文合集》[27]的部分掃描數(shù)據(jù)，最大的數(shù)據(jù)集僅含9500多幅圖像，數(shù)據(jù)多樣性得不到保證。識(shí)別數(shù)據(jù)集基本局限于樣本較多的幾百個(gè)甲骨單字，覆蓋不了已釋的1400個(gè)左右甲骨單字，更覆蓋不了所有的4500個(gè)左右甲骨單字。

② 訓(xùn)練數(shù)據(jù)集標(biāo)注質(zhì)量不高，嚴(yán)重影響深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)質(zhì)量。甲骨學(xué)研究人員極少，現(xiàn)有訓(xùn)練數(shù)據(jù)集基本依靠非甲骨學(xué)領(lǐng)域人員依據(jù)工具書(shū)進(jìn)行標(biāo)注，因甲骨學(xué)知識(shí)欠缺使得殘缺甲骨字、高噪干擾甲骨字、相近字形等難以標(biāo)注，數(shù)據(jù)集質(zhì)量不高。

③ 訓(xùn)練數(shù)據(jù)標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一，嚴(yán)重影響深度學(xué)習(xí)的甲骨學(xué)實(shí)際應(yīng)用。受標(biāo)注人員個(gè)人素質(zhì)影響，訓(xùn)練數(shù)據(jù)標(biāo)注的標(biāo)準(zhǔn)可能有所差別。沒(méi)有釋讀的甲骨字在進(jìn)行類(lèi)別劃分時(shí)沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，甚至存在巨大爭(zhēng)議?？紤]到甲骨學(xué)研究的實(shí)際水平和甲骨學(xué)專家稀缺的客觀現(xiàn)實(shí)，短期內(nèi)難以獲取大規(guī)模、高質(zhì)量的訓(xùn)練數(shù)據(jù)集。

表1 用以深度學(xué)習(xí)的標(biāo)注數(shù)據(jù)統(tǒng)計(jì)表

四、總結(jié)、討論與展望

本文簡(jiǎn)要回顧了甲骨文字檢測(cè)與識(shí)別的研究背景，分別介紹了傳統(tǒng)甲骨文字檢測(cè)與識(shí)別的主要成果，指出了存在的問(wèn)題與缺陷，并介紹了基于深度神經(jīng)網(wǎng)絡(luò)的甲骨文字檢測(cè)與識(shí)別研究現(xiàn)狀，并分析了當(dāng)前研究所面臨的主要困難。

甲骨文字檢測(cè)與識(shí)別是近年來(lái)才被學(xué)者關(guān)注的一個(gè)研究課題。從最初利用傳統(tǒng)方法進(jìn)行檢測(cè)與識(shí)別，到當(dāng)前深度學(xué)習(xí)技術(shù)在甲骨文字檢測(cè)與識(shí)別上的應(yīng)用嘗試，在檢測(cè)和識(shí)別的性能上均有明顯提高。然而，仍有許多問(wèn)題亟待解決：

(1)噪聲干擾問(wèn)題。甲骨拓片圖像的噪聲與常見(jiàn)的高斯噪聲、椒鹽噪聲等不同，難以用常規(guī)技術(shù)進(jìn)行建模。從形態(tài)上看，這些噪聲與甲骨字刻痕存在一定程度的相似性，對(duì)甲骨文字的檢測(cè)與識(shí)別極為不利，嚴(yán)重影響了檢測(cè)和識(shí)別的精度。

(2)殘缺甲骨字的檢測(cè)與識(shí)別。甲骨字經(jīng)常因甲骨片斷裂而導(dǎo)致殘缺，致使其字形特征與甲骨天然紋理極其相似，再加之殘缺甲骨字訓(xùn)練樣本量極少，其檢測(cè)與識(shí)別困難非常大。

(3)超大類(lèi)別的甲骨文字識(shí)別問(wèn)題。已知的甲骨單字有4500多個(gè)，對(duì)甲骨單字圖像進(jìn)行識(shí)別必須產(chǎn)生4500個(gè)左右的類(lèi)別。而現(xiàn)有甲骨文字識(shí)別方法難以對(duì)甲骨字進(jìn)行全類(lèi)別識(shí)別，主要原因是部分甲骨字樣本極少，有的甚至只有幾個(gè)樣本。這極大增加了識(shí)別難度。

(4)甲骨文異體字的識(shí)別問(wèn)題。甲骨文中嚴(yán)格意義上的異體字有1032 組，其字形總數(shù)為3085 個(gè)，占到了甲骨文字形總數(shù)的49.5%[28]。甲骨文異體字出現(xiàn)非常頻繁，同一甲骨字的不同異體字之間字形相差極大，對(duì)應(yīng)的異體字識(shí)別非常困難。

(5)檢測(cè)和識(shí)別數(shù)據(jù)集的嚴(yán)重依賴問(wèn)題。訓(xùn)練數(shù)據(jù)的束縛使得監(jiān)督方式的深度學(xué)習(xí)難以發(fā)揮自身優(yōu)勢(shì)而陷入困境。事實(shí)上，通過(guò)數(shù)字化設(shè)備可以很容易獲取大規(guī)模甲骨拓片圖像數(shù)據(jù)。如果讓深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)自身的特性而不是學(xué)習(xí)難以獲取的監(jiān)督信息，則更有利于發(fā)揮深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力。

(6)甲骨字構(gòu)件的檢測(cè)與識(shí)別問(wèn)題。甲骨字具有明顯的構(gòu)件信息。甲骨字中二級(jí)構(gòu)件有291 個(gè)、三級(jí)構(gòu)件有61 個(gè)，頻率不為1 的基礎(chǔ)構(gòu)件為497 個(gè)，這些構(gòu)件通過(guò)不同方式構(gòu)成甲骨字[28]。構(gòu)件的識(shí)別能夠?yàn)榧坠亲值淖R(shí)別提供有用信息。然而，甲骨字構(gòu)件之間空間關(guān)系復(fù)雜，包圍關(guān)系、嵌套關(guān)系等對(duì)甲骨字構(gòu)件的自動(dòng)分析技術(shù)提出挑戰(zhàn)。

總之，甲骨文字檢測(cè)與識(shí)別在近幾年來(lái)取得了一定的研究成果，但仍然有大量問(wèn)題值得深入研究。本文通過(guò)對(duì)有關(guān)研究進(jìn)展的回顧、分析和討論，以期為有興趣從事該項(xiàng)研究的研究人員提供全面的信息和研究思路，為早日甲骨文字檢測(cè)與識(shí)別研究的實(shí)用化貢獻(xiàn)力量。