毛筆書(shū)寫(xiě)中的筆墨提取與骨架生成

施 霖，張家瑋

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650031）

0 引 言

傳統(tǒng)書(shū)法是中國(guó)傳統(tǒng)文化的重要組成部分，使用毛筆、墨汁和紙張等工具進(jìn)行藝術(shù)創(chuàng)作。數(shù)字書(shū)法[1-2]研究建立在對(duì)傳統(tǒng)書(shū)法書(shū)寫(xiě)過(guò)程中筆墨變化的全面理解之上。在書(shū)法的書(shū)寫(xiě)過(guò)程中，墨跡的輪廓會(huì)隨時(shí)間的推移而變化，為了更好地理解和研究這種變化，可以將其細(xì)分為單位時(shí)間內(nèi)墨跡輪廓的變化量，即墨跡增量。墨跡增量的形態(tài)變化與運(yùn)筆軌跡以及筆頭狀態(tài)相關(guān)。因此，通過(guò)結(jié)合墨跡增量信息和筆頭信息，可以進(jìn)一步分析墨跡輪廓的形成過(guò)程，獲取關(guān)于書(shū)寫(xiě)力度、書(shū)寫(xiě)方向、筆鋒狀態(tài)和書(shū)寫(xiě)筆法等信息，這些信息對(duì)數(shù)字書(shū)法研究和書(shū)法評(píng)估[3]具有重要應(yīng)用價(jià)值。此外，獲取完整的墨跡輪廓還可以有效獲得輪廓對(duì)應(yīng)的漢字字形骨架，從而獲取字形的結(jié)構(gòu)信息?？偟膩?lái)說(shuō)，通過(guò)研究墨跡增量變化和筆頭變化，可以獲取到毛筆書(shū)寫(xiě)中重要的變化信息，用于書(shū)法評(píng)估和數(shù)字書(shū)法的還原。然而，由于生成的墨跡與蘸墨毛筆的顏色相似，新生成的墨跡位于筆頭下方，并且筆桿和執(zhí)筆筆頭可能會(huì)遮擋墨跡，實(shí)時(shí)獲取墨跡變化信息和筆頭變化變得十分困難。這不僅限制了書(shū)法運(yùn)筆實(shí)時(shí)視頻內(nèi)容分析的發(fā)展，同時(shí)也阻礙了墨跡骨架的提取和分析。

當(dāng)前，關(guān)于毛筆紙張交互形成過(guò)程的研究主要集中在物理過(guò)程和圖像處理兩個(gè)方面。在物理過(guò)程方面，文獻(xiàn)[4-5]使用力反饋技術(shù)的筆道仿真方法研究墨跡與筆頭的交互過(guò)程。然而，由于物理過(guò)程的復(fù)雜性，生成的墨跡無(wú)法完全還原真實(shí)書(shū)寫(xiě)的細(xì)節(jié)變化。在圖像處理方面，研究人員嘗試通過(guò)相機(jī)捕獲毛筆書(shū)寫(xiě)的狀態(tài)。例如，文獻(xiàn)[6]通過(guò)筆頭輪廓分割和曲線模擬輪廓的結(jié)合來(lái)形成墨跡輪廓，但生成的墨跡輪廓與真實(shí)輪廓存在差異。文獻(xiàn)[7]嘗試通過(guò)前后幀的差異來(lái)分離筆頭，以獲取墨跡的變化情況，但墨跡輪廓與筆頭輪廓的分離不夠明確，導(dǎo)致提取的墨跡輪廓仍然包含筆頭區(qū)域。

目前，獲取墨跡輪廓的骨架信息主要依賴(lài)人工干預(yù)和手工繪制，這種方法需要專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)，并且耗時(shí)耗力。自動(dòng)化和半自動(dòng)化的書(shū)法骨架提取研究主要集中在兩個(gè)方面：一方面，研究者致力于開(kāi)發(fā)基于圖像結(jié)構(gòu)的自動(dòng)化書(shū)法骨架提取方法，利用針對(duì)性?xún)?yōu)化的算子[8-9]對(duì)墨跡圖像進(jìn)行分析和識(shí)別，以提取相應(yīng)的書(shū)法骨架；另一方面，一些研究關(guān)注利用深度學(xué)習(xí)技術(shù)[10-12]，通過(guò)訓(xùn)練模型來(lái)學(xué)習(xí)手工標(biāo)注的骨架特征，并實(shí)現(xiàn)自動(dòng)化的骨架提取。然而，這兩方面的研究都沒(méi)有結(jié)合墨跡的變化情況來(lái)生成書(shū)法骨架，仍存在進(jìn)一步改進(jìn)的空間。

本文旨在準(zhǔn)確獲取毛筆書(shū)寫(xiě)過(guò)程中墨跡與筆頭變化并生成墨跡骨架。為此，通過(guò)構(gòu)建書(shū)法運(yùn)筆采集平臺(tái)，從在下方相機(jī)成像獲取完整墨跡的變化，并提取墨跡增量變化；通過(guò)分析墨跡增量的位置變化，生成墨跡的骨架信息；同時(shí)通過(guò)上下視覺(jué)成像的差異獲取筆頭的變化情況。通過(guò)這些步驟，可以獲取到毛筆書(shū)寫(xiě)過(guò)程中的筆墨變化信息。

1 毛筆書(shū)寫(xiě)圖像處理

為了克服現(xiàn)有書(shū)法運(yùn)筆視頻中筆墨糾纏無(wú)法分離的問(wèn)題，本研究搭建了一套書(shū)法書(shū)寫(xiě)平臺(tái)。該平臺(tái)通過(guò)在書(shū)寫(xiě)平臺(tái)上配置適當(dāng)?shù)脑O(shè)備，實(shí)現(xiàn)了上下相機(jī)的同步采集、可視化顯示以及后續(xù)的成像處理和筆墨提取功能。通過(guò)這套平臺(tái)能夠?qū)崟r(shí)提取和處理書(shū)法運(yùn)筆過(guò)程中的信息。

1.1 毛筆書(shū)寫(xiě)視頻采集

如圖1 所示，書(shū)寫(xiě)平臺(tái)設(shè)備相關(guān)數(shù)據(jù)如表1 所示，通過(guò)書(shū)寫(xiě)平臺(tái)鋪設(shè)宣紙書(shū)寫(xiě)，上下相機(jī)捕獲書(shū)寫(xiě)運(yùn)筆過(guò)程用于后續(xù)實(shí)時(shí)處理或者以視頻形式存儲(chǔ)。

1.2 上下成像對(duì)齊

在圖1 中，相機(jī)原始成像存在以下問(wèn)題：成像畸變、上下成像坐標(biāo)不一致、成像傾斜以及周?chē)矬w干擾。這些問(wèn)題導(dǎo)致相同墨跡在上下成像中的位置和輪廓大小不匹配。為了解決這些問(wèn)題，需要對(duì)原始成像進(jìn)行成像對(duì)齊處理，實(shí)現(xiàn)圖2 中對(duì)應(yīng)墨跡位置輪廓一致的效果。

圖2 成像對(duì)齊前后對(duì)比

圖3 展示了成像對(duì)齊的實(shí)現(xiàn)過(guò)程。首先，使用張正友標(biāo)定方法[13]對(duì)相機(jī)參數(shù)進(jìn)行求解，以處理成像畸變問(wèn)題。下方相機(jī)的畸變系數(shù)還包括透明平臺(tái)引起的成像畸變。圖4 中的G 圖展示了原始成像A、B 存在的成像畸變，經(jīng)過(guò)處理后的成像C、D。

圖3 上下成像對(duì)齊過(guò)程框圖

圖4 求解視覺(jué)轉(zhuǎn)換矩陣步驟及變化細(xì)節(jié)圖

盡管進(jìn)行了畸變矯正，圖4 中的H 圖顯示，由于相機(jī)未與透明平臺(tái)平行而導(dǎo)致的成像傾斜問(wèn)題仍未能完全還原I 圖中真實(shí)棋盤(pán)格的輪廓。因此，需要針對(duì)C、D圖片使用透視變換計(jì)算變換矩陣來(lái)處理這個(gè)問(wèn)題。

由于A、B 成像是上下相機(jī)同時(shí)拍攝同一位置的棋盤(pán)格，選擇A、B 棋盤(pán)格成像中最外層的4 個(gè)角點(diǎn)作為映射點(diǎn)1，并以棋盤(pán)格的4 個(gè)點(diǎn)的平面坐標(biāo)作為映射點(diǎn)2。映射點(diǎn)2 在A、B 成像中是一致的，而映射點(diǎn)1 表示同一個(gè)角點(diǎn)在不同視覺(jué)中的坐標(biāo)。通過(guò)透視變換計(jì)算變換矩陣，能夠?qū)崿F(xiàn)上下成像的對(duì)齊，同時(shí)，角點(diǎn)之外的成像區(qū)域?qū)⒆詣?dòng)裁剪舍去，以確保對(duì)齊的成像結(jié)果。

最后，書(shū)法平臺(tái)可直接調(diào)用圖像變換矩陣對(duì)后續(xù)原始成像實(shí)時(shí)求解得到對(duì)齊成像。

1.3 上下成像分割

在成像分割處理過(guò)程中，將成像轉(zhuǎn)換為HSV 顏色空間，并通過(guò)預(yù)設(shè)閾值的方式成功分離出上方成像中的筆桿區(qū)域和筆墨區(qū)域。然而，在下方對(duì)齊的成像中（如圖5 所示），由于筆頭陰影區(qū)域?qū)δE輪廓的完整提取造成了干擾，無(wú)法通過(guò)預(yù)設(shè)閾值的方式獲取完整的墨跡。因此，通過(guò)分析下方成像特點(diǎn)設(shè)計(jì)分區(qū)分割算法來(lái)解決這個(gè)問(wèn)題，流程圖如圖6 所示。

圖5 下方對(duì)齊成像元素分析圖

1.4 筆墨變化提取及墨跡骨架生成

圖7 展示了提取墨跡增量并生成完整墨跡骨架的過(guò)程。首先，通過(guò)原始成像的對(duì)齊與分割處理，將成像從A 變化為C。這一步驟旨在獲得處理后的成像結(jié)果，確保墨跡區(qū)域的準(zhǔn)確提取。圖中的C 展示了經(jīng)過(guò)對(duì)齊與分割處理后的成像結(jié)果，也展示了實(shí)驗(yàn)獲取到墨跡生成過(guò)程。

圖7 墨跡增量獲取與墨跡骨架生成過(guò)程

在提取墨跡增量的過(guò)程中，選取當(dāng)前幀i和前一幀istep（其中step為固定間隔）進(jìn)行圖像差分操作。差分操作得到的結(jié)果如圖D所示，即i幀時(shí)刻的墨跡增量。然后，計(jì)算墨跡增量的像素均值點(diǎn)，將其作為該狀態(tài)墨跡變化的位置特征點(diǎn)。這些特征點(diǎn)代表了墨跡變化的關(guān)鍵位置。最后，將墨跡增量位置特征點(diǎn)作為時(shí)間序列點(diǎn)集，并根據(jù)兩點(diǎn)距離是否符合指定長(zhǎng)度并按照時(shí)間順序連接這些點(diǎn)，這樣就生成了如圖G所示的墨跡骨架。

通過(guò)這個(gè)過(guò)程能夠提取墨跡的增量信息，并生成完整墨跡的骨架，這有助于觀察墨跡的演變過(guò)程，并深入理解書(shū)法字體的形成。

1.5 筆頭變化提取

為了提取上方的筆頭區(qū)域，可以通過(guò)查找下方墨跡增量位置的特征點(diǎn)來(lái)確定其對(duì)應(yīng)的位置。這是因?yàn)楣P頭的運(yùn)動(dòng)導(dǎo)致了墨跡的增量生成，所以墨跡與筆頭位置是相對(duì)應(yīng)的。同時(shí)，為確保圖像處理的時(shí)效性和健壯性，避免全局差分運(yùn)算結(jié)果中可能存在的野點(diǎn)干擾問(wèn)題，差分運(yùn)算限制在以墨跡增量位置特征點(diǎn)為中心的矩形框內(nèi)進(jìn)行，這樣可以避免墨跡擴(kuò)散和墨跡筆畫(huà)飛白造成的干擾。具體步驟如算法1 所示，處理流程如圖8所示。

圖8 筆頭區(qū)域提取完整流程

算法1：上下成像差分獲取筆頭算法

輸入：下方相機(jī)成像lowerImage，上方相機(jī)成像upperImage，下方墨跡增量位置點(diǎn)points,上方筆桿區(qū)域pen

1.for i in range(len(points)-1):

2. rect = calculateRect(points[i])

3. lower = rects(lowerImage)

4. upper = rects(upperImage)

5.diff =upper-lower

6.TipRegion[i] = diff-pen

輸出：書(shū)寫(xiě)筆頭區(qū)域集合TipRegion，索引i為幀序號(hào)

2 實(shí)驗(yàn)結(jié)果

本文所搭建的書(shū)法運(yùn)筆平臺(tái)具備了有效的功能，能夠準(zhǔn)確地標(biāo)注實(shí)時(shí)生成的墨跡增量區(qū)域與此刻的筆頭區(qū)域，并生成該時(shí)刻已有墨跡的墨跡骨架，成功地實(shí)現(xiàn)了對(duì)墨跡變化的實(shí)時(shí)跟蹤與分析，結(jié)果如圖9所示。

這一平臺(tái)為書(shū)法學(xué)習(xí)和字體研究提供了有力的工具與支持。

3 結(jié) 語(yǔ)

本文介紹了一種書(shū)法平臺(tái)，該平臺(tái)能夠有效地獲取完整的墨跡變化，并生成墨跡骨架，同時(shí)還能識(shí)別筆頭區(qū)域。與現(xiàn)有的骨架生成方法相比，本文方法通過(guò)墨跡軌跡生成更符合傳統(tǒng)書(shū)法字體結(jié)構(gòu)認(rèn)知的墨跡骨架。然而，骨架生成仍存在斷裂問(wèn)題，需要進(jìn)一步改進(jìn)。本文方法能夠直接獲取墨跡的變化，而不需要傳統(tǒng)的曲線模擬墨跡方法，它能夠通過(guò)墨跡增量變化還原墨跡的完整變化過(guò)程，并結(jié)合筆頭狀態(tài)變化進(jìn)行更深入的應(yīng)用，例如書(shū)法動(dòng)畫(huà)生成和書(shū)法程序評(píng)估。目前，該書(shū)法平臺(tái)已經(jīng)實(shí)現(xiàn)了墨跡增量變化、墨跡骨架變化和筆頭筆桿區(qū)域的可視化功能，可以在書(shū)法教學(xué)和評(píng)估中使用。

注：本文通訊作者為施霖。