滕升華 白培瑞 孫農(nóng)亮

摘 要：圖像處理與分析課程具有很強(qiáng)的理論性與實(shí)踐性，非常適合采用案例教學(xué)?；谠撜n程特點(diǎn)及工程碩士培養(yǎng)要求，融合圖像處理經(jīng)典方法與人工智能最新技術(shù)，以圖像信息處理的典型應(yīng)用開發(fā)為基礎(chǔ)設(shè)計(jì)教學(xué)案例庫。闡述案例庫設(shè)計(jì)意義、要求與成果形式，聚焦成像質(zhì)量增強(qiáng)、日常生活與工業(yè)應(yīng)用、醫(yī)學(xué)圖像分析等方面設(shè)計(jì)若干案例。

關(guān)鍵詞：圖像處理與分析;工程碩士培養(yǎng);教學(xué)案例庫

DOI：10. 11907/rjdk. 201170??????????????????????????????????????????????????????????????????????????????????????????????????????? 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：G436 ?? 文獻(xiàn)標(biāo)識碼：A?????????????????????????????? 文章編號：1672-7800（2020）011-0259-03

The Design of Teaching Case Library for Master of Engineering in

Image Processing and Analysis

TENG Sheng-hua， BAI Pei-rui， SUN Nong-liang

（College of Electronic and Information Engineering， Shandong University of Science and Technology，Qingdao 266590，China）

Abstract：The course of Image Processing and Analysis is highly theoretical and practical， and is very suitable for case teaching. Based on the course characteristics and the training requirements for master of engineering， the classic methods of image processing and the latest development of artificial intelligence are fused to design a teaching case library starting from the typical application of image information processing. The meaning， requirements and results of the case library design are clarified， and several cases are designed focusing on the three aspects of enhanced imaging quality， daily life and industrial applications， and medical image analysis.

Key Words：image processing and analysis; master of engineering; teaching case library

0 引言

圖像處理研究與應(yīng)用在航天、軍事、工業(yè)、醫(yī)療、安防等諸多領(lǐng)域一直是熱點(diǎn) [1]。近幾年，以深度學(xué)習(xí)為代表的人工智能技術(shù)直接催生與圖像處理相關(guān)的眾多應(yīng)用。

高校電子信息、計(jì)算機(jī)、遙感、自動化、生物醫(yī)學(xué)等專業(yè)均開設(shè)圖像處理相關(guān)課程。鑒于學(xué)校層次、專業(yè)及學(xué)生基礎(chǔ)差別，圖像處理課程在內(nèi)容上各有側(cè)重。圖像處理、圖像分析和圖像理解代表圖像信息處理由低到高的不同層次。以改善圖像質(zhì)量和存儲效率進(jìn)行目標(biāo)檢測、測量與描述，實(shí)現(xiàn)對圖像內(nèi)容的辨別、理解和場景解釋，用來指導(dǎo)和規(guī)劃行動。圖像處理與分析研究生課程核心內(nèi)容是利用各種處理手段改善圖像質(zhì)量，提取圖像信息用于目標(biāo)識別、場景分析及控制決策等，包含以圖像為輸入、解決復(fù)雜工程問題的基礎(chǔ)性關(guān)鍵技術(shù)。

工程碩士專業(yè)學(xué)位與工程領(lǐng)域任職資格相聯(lián)系的學(xué)位處于同一層次，但類型不同，工程碩士專業(yè)學(xué)位側(cè)重于工程應(yīng)用[2]。從工程碩士教學(xué)角度，圖像處理與分析課程既有堅(jiān)實(shí)的理論基礎(chǔ)，又與實(shí)際應(yīng)用緊密結(jié)合，通過課程的有效學(xué)習(xí)，啟迪科學(xué)思維、提高專業(yè)實(shí)踐能力?；谡n程特點(diǎn)及工程碩士培養(yǎng)要求，融合圖像處理經(jīng)典方法與人工智能最新發(fā)展，針對圖像信息處理的典型應(yīng)用開發(fā)建設(shè)教學(xué)案例庫并在教學(xué)中應(yīng)用，引導(dǎo)學(xué)生進(jìn)行相應(yīng)的研究與開發(fā)，能夠更好地提高課程教學(xué)實(shí)效性，強(qiáng)化工程碩士的實(shí)踐應(yīng)用能力，培養(yǎng)創(chuàng)新創(chuàng)業(yè)能力，帶動教學(xué)內(nèi)容與教學(xué)方法改革，提高工程碩士教育教學(xué)質(zhì)量[3]。

1 圖像處理案例庫發(fā)展現(xiàn)狀

目前國家級和部分省級精品課程、精品資源共享課、精品在線開放課程中的圖像處理課程[4-5]，主要來自上海交通大學(xué)、武漢大學(xué)、北京交通大學(xué)、西安電子科技大學(xué)、天津理工大學(xué)等;國外高校有美國斯坦福大學(xué)（EE368/CS232）[6]、內(nèi)華達(dá)大學(xué)（CS474/674）[7]等圖像處理教學(xué)網(wǎng)站。在圖像處理教學(xué)方面，相關(guān)院校普遍采用理論與實(shí)踐相結(jié)合方式。理論部分一般是課堂教學(xué)，教學(xué)內(nèi)容主要是圖像概念及成像基本原理，圖像變換、增強(qiáng)、復(fù)原、分割、描述及基本的分類識別原理與算法。實(shí)踐教學(xué)部分包括圖像處理算法原理的鞏固、融合與應(yīng)用，教學(xué)形式包括實(shí)驗(yàn)、上機(jī)作業(yè)和期末課程項(xiàng)目等。

盡管在高校圖像處理教學(xué)網(wǎng)站上能夠找到教學(xué)大綱、課件、實(shí)驗(yàn)指導(dǎo)書、項(xiàng)目報告以及部分圖像處理的源代碼，但包括出版物在內(nèi)目前還沒找到系統(tǒng)完整的圖像處理教學(xué)案例庫。梳理現(xiàn)有教學(xué)資源，與教學(xué)案例庫最為接近的是各種實(shí)驗(yàn)與課程項(xiàng)目。從面向?qū)I(yè)學(xué)位研究生教學(xué)角度看，圖像處理實(shí)驗(yàn)在綜合性和實(shí)踐性方面還有差距;課程項(xiàng)目一般是學(xué)生自由選題，項(xiàng)目質(zhì)量與難易程度不一。文獻(xiàn)中有關(guān)圖像處理案例教學(xué)討論主要集中于案例教學(xué)優(yōu)勢特點(diǎn)、組織方式、實(shí)施范例等[8-15]，部分文獻(xiàn)設(shè)計(jì)了少量基礎(chǔ)性案例，但從層次上看難以滿足研究生教學(xué)要求[16-17]。

近年來人工智能在圖像處理方面成功應(yīng)用，圍繞智能交通、智慧醫(yī)療、機(jī)器人、工業(yè)自動化、智能安防、購物、娛樂等方面的案例和產(chǎn)品層出不窮，谷歌、亞馬遜、騰訊、百度等高科技公司也開放了若干與圖像處理開發(fā)相關(guān)的資源，以GitHub為代表的開源網(wǎng)站提供了豐富的學(xué)習(xí)與應(yīng)用資源。本文面向工程碩士研究生教育需求，對圖像處理與分析課程教學(xué)內(nèi)容進(jìn)行總體籌劃，體現(xiàn)圖像處理最新發(fā)展成果，形成覆蓋面廣、可用性強(qiáng)、基礎(chǔ)性與高層次并重的教學(xué)案例庫。

2 案例庫設(shè)計(jì)要求與形式

2.1 設(shè)計(jì)要求

建設(shè)面向工程碩士的圖像處理與分析課程教學(xué)案例庫，要注重“科學(xué)研究與教學(xué)案例相結(jié)合，理論與實(shí)踐相結(jié)合”，突出課程教學(xué)重點(diǎn)，基于圖像處理實(shí)際應(yīng)用場景，開發(fā)符合案例教學(xué)要求、與國際接軌的高質(zhì)量教學(xué)案例庫。

案例庫設(shè)計(jì)要體現(xiàn)以下特點(diǎn)：

（1）服務(wù)對象明確，適應(yīng)專業(yè)學(xué)位教學(xué)要求。教學(xué)團(tuán)隊(duì)專門針對工程碩士開發(fā)教學(xué)案例，通過解決實(shí)際問題培養(yǎng)學(xué)生知識運(yùn)用與實(shí)踐創(chuàng)新能力。

（2）緊密聯(lián)系課程內(nèi)容，強(qiáng)化知識融合與拓展。開發(fā)的教學(xué)案例覆蓋圖像處理與圖像分析重點(diǎn)內(nèi)容，不是過往知識的簡單再現(xiàn)，而是包含多個新知識點(diǎn)，集運(yùn)用、擴(kuò)展與提高于一體。

（3）可操作性強(qiáng)。每個案例都以編程實(shí)現(xiàn)，在常規(guī)計(jì)算機(jī)或微處理器硬件平臺上運(yùn)行，實(shí)現(xiàn)過程清晰明了，方便學(xué)生進(jìn)行程序調(diào)試、修改處理、對比處理結(jié)果等。

（4）覆蓋面廣、處理方法先進(jìn)。教學(xué)案例開發(fā)融合了圖像處理與人工智能的最新發(fā)展成果，涉及復(fù)雜場景成像、醫(yī)學(xué)、工業(yè)及日常應(yīng)用等多個場景，通過經(jīng)典方法與最新成果對比啟迪創(chuàng)新思維。

2.2 案例庫成果形式

每個案例設(shè)計(jì)成一個獨(dú)立的教學(xué)內(nèi)容，依托具體圖像處理問題或?qū)嶋H應(yīng)用，融合圖像處理理論、方法和技術(shù)，鞏固課程學(xué)習(xí)內(nèi)容，強(qiáng)化應(yīng)用能力培養(yǎng)，包括以下內(nèi)容：

（1）案例開發(fā)報告與使用說明。編寫文檔，闡明案例設(shè)計(jì)基本原理、實(shí)現(xiàn)方法和運(yùn)行結(jié)果，提供教學(xué)案例使用指導(dǎo)書。

（2）源代碼。通過高級語言編程實(shí)現(xiàn)圖像處理與分析案例，依據(jù)案例不同的實(shí)現(xiàn)要求選擇Matlab、Python或C/C++編程語言。

3 案例庫內(nèi)容設(shè)計(jì)

圖像處理與分析課程教學(xué)案例庫設(shè)計(jì)要盡可能多地覆蓋課程核心內(nèi)容，突出圖像處理典型應(yīng)用，結(jié)合研究熱點(diǎn)確定案例庫應(yīng)包含以下方面。

3.1 成像質(zhì)量增強(qiáng)

（1）惡劣氣象條件下的清晰成像（霧、沙塵、雨、雪等）。室外圖像采集質(zhì)量會受到氣象條件影響。針對霧和沙塵場景，利用暗通道先驗(yàn)建立霧和沙塵天氣的大氣散射模型，進(jìn)而利用圖像復(fù)原法去除霧和沙塵影響;對雨、雪圖像的處理包括雨雪檢測和去除兩個步驟，需要綜合利用各種濾波方法。

（2）水下圖像增強(qiáng)。水下成像主要問題是顏色失真及清晰度下降。顏色失真采用白平衡、直方圖均衡化與Retinex方法校正;水下圖像模糊原因是水下光線散射或相機(jī)鏡頭未達(dá)到理想對焦造成散焦模糊、水下湍流造成高斯模糊、水體或魚群運(yùn)動造成運(yùn)動模糊，針對不同情形建立圖像退化模型，利用維納濾波恢復(fù)。

（3）交通實(shí)景下運(yùn)動目標(biāo)恢復(fù)。運(yùn)動圖像恢復(fù)的前提是已知運(yùn)動參數(shù)，但并不適用于真實(shí)場景。對交通監(jiān)控探頭拍下的車輛行駛圖像進(jìn)行處理，根據(jù)局部模糊性質(zhì)分割出運(yùn)動區(qū)域，利用Radon變換估計(jì)運(yùn)動參數(shù)，通過維納濾波實(shí)現(xiàn)運(yùn)動區(qū)域復(fù)原。

（4）個人定制“美顏”成像。模擬手機(jī)拍攝美顏效果。主要步驟包括：①用具有保邊效果的濾波算法對圖像進(jìn)行模糊處理;②用膚色檢測算法保護(hù)非皮膚區(qū)域;③將模糊后的圖像及原圖進(jìn)行圖像融合;④對融合后的圖像進(jìn)行銳化處理。綜合利用空域?yàn)V波、區(qū)域分割與圖像融合算法。

（5）高動態(tài)范圍圖像（High-Dynamic Range，HDR）合成。相比普通圖像，HDR可提供更多的動態(tài)范圍與圖像細(xì)節(jié)。實(shí)現(xiàn)原理：根據(jù)多幅不同曝光時間得到的低動態(tài)范圍圖像（Low-Dynamic Range，LDR），利用每個曝光時間相對應(yīng)的最佳LDR圖像合成最終HDR圖像。主要步驟包括：①圖像配準(zhǔn)，在有運(yùn)動的情況下精確配準(zhǔn)輸入圖像;②恢復(fù)不同曝光圖像的輻射度;③計(jì)算各圖像權(quán)重值，實(shí)現(xiàn)圖像合成。

（6）全景拼接。將多幅圖像拼接成一幅寬幅圖像，處理步驟如下：①利用尺度不變特征變換（Scale-invariant feature transform，SIFT）算子檢測并提取圖像特征點(diǎn);②使用隨機(jī)一致性采樣（RANdom SAmple Consensus，RANSAC）算法進(jìn)行圖像匹配，找出圖像間重疊部分;③通過透視變換，將圖像投影到一個新的視平面，將圖像間的重疊部分進(jìn)行拼接。

3.2 生活與工業(yè)應(yīng)用

（1）活體指紋識別。指紋識別系統(tǒng)需要具有活體指紋檢測能力以排除指模欺騙。獲取的原始指紋圖像往往具有噪聲且包含大量空白前景，要設(shè)計(jì)指紋圖像分割算子裁剪指紋，利用導(dǎo)向?yàn)V波去噪;為利用噪聲分量等尖銳信息，在得到去噪圖像的同時還要綜合使用原始裁剪后的圖像，采用相鄰局部二值模式（Local binary patterns，LBP）方圖提取圖像特征，結(jié)合支持向量機(jī)（Support Vector Machine，SVM）分類器實(shí)現(xiàn)活體指紋識別。

（2）人臉表情識別?；诰矸e神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）進(jìn)行局部特征融合的人臉表情識別。處理步驟包括：①構(gòu)建CNN模型學(xué)習(xí)眼睛、眉毛、嘴巴3個局部區(qū)域特征;②將局部特征輸入SVM多分類器獲取各類特征的后驗(yàn)概率;③通過粒子群尋優(yōu)算法優(yōu)化各特征的最優(yōu)融合權(quán)值，實(shí)現(xiàn)正確率最優(yōu)的決策級融合，完成表情分類。利用JAFFE人臉數(shù)據(jù)庫[18]，對生氣、厭煩、恐懼、開心、平常、傷心、驚訝等7種表情進(jìn)行分類。

（3）停車場車牌識別。停車場車牌識別技術(shù)已經(jīng)比較成熟并得到廣泛應(yīng)用。作為教學(xué)案例，處理步驟包括：①采集圖像并進(jìn)行預(yù)處理，進(jìn)行圖像亮度歸一化以去除光照變化的影響;②根據(jù)車牌顏色特征進(jìn)行圖像分割、利用投影法實(shí)現(xiàn)車牌定位;③在車牌區(qū)域進(jìn)行字符分割，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN分類器實(shí)現(xiàn)字符識別。

（4）基于圖像處理的煤矸石篩選。利用圖像處理方法對監(jiān)控視頻中的原煤圖像進(jìn)行分類。處理步驟包含：①采用背景差分法將原煤從視頻中分離出來，在幀圖像中截選窗口圖像用于識別;②選取HSV（色調(diào)Hue，飽和度Saturation，明度Value）顏色空間、灰度值的低階矩作為顏色特征，灰度共生矩陣的能量、對比度、相關(guān)性、熵以及Tamura紋理的粗糙度、對比度、方向度作為紋理特征;③提取描述圖像顏色和紋理信息的28個特征參數(shù)，利用Relief算法計(jì)算權(quán)重，表征特征在分類中的貢獻(xiàn)度，進(jìn)行特征選擇;④利用K近鄰與支持向量機(jī)SVM進(jìn)行煤矸石篩選，比較這兩種分類器性能。

（5）輸煤皮帶接頭斷裂檢測。布設(shè)相機(jī)采集皮帶的運(yùn)行視頻、監(jiān)測皮帶接頭狀態(tài)，步驟如下：①通過幾何變換將圖像中皮帶方向校正為水平，增強(qiáng)對比度以提高圖像質(zhì)量;②利用基于模板重構(gòu)剪影的接頭檢測方法篩選出接頭圖像，利用灰度投影確定接頭位置;③采用多圖譜標(biāo)記法評判接頭狀態(tài)。

3.3 醫(yī)學(xué)圖像分析

（1）多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)與融合。前述案例包含圖像配準(zhǔn)融合內(nèi)容，但方法不適用于多模態(tài)（成像方式不同）圖像間的配準(zhǔn)。以人體頭部磁共振成像MRI和計(jì)算機(jī)層析成像CT配準(zhǔn)為例，將互信息作為相似性度量進(jìn)行配準(zhǔn);采用空間結(jié)構(gòu)融合算法實(shí)現(xiàn)圖像融合，最后通過主觀驗(yàn)視及計(jì)算交叉熵評判圖像融合效果。

（2）血液細(xì)胞識別與分類。以血液細(xì)胞圖像中紅細(xì)胞白細(xì)胞識別統(tǒng)計(jì)為例，對血液圖像進(jìn)行預(yù)處理。利用中值濾波去噪與數(shù)學(xué)形態(tài)學(xué)改善圖像質(zhì)量;分析血液細(xì)胞的生物特征與幾何特征，利用閾值分割與支持向量機(jī)實(shí)現(xiàn)紅白細(xì)胞分割與識別;通過連通算法及分水嶺算法統(tǒng)計(jì)細(xì)胞數(shù)量，對比統(tǒng)計(jì)結(jié)果、分析不同算法性能與影響。

（3）肺結(jié)節(jié)篩查。利用深度信念網(wǎng)絡(luò)DBN進(jìn)行肺結(jié)節(jié)檢測。肺結(jié)節(jié)在空間上是一個三維類球體，將肺結(jié)節(jié)進(jìn)行三維重建并將重建后不同大小的肺結(jié)節(jié)歸一到不同尺度的立方體中;將不同視角的2.5維切片作為深度信念網(wǎng)絡(luò)的輸入數(shù)據(jù)，最后通過不同的融合策略進(jìn)行肺結(jié)節(jié)識別。在LIDC-IDRI肺癌數(shù)據(jù)集[19]上進(jìn)行實(shí)驗(yàn)，統(tǒng)計(jì)肺結(jié)節(jié)檢測的敏感度及假陽性率。

4 結(jié)語

依據(jù)課程特點(diǎn)，在工程碩士培養(yǎng)中強(qiáng)化案例教學(xué)具有積極意義。本文著眼于工程碩士的教學(xué)需求，設(shè)計(jì)了圖像處理與分析課程教學(xué)案例庫。在分析總結(jié)相關(guān)課程案例庫基礎(chǔ)上制定案例庫設(shè)計(jì)要求與形式，結(jié)合課程內(nèi)容與典型應(yīng)用設(shè)計(jì)了若干教學(xué)案例。后續(xù)工作將聚焦建設(shè)高質(zhì)量的案例庫，并使之在教學(xué)中發(fā)揮應(yīng)有作用。

參考文獻(xiàn)：

[1] 岡薩雷斯. 數(shù)字圖像處理 [M]. 第3版. 阮秋琦，阮宇智，譯. 北京：電子工業(yè)出版社，2013.

[2] 中國學(xué)位與研究生教育信息網(wǎng). 工程碩士專業(yè)學(xué)位設(shè)置方案[EB/OL]. http：//www.cdgdc.edu.cn /xwyyjsjyxx/gjjl/szfa/gcss /263536.shtml.

[3] 傅偉鋒，唐賢清. 美國研究生案例教學(xué)及啟示[J]. 湖南師范大學(xué)學(xué)報（教育科學(xué)），2016，15（5）：124-128.

[4] 愛課程. 資源共享課程[EB/OL]. http：//www.icourses.cn/mooc/.

[5] 愛課程. 中國大學(xué)慕課[EB/OL]. https：//www.icourse163.org/.

[6] STANFORD UNIVERSITY.EE368/CS232 digital image processing[EB/OL]. https：//web.stanford.edu/class/ee368/.

[7] UNIVERSITY OF NEVADA，RENO. CS474/674 Image processing and interpretation[EB/OL]. https：//www.cse.unr.edu/～bebis/CS474/.

[8] 肖紅，戴慶. 案例教學(xué)法在數(shù)字圖像處理課程中的應(yīng)用[J]. 長江大學(xué)學(xué)報（自然科學(xué)版），2010，7（2）：384-385.

[9] 趙潔，張艷，武斌. 實(shí)驗(yàn)案例教學(xué)法在數(shù)字圖像處理課程教學(xué)中的應(yīng)用[J]. 天津城市建設(shè)學(xué)院學(xué)報，2013，19（3）：231-234.

[10] 李大湘，王小雨. 基于OpenCV的視頻圖像處理與分析課程案例教學(xué)設(shè)計(jì)與應(yīng)用[J].? 現(xiàn)代計(jì)算機(jī)（專業(yè)版），2018，17（31）：41-44.

[11] WANG Z H， GUO J. Teaching and practice mode reform in digital image processing curriculum[J]. International Journal of Information and Education Technology，2017， 7（7）：557-560.

[12] 郭琳琴，楊艷. 數(shù)字圖像處理數(shù)學(xué)方法課程案例教學(xué)探討[J]. 呂梁學(xué)院學(xué)報，2018，8（6）：79-82.

[13] 胡學(xué)龍，陳舒涵，孫磊. 圖像處理類課程的混合式教學(xué)實(shí)踐[J]. 工業(yè)和信息化教育，2018（11）：37-41.

[14] 李林宜. 圖像處理與分析課程案例教學(xué)研究[J]. 北京測繪，2016，15（1）：148-151.

[15] 王俊祥，趙怡，傅莉，等. 基于工程教育背景的數(shù)字圖像處理課程特色教學(xué)案例設(shè)計(jì)[J]. 中國多媒體與網(wǎng)絡(luò)教學(xué)學(xué)報，2018，17（9）：147-148.

[16] 陸玲，何月順，李祥，等. 基于案例的數(shù)字圖像處理教學(xué)方法改革[J]. 教育教學(xué)論壇，2020，19（6）：113-114.

[17] 劉海英， 郭俊美， 趙紅梅.? 案例教學(xué)在數(shù)字圖像處理與應(yīng)用課程中的探索研究[J]. 科技視界，2018，254（32）：139-141.

[18] JAFFE.The Japanese female facial expression database[EB/OL].? http：//www.kasrl.org/jaffe.html.

[19] NATIONAL CANCER INSTITUTE. The lung image database consortium [EB/OL].? https：//wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI.

（責(zé)任編輯：杜能鋼）