摘 要:本文基于深度神經(jīng)網(wǎng)絡(luò)對多模態(tài)計算機圖像進行識別。首先提出兩個削減規(guī)則。第一個削減規(guī)則用來減少鄰接頂點之間相似性計算次數(shù),第二個削減規(guī)則通過非精確計算鄰接頂點間的相似性來減少計算時間;其次提出一種基于Spark中GraphX的結(jié)構(gòu)化圖聚類算法GXDSGC。該算法在運行期間不需要大量的磁盤I/O開銷;最后通過在大量真實數(shù)據(jù)集和合成數(shù)據(jù)集上的實驗,證實本文提出的GXDSGC算法的有效性。GXDSGC算法比基于Hadoop中MapReduce框架的算法快30多倍,能夠顯著提高計算機圖像識別在大數(shù)據(jù)分析中的效率。
關(guān)鍵詞:云計算 GXDSGC算法 分布式結(jié)構(gòu)
一、引言
數(shù)字圖像處理的最終目的是用計算機代替人去認識圖像和找出一副圖像中人們感興趣的目標,這是計算機模式識別的主要內(nèi)容。模式識別技術(shù)是用機器來模擬人的各種識別能力,當前主要是模擬人的視覺和聽覺能力(Li H et al. 2015)[1]。圖像模式識別是用機器對文字、圖像、圖片和景物等模式信息加以處理和識別,用以解決計算機與外部環(huán)境直接通信這一重要問題。圖像識別由三個環(huán)節(jié)構(gòu)成,分別是數(shù)據(jù)獲取、數(shù)據(jù)處理、判別分類(Opieliński K J et al. 2017)[2]。解決圖像識別的方法概括起來可分為統(tǒng)計模式識別、結(jié)構(gòu)模式識別、模糊圖像識別與智能模式識別(Wu D et al. 2016)[3]。
二、實證分析
基于本文構(gòu)建的算法,以下通過實驗來對算法進行驗證,本實驗所用的軟硬件環(huán)境如下:集群由五臺服務(wù)器組成,每臺服務(wù)器的配置為:RedHat64位操作系統(tǒng),16核CPU,主頻1.9GHz,16G內(nèi)存,2T硬盤;Hadoop版本為2.6.0,Spark版本為1.6.0,Java版本為1.8.0,Scala版本為2.10.4。開發(fā)環(huán)境配置:操作系統(tǒng)為Windows732位旗艦版,主頻3.10GHz,4G內(nèi)存,500G硬盤;開發(fā)工具IntelliJIDEACommunityEdition15.0.2,Java版本為1.8.0, Scala 版本為 2.10.4。
本文實驗所用數(shù)據(jù)集包括DBLP,Youtube,LiveJournal3個真實數(shù)據(jù)集和人工數(shù)據(jù)集進行實驗。其中,DBLP是一個作者協(xié)作網(wǎng)絡(luò);Youtube是一個用戶到用戶鏈接網(wǎng)絡(luò);LiveJournal是一個在線社交網(wǎng)絡(luò)。人工數(shù)據(jù)集使用前人文獻中的算法生成。數(shù)據(jù)集統(tǒng)計信息如表1。
下面將本文中提出的神經(jīng)網(wǎng)絡(luò)算法和Zhao等人提出的PSCAN算法進行對比實驗,實驗從運行時間、削減策略和可擴展性三個方面來進行比較。PSCAN算法和神經(jīng)網(wǎng)絡(luò)算法在相同配置的集群上運行,由于PSCAN算法并沒有指定聚類的最小尺寸,所以在實驗中將神經(jīng)網(wǎng)絡(luò)算法的最小聚類尺寸設(shè)置為2,使得兩個算法的結(jié)果相同。下面分別從這三個方面對神經(jīng)網(wǎng)絡(luò)算法進行分析。首先我們比較了運行時間,在該實驗中,對于不同數(shù)據(jù)集,在相似性閾值分別取0.6,0.7,0.8,0.9四個值的情況下,分別運行神經(jīng)網(wǎng)絡(luò)算法和PSCAN算法。算法在表1中數(shù)據(jù)集上的運行時間如圖1所示。
三、研究結(jié)論
本文基于深度神經(jīng)網(wǎng)絡(luò)進行多模態(tài)計算機圖像識別,當前多模態(tài)計算機圖像識別是大圖數(shù)據(jù)分析的主要技術(shù)之一,在社區(qū)檢測、生物功能發(fā)現(xiàn)和圖可視化等許多實際應用中具有重要意義。目前的多模態(tài)計算機圖像識別大多基于Hadoop的MapReduce框架,但該框架需要精確計算圖中所有鄰接頂點之間的相似性且需要大量的磁盤I/O開銷,極大增加了算法的運行時間。SCAN算法利用頂點之間的結(jié)構(gòu)信息不僅能夠?qū)D進行聚類,還能識別出圖中頂點的不同角色,為用戶提供豐富的信息;而PSCAN算法是SCAN算法在分布式集群上的擴展。
參考文獻
[1] Li H, Ding H, Huang D, et al. An efficient multimodal 2D + 3D feature-based approach to automatic facial expression recognition[J]. Computer Vision & Image Understanding, 2015, 140(45):83-92.
[2] Opieliński K J, Pruchnicki P, Szymanowski P, et al. Multimodal ultrasound computer-assisted tomography: An approach to the recognition of breast lesions[J]. Comput Med Imaging Graph, 2017, 39(16):136-142.
作者簡介:伍梵,專業(yè):信息與計算科學,學校:湖南人文科技學院。