基于人臉識(shí)別技術(shù)的智慧營業(yè)廳系統(tǒng)研究與應(yīng)用

劉慧娟　趙東明

摘要：本文提出一種面向智慧營業(yè)廳的客戶人臉識(shí)別技術(shù)方法，基于高清攝像頭和人工智能視頻處理程序，結(jié)合機(jī)器視覺視頻處理框架實(shí)現(xiàn)客戶到廳的身份自動(dòng)識(shí)別，利用CNN深度神經(jīng)網(wǎng)絡(luò)不斷優(yōu)化識(shí)別模型，通過比對進(jìn)廳用戶與當(dāng)日基站用戶的人臉特征向量集合，快速識(shí)別用戶身份，給予針對性的畫像、標(biāo)簽，輕渠道精準(zhǔn)營銷推薦和潛在服務(wù)意圖挖掘，增強(qiáng)了客戶感知?？蛻羧四樧R(shí)別模型完全以亞洲人臉特征為基礎(chǔ)，以移動(dòng)用戶圖像為數(shù)據(jù)源，模型準(zhǔn)確率高且適配性強(qiáng)，顯著提升了營業(yè)效率。

關(guān)鍵詞：人臉識(shí)別;智慧營業(yè)廳;卷積神經(jīng)網(wǎng)絡(luò);精準(zhǔn)推薦

中圖分類號(hào)：TP391.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）02-0089-02

1 背景

商場、店鋪等實(shí)體廳店，都有在客戶到廳后“無感式”識(shí)別客戶的需求，使用場景包括：運(yùn)營商營業(yè)廳店、商場安保、客戶差異化服務(wù)、針對性營銷等[1]。傳統(tǒng)模式是依賴店員個(gè)人經(jīng)驗(yàn)，熟悉和記憶老客戶，效率低，客戶感知差，客戶身份無法高效率的識(shí)別和提取進(jìn)行訴求分析，失去很多潛在的商機(jī)。隨著人工智能的技術(shù)成熟，目前越來越多的廳店采用基于人臉識(shí)別的系統(tǒng)，進(jìn)行客戶身份識(shí)別[2]。需要先通過前期的會(huì)員采集客戶照片，維護(hù)會(huì)員的人臉圖片庫，在會(huì)員到廳時(shí)通過人臉識(shí)別比對技術(shù)，確定到廳客戶身份和相關(guān)營銷信息。

為解決目前中國移動(dòng)營業(yè)廳客戶體驗(yàn)欠佳、智能程度不高的問題，本文基于自研的深度學(xué)習(xí)人臉檢索引擎，提出了面向廳店的人臉識(shí)別技術(shù)方法，支持多路攝像頭靈活調(diào)度，實(shí)時(shí)捕獲視頻流中出現(xiàn)的客戶人臉，并進(jìn)行特征轉(zhuǎn)化，與海量移動(dòng)用戶人臉庫進(jìn)行比對，快速識(shí)別客戶身份，關(guān)聯(lián)用戶偏好、畫像、營銷、服務(wù)等信息，給予主動(dòng)服務(wù)和營銷。并輔以智慧語音、業(yè)務(wù)推薦，幫助營業(yè)廳實(shí)現(xiàn)業(yè)務(wù)智能化，提升用戶體驗(yàn)，提高廳店?duì)I銷效率，減輕營業(yè)壓力。

2 面向廳店的人臉識(shí)別基礎(chǔ)架構(gòu)

以提升中國移動(dòng)營業(yè)廳的客戶體驗(yàn)和運(yùn)營管理水平為目標(biāo)，本文研發(fā)了中國移動(dòng)智慧營業(yè)廳系統(tǒng)，具有人臉識(shí)別、語音識(shí)別和智能業(yè)務(wù)推薦等功能。

考慮到目前手機(jī)覆蓋率已超過100%，平均每人擁有1臺(tái)以上手機(jī)，本方案的執(zhí)行前提是客戶攜帶手機(jī)到廳店，以客戶到中國移動(dòng)營業(yè)廳的場景為例，進(jìn)行方案的詳細(xì)論述。

2.1 通過手機(jī)對客戶進(jìn)行定位

本方案主要依靠基站的信令定位能力，客戶進(jìn)入廳店，并且保持手機(jī)開啟，客戶手機(jī)與基站交互的信令數(shù)據(jù)被采集到。移動(dòng)基站持續(xù)將本基站內(nèi)客戶信令的數(shù)據(jù)傳遞到大數(shù)據(jù)平臺(tái)，大數(shù)據(jù)平臺(tái)持續(xù)對基站傳來的信令進(jìn)行處理，例如，RAAT1009基站地理位置為天津市新興路和華龍道交口，附近有三個(gè)基站，那么定義為基站A，基站B，基站C，三個(gè)基站都持續(xù)傳遞本基站的信令數(shù)據(jù)，那么大數(shù)據(jù)平臺(tái)就可以生成新興路營業(yè)廳附近三個(gè)基站的客戶列表。每一個(gè)客戶都會(huì)和不止一個(gè)基站進(jìn)行交互，當(dāng)和多個(gè)基站交互時(shí)，基站信令進(jìn)行三點(diǎn)定位就可以得到客戶的具體位置信息，位置信息可以精確到10平方米范圍內(nèi)。

2.2 建立人臉目標(biāo)圖庫

根據(jù)定位結(jié)果確定店鋪附近人群，形成人臉基礎(chǔ)圖庫。以基于信令定位為例，關(guān)聯(lián)信令所處基站的三點(diǎn)定位，結(jié)合店鋪的地理位置，確定店鋪的覆蓋區(qū)域，計(jì)算實(shí)時(shí)處于該店鋪附近的人群列表，形成到廳客戶的人臉基礎(chǔ)圖庫，此人臉圖庫就是客戶進(jìn)行人臉檢索和身份識(shí)別的目標(biāo)庫。

2.3 用戶特征庫匹配

匹配運(yùn)營商的手機(jī)用戶特征庫，獲取店鋪附近人群的人臉特殊向量和相關(guān)營銷信息，形成待匹配的客戶特征庫。每分鐘進(jìn)行數(shù)據(jù)更新，確保本廳店內(nèi)的到店客戶特征均得到準(zhǔn)確錄入。廳店的營銷信息基于大數(shù)據(jù)微營銷平臺(tái)，并且有本廳店的個(gè)性化營銷活動(dòng)方案，對到廳客戶進(jìn)行即時(shí)推薦。推薦方案考慮客戶感興趣程度，潛在的業(yè)務(wù)需求，客戶消費(fèi)能力，客戶業(yè)務(wù)偏好，對所有適宜的營銷案進(jìn)行排序，推薦top3的營銷活動(dòng)。

3 人臉識(shí)別應(yīng)用流程

3.1 人臉模型訓(xùn)練

本文基于谷歌FaceNet框架自主訓(xùn)練模型，核心是一個(gè)科學(xué)計(jì)算框架Torch，把采集到的人臉圖像放入神經(jīng)網(wǎng)絡(luò)中，用谷歌的FaceNet模型進(jìn)行特征抽取，能夠基于超球表面的測量結(jié)果進(jìn)行人臉聚類，產(chǎn)生的128維度人臉嵌入（每張臉的128個(gè)測量值稱為一個(gè)嵌入），可以對人臉進(jìn)行匹配分類，從而完成人臉識(shí)別。為了達(dá)到針對亞洲人臉的準(zhǔn)確模型，本系統(tǒng)共使用了100萬用戶人臉圖片和身份證圖片，深度學(xué)習(xí)模型訓(xùn)練后，在天津移動(dòng)客戶人臉數(shù)據(jù)庫上正樣本率達(dá)到98.8%，識(shí)別精度很高。人臉識(shí)別模型的流程如圖1所示。

3.2 客戶識(shí)別和商品推薦

處理識(shí)別到的人臉，獲取其特征向量，并與待匹配的客戶特征庫進(jìn)行人臉比對，識(shí)別出客戶身份，關(guān)聯(lián)企業(yè)級大數(shù)據(jù)平臺(tái)，快速獲取客戶身份及全景畫像，同時(shí)也精準(zhǔn)識(shí)別客戶性別、年齡、駐留時(shí)長等信息，通過深度數(shù)據(jù)分析實(shí)現(xiàn)客戶最感興趣商品的精準(zhǔn)推薦，提升選購、交易、離店的購物效率。

客戶的推薦商品確定后，通過智能短信方式，進(jìn)行主動(dòng)推薦。人臉識(shí)別和商品推薦的流程如圖2所示。當(dāng)家庭空間大且有安防需求的用戶進(jìn)廳后，在智慧家居區(qū)域駐留很久，則主動(dòng)將“和目”攝像安防產(chǎn)品的中國移動(dòng)掌上營業(yè)廳地址通過短信發(fā)送給客戶，客戶登錄掌上營業(yè)廳，完成訂購和支付，并自行選擇是當(dāng)前店面提取還是電商郵寄，快速完成購物，提升客戶到廳的購物體驗(yàn)。

4 互聯(lián)網(wǎng)化服務(wù)的應(yīng)用與實(shí)踐

天津移動(dòng)人臉識(shí)別系統(tǒng)目前已處于成熟商用階段， 在客戶服務(wù)上，系統(tǒng)利用人臉識(shí)別技術(shù)重塑了流程機(jī)制，基于客戶身份快速挖掘服務(wù)訴求，平均單次客戶服務(wù)的響應(yīng)時(shí)長從原來的138秒降低到117秒。通過人臉識(shí)別技術(shù)的智慧業(yè)務(wù)推薦系統(tǒng)，極大地提升了到廳客戶感知，總體客戶滿意度提升7.5%?；谌斯ぶ悄芗夹g(shù)賦予的快速識(shí)別-精準(zhǔn)推薦能力，天津移動(dòng)廳店業(yè)務(wù)辦理平均時(shí)長降低到228秒，相比系統(tǒng)應(yīng)用前降低了82秒，極大的節(jié)約了客戶時(shí)間，提升了客戶到廳后的業(yè)務(wù)辦理效率。

5 結(jié)語

本文致力于推動(dòng)中國移動(dòng)的傳統(tǒng)營業(yè)廳服務(wù)模式向基于AI的新模式轉(zhuǎn)變，圍繞“快捷、智能、簡約、高效”的思路，全面推進(jìn)人工智能化轉(zhuǎn)型，打造了人臉識(shí)別系統(tǒng)。其實(shí)現(xiàn)了客戶到廳后的一站式智能體驗(yàn)，無需自主刷臉，而只需進(jìn)廳攝像頭廣角采集全景圖像，就可以實(shí)現(xiàn)人臉抓取，人臉對齊，特征向量轉(zhuǎn)換和人臉識(shí)別。自主研發(fā)了人臉模型，并完全自主服務(wù)器部署和模型優(yōu)化，模型正負(fù)樣本準(zhǔn)確率均超過98%，實(shí)現(xiàn)了到廳客戶身份精準(zhǔn)地“無感式”識(shí)別。

參考文獻(xiàn)

[1] 梁波，郭亮.客戶體驗(yàn)型智能營業(yè)廳創(chuàng)意與實(shí)踐[J].中國電力企業(yè)管理，2017（14）：74-75.

[2] 黃瑛，王建坤.新零售時(shí)代運(yùn)營商實(shí)體營業(yè)廳智慧運(yùn)營模式探索[J].通信企業(yè)管理，2017（6）：34-37.

Research and Application of Intelligent Business Hall

System Based on Face Recognition Technology

LIU Hui-juan1，ZHAO Dong-ming2

（1.Tianjin Broadcasting TV and Film Institute，Tianjin? 300112;

2.China Mobile Communications Group Tianjin Co.， Ltd.， Tianjin? 300020）

Abstract：This paper presents a method of customer face recognition technology for intelligent business hall. Based on high-definition camera and artificial intelligence video processing program， combined with Machine Vision video processing framework， automatic identification of customer arriving at the hall is realized. Convolutional neural network is used to optimize the recognition model continuously. By comparing the set of face feature vectors between the user entering the hall and the user of the base station on the same day， Fast identification of user identity， targeted portraits and labels， light channels of accurate marketing recommendation and potential service intention mining， enhance customer perception. The customer face recognition model is based entirely on Asian face features and uses CMCC user images as data sources. The model has high accuracy and adaptability， which significantly improves business efficiency.

Key words：face recognition;intelligent business hall;convolutional neural network; accurate recommendation