中國移動蘇州研發(fā)中心|程廣兵

近年來，國內(nèi)外各大公司在問答系統(tǒng)領(lǐng)域的激烈競爭從側(cè)面印證了問答系統(tǒng)蘊涵的龐大商機。

智能問答系統(tǒng)是融合了自然語言處理技術(shù)和信息檢索技術(shù)的人工智能產(chǎn)品。根據(jù)目標(biāo)的不同，智能問答系統(tǒng)被分為開放領(lǐng)域與限定領(lǐng)域兩類。本文介紹了限定領(lǐng)域的智能客服系統(tǒng)的算法結(jié)構(gòu)，概述了架構(gòu)中每個模塊的功能。文章在最后簡單介紹了本文作者參與開發(fā)的智能問答系統(tǒng)應(yīng)用案例的解決方案。

隨著互聯(lián)網(wǎng)的快速發(fā)展和個人計算機的廣泛普及，越來越多的消息和數(shù)據(jù)通過超文本傳輸協(xié)議以電子文檔的形式發(fā)布。于是，用戶可以通過互聯(lián)網(wǎng)這種更加便捷的途徑獲取他們所需要的各類信息，與此同時，海量的數(shù)據(jù)資源匯聚在一起形成了信息大爆炸。如何準(zhǔn)確并及時地在浩如煙海的信息世界中獲取用戶所需的信息，已經(jīng)成為互聯(lián)網(wǎng)發(fā)展至今的一大難題。信息檢索技術(shù)就是解決這一難題的有效技術(shù)。

智能問答系統(tǒng)應(yīng)用而生

搜索引擎技術(shù)作為一種成熟的信息檢索技術(shù)，可以滿足用戶絕大部分的信息需求。但是，隨著互聯(lián)網(wǎng)數(shù)據(jù)的瘋狂增長，搜索引擎的缺點逐漸顯現(xiàn)。百度、谷歌、必應(yīng)這類傳統(tǒng)的搜索引擎，通常只能以關(guān)鍵詞作為輸入。而用戶在檢索信息時，需要將其查詢凝練為若干簡潔的關(guān)鍵詞后提交給搜索引擎。對于普通用戶而言，他們往往難以用少量的關(guān)鍵詞來準(zhǔn)確地表述其查詢意圖。此外，搜索引擎的返回結(jié)果不是一個簡潔的準(zhǔn)確答案，而是一個網(wǎng)頁片段的列表。這些網(wǎng)頁片段通常含有大量的噪聲數(shù)據(jù)，用戶仍然需要閱讀這些網(wǎng)頁片段乃至相應(yīng)的原始網(wǎng)頁，才能找到其所需的答案。

為了改善信息檢索的用戶體驗，人們開始研究直接以自然語言作為輸入與輸出的問答系統(tǒng)，用戶能夠以文本或者語音的方式，使用自然語言直接地表達其查詢需求。問答系統(tǒng)理解用戶的查詢意圖后，通過一系列的檢索、分析與處理，直接將以自然語言形式表述的準(zhǔn)確答案返回給用戶。因此，對用戶來說，問答系統(tǒng)是一種更加方便、友好和精準(zhǔn)的服務(wù)。

對于有人工客服的企業(yè)來說，問答系統(tǒng)可以為他們節(jié)約大量的人力，且問答系統(tǒng)更加穩(wěn)定和高效。例如中國移動的傳統(tǒng)客戶服務(wù)方式包括10086的轉(zhuǎn)人工服務(wù)、營業(yè)廳人工服務(wù)窗口等渠道，這些服務(wù)方式存在通訊費、培訓(xùn)費、人工資源等成本，且會受到時間（無法提供 24 小時服務(wù)）、場地（集中的客服辦公場所）等條件的制約。隨著企業(yè)客戶量的增長，龐大的咨詢需求往往讓客服團隊不堪重負(fù)。因此，在企業(yè)現(xiàn)代化、信息化、智能化發(fā)展的浪潮下，智能問答系統(tǒng)應(yīng)運而生。

圖 1 智能客服系統(tǒng)算法架構(gòu)

近年來，國內(nèi)外各大公司在問答系統(tǒng)領(lǐng)域的激烈競爭也從側(cè)面印證了問答系統(tǒng)蘊涵的龐大商機：在通用領(lǐng)域蘋果推出了Siri，微軟推出了小冰和小娜，百度推出了小度。同時在限定領(lǐng)域的智能客服系統(tǒng)中有京東的JIMI機器人可以提供用戶基本查詢和聊天服務(wù)。阿里巴巴集團也在2015年推出了一款人工智能購物助理虛擬機器人，并取名“阿里小蜜”。據(jù)了解,阿里小蜜是一個無線端多領(lǐng)域私人助理，依托于客戶真實的需求，通過“智能+人工”的方式提供客戶極致的購物體驗服務(wù)，提升客戶留存并創(chuàng)造價值。另外專注于智能客服領(lǐng)域的企業(yè)小I機器人也為很多大的企業(yè)定制了客服機器人。

本文主要介紹限定領(lǐng)域的智能客服系統(tǒng)的一般架構(gòu)、涉及的技術(shù)，最后介紹中國移動蘇州研發(fā)中心自主研發(fā)的智能客服系統(tǒng)“知了”及應(yīng)用案例。

智能客服系統(tǒng)算法架構(gòu)

智能客服系統(tǒng)一般分為知識庫梳理、問題理解、問題檢索三大模塊。系統(tǒng)整體的功能結(jié)構(gòu)如圖1所示。知識庫梳理主要由知識庫管理、知識維度、問答歷史以及詞類管理四個子模塊組成。問題理解主要分為預(yù)處理、會話管理以及后處理三個部分，預(yù)處理部分主要有智能分詞、實體識別兩個子模塊組成，后處理主要設(shè)置了智能糾錯模塊。目前問題檢索部分這里沒有細(xì)化，根據(jù)開發(fā)者使用的技術(shù)不同而不同，這部分在下一章會著重介紹目前主流的幾種技術(shù)。主要為基于深度學(xué)習(xí)的問答系統(tǒng)、基于知識圖譜的問答系統(tǒng)和基于統(tǒng)計學(xué)習(xí)的問答系統(tǒng)。

知識庫構(gòu)建

本部分所述限定領(lǐng)域智能問答系統(tǒng)的知識庫有兩種類型的知識源，第一種是根據(jù)FAQ形式組織好的常見問題集合，能夠直接使用的知識源；第二種是由知識圖譜構(gòu)建的知識庫。這里主要針對第一種構(gòu)建第一種形式的知識庫進行介紹，構(gòu)建第二種知識庫在下一章節(jié)再做介紹。知識庫構(gòu)建是智能答系統(tǒng)的預(yù)處理階段，知識庫的好壞將直接影響算法模型的效率以及準(zhǔn)確率。

（1）知識庫管理

知識庫是智能問答系統(tǒng)的知識中樞，由分類、實例、屬性、標(biāo)準(zhǔn)問題、擴展問題、標(biāo)準(zhǔn)答案組成。其中分類是標(biāo)注人員或客戶預(yù)先對知識庫的各個問答對標(biāo)注的分類信息，實例是指一個針對同一答案的不問問法的集合，屬性是另一種分類信息，如移動營業(yè)廳中“和游戲”有：介紹、資費、辦理以及退訂等屬性。標(biāo)準(zhǔn)問題和標(biāo)準(zhǔn)答案是指客戶給出的常用知識問答對，擴展問題是指標(biāo)注人員針對同一標(biāo)注答案提供不同問法。

（2）知識維度

知識維度模塊通過定義不同維度，對知識進行分類組織。例如可以有聊天庫、機器人相關(guān)信息庫、專業(yè)知識庫。用戶也可以根據(jù)需要自定義用戶庫。

（3）詞類管理

詞類管理模塊實現(xiàn)對業(yè)務(wù)關(guān)鍵詞、近義詞、敏感詞、前后綴和拼音詞的符理。特定領(lǐng)域內(nèi)部有許多領(lǐng)域內(nèi)術(shù)語，詞類管理通過人工手動添加的方式，增加詞類信息。

（4）問答歷史

問答歷史模塊記錄所有用戶跟智能機器人的聊天記錄，基于此可以重點關(guān)注未解決問題，分析、改進智能機器人的智能化程度?；谟脩糁镜耐扑]系統(tǒng)以及搜索引擎檢索優(yōu)化的成功應(yīng)用體現(xiàn)了用戶日志的重要性，高效、準(zhǔn)確地記錄和管理問答歷史是提高智能機器人的重要過程。

問題理解

問題理解是指通過自然語言技術(shù)，將用戶輸入的查詢語句所表達的意圖轉(zhuǎn)換到智能問答系統(tǒng)能夠識別、理解的語義結(jié)構(gòu)。本文所述智能問答系統(tǒng)中，問題理解功能主要依靠三個子模塊完成。預(yù)處理模塊將用戶輸入的查詢語句通過智能分詞、命名實體標(biāo)注等方法轉(zhuǎn)換為關(guān)鍵字、詞序列。會話管理模塊明確用戶提出的問題，本文所述智能問答系統(tǒng)通過會話管理模塊幫助表述不清自己意圖的用戶明確目的。后處理模塊依靠糾錯算法模型，允許用戶輸入拼寫、表述有誤的查詢語句并返回正確結(jié)果。

（1）預(yù)處理

預(yù)處理階段是指用戶輸入查詢語句后，系統(tǒng)處理用戶查詢語句的模塊，包括智能分詞與命名實體識別兩個階段。第一階段：智能分詞，用戶輸入的檢索語句是未經(jīng)過分詞的語句，將檢索語句準(zhǔn)確分詞是之后所有算法能夠正確實施的基本保障，分詞時將詞類管理中生成的特殊詞以及詞組添加入分詞詞典，并保持更新。第二階段：實體識別，命名實體識別模塊主要負(fù)責(zé)將語句中的人名、地名、機構(gòu)名以及事先標(biāo)注好的實體名識別出，并加以特殊標(biāo)記。

（2）會話管理

會話管理中緩存了每個用戶一定數(shù)量的歷史聊天記錄，當(dāng)檢索不到用戶答案時，通過度量問答上下文，判斷用戶是否表意不清，反問用戶是否想要咨詢另一問題。會話管理模塊見圖2。

圖 2 會話管理模塊流程圖

（3）后處理

后處理模塊主要由智能糾錯模塊構(gòu)成。智能糾錯模塊由拼音糾錯和拼寫糾錯兩個子模塊組成。其中，拼音糾錯模塊主要用于糾正輸入檢索詞中的輸入法錯誤、含有拼音輸入、以及口音等錯誤，模塊使用注音程序?qū)⒂?xùn)練語料注音，通過拼音語料訓(xùn)練語言模型，將語言模型置信度較小的檢索詞替換為置信度較大的檢索詞，達到糾錯目的。拼寫糾錯模塊主要用于糾正輸入的字形誤差，在拼音正確的前提下，使用拼寫糾錯模塊能夠提高智能問答系統(tǒng)的回答準(zhǔn)確率。會話管理模塊見圖3。

問題檢索

問題檢索模塊是指處理完用戶輸入后，系統(tǒng)提供根據(jù)用戶提出的問題進行查詢以及排序并返回結(jié)果的過程。具體的技術(shù)細(xì)節(jié)在下一章節(jié)進行介紹。

知了智能問答機器人

中國移動蘇州研發(fā)中心作為中國移動的全資子公司，是中國移動研發(fā)布局的重要一環(huán)，職責(zé)定位主要包括：集團客戶產(chǎn)品、云計算及大數(shù)據(jù)平臺、IT應(yīng)用產(chǎn)品（網(wǎng)管、BOSS等）研發(fā)和運營支撐。因此面對集團公司對智能客服的需求，蘇研自己研發(fā)了一款智能客服機器人“知了”。

知了是一款可以接入微信、網(wǎng)頁等的智能問答系統(tǒng)，通過領(lǐng)先的語義理解和自然語言處理技術(shù)，實現(xiàn)企業(yè)級機器人的智能對話、個性化聊天。能夠滿足企業(yè)級知識智能獲取、互聯(lián)網(wǎng)產(chǎn)品智能客服、基于日志的智能運維以及智能聊天，從而有效降低企業(yè)服務(wù)型部門的人工成本，有效減少產(chǎn)品運營和運維成本。

知了智能問答產(chǎn)品主要服務(wù)內(nèi)容包括：

●管理平臺

●為業(yè)務(wù)人員提供知識管理平臺

●多租戶管理制，可提供企業(yè)管理賬號和子賬戶

●知識批量導(dǎo)入，細(xì)致化管理

●未知問題智能學(xué)習(xí)

●數(shù)據(jù)監(jiān)控分析

●個性化服務(wù)設(shè)置

●智能服務(wù)引擎（AI）

大云知了產(chǎn)品基于盤古分詞庫和先進的語義分析引擎技術(shù)作為支撐，為用戶提供國內(nèi)先進的人工智能服務(wù)，涉及的技術(shù)包括短文本分析、語義語法分析、詞向量技術(shù)、深度學(xué)習(xí)等。

●知識庫

強大的百度百科知識庫、聊天庫來支撐用戶的提問需求；

面向企業(yè)的企業(yè)知識庫，支持企業(yè)智能知識獲??；

面向互聯(lián)網(wǎng)產(chǎn)品知識庫，助力產(chǎn)品智能運營客服；

基于日志的日志知識庫，助力智能運維。

●多渠道對接

網(wǎng)頁端，手機網(wǎng)頁，微信端，APP端，并支持第三方集成和對接。

圖3 會話管理模塊流程圖

知了智能問答機器人的典型場景有以下三部分。

●典型場景（一）：企業(yè)內(nèi)部服務(wù)咨詢

通過批量添加企業(yè)內(nèi)部服務(wù)知識，自動為員工提供咨詢服務(wù)，解放企事業(yè)單位內(nèi)部行政、人事、財務(wù)等部門被所有員工重復(fù)咨詢的工作時間，提高服務(wù)部門的工作效率，減少人力運營成本。

●典型場景（二）：企業(yè)運營小助手

整理互聯(lián)網(wǎng)產(chǎn)品知識，形成產(chǎn)品知識庫，為互聯(lián)網(wǎng)產(chǎn)品提供智能機器人客服，在售前售后提供智能客服服務(wù)，減少產(chǎn)品人工運營成本。

●典型場景（三）：日志智能運維

自動學(xué)習(xí)系統(tǒng)日志信息，從日志信息中發(fā)現(xiàn)問題與解決方案，整理成知識，實現(xiàn)日志智能運維，提供基于日志的智能運維服務(wù)。

編輯｜王熙 wangxi@bjxintong.com.cn