程益聯(lián)
(水利部信息中心,北京 100053)
面向洪水、干旱、水利工程安全運行、水利工程建設(shè)、水資源開發(fā)利用、城鄉(xiāng)供水、節(jié)水、江河湖泊、水土保持和水利監(jiān)督等 10 個方面水利主要工作[1],歸結(jié)起來可總結(jié)形成水資源、水生態(tài)、水環(huán)境、水工程、水災害、水監(jiān)督和水行政等 7 類水利業(yè)務(wù),面向未來智慧水利,均需要不同程度地借助大數(shù)據(jù)及其技術(shù)解決問題。針對不同類型問題,形成各自不同需求。
水資源管理需要動態(tài)掌握水資源及其開發(fā)利用狀況,制定并實施水資源綜合規(guī)劃和水量分配方案,在一定范圍內(nèi)進行水資源統(tǒng)一調(diào)度。水資源管理關(guān)鍵是要能夠及時掌握水資源供需關(guān)系,由于水資源儲備情況相對時空分布多年平均相對穩(wěn)定,那么及時掌握在何時、何地需要多少水資源用于何種用途就成水資源管理關(guān)鍵中的關(guān)鍵。目前,主要取水戶取水情況,通過國家水資源管理系統(tǒng),已經(jīng)能夠較好掌握,但是大量分散取水戶,尤其是地下水取水戶,取水情況還難以掌握,實際用水需求分布情況也不清楚。
水生態(tài)管理需要加強對生產(chǎn)建設(shè)項目和重點治理工程等的監(jiān)管,對人類活動造成水土流失的監(jiān)管,構(gòu)建問責體系,實現(xiàn)山水林田湖草系統(tǒng)的修復和防治。水生態(tài)管理關(guān)鍵是要能夠及時掌握和了解水土流失總體情況,尤其是生產(chǎn)建設(shè)項目和重點治理工程狀況,特別是生產(chǎn)建設(shè)項目的水土保持措施落實情況。目前,雖然已開始利用衛(wèi)星遙感,強化對生產(chǎn)建設(shè)項目的監(jiān)管,但無論是監(jiān)管周期頻次,還是遙感信息處理能力,都不能滿足水土保持監(jiān)管業(yè)務(wù)需要。
水環(huán)境管理需要通過加強水域岸線管理和保護,加強河湖空間管制和涉河建設(shè)項目管理,增強河道采砂監(jiān)督管理,推進重要江河湖泊和河口的開發(fā)、治理、保護。水環(huán)境管理關(guān)鍵是需要快速匯集相關(guān)水利業(yè)務(wù)和政府其他部門相關(guān)業(yè)務(wù)數(shù)據(jù),并基于模型對數(shù)據(jù)進行深度挖掘,實現(xiàn)河湖精準監(jiān)管。目前,開展了部分有益嘗試,但急需實現(xiàn)相關(guān)信息資源共享,并在此基礎(chǔ)上開展智能化應用。
水工程管理需要加快水利基礎(chǔ)設(shè)施網(wǎng)絡(luò)建設(shè),健全水利工程建設(shè)管理體系,加強水利工程的運行管理、保護和綜合利用,確保工程安全運行。水工程管理關(guān)鍵是要快速匯集相關(guān)水利工程不同時期(建設(shè)與管理)、業(yè)務(wù)的數(shù)據(jù),開展工程運行安全評估預警等智能應用,實現(xiàn)水利工程安全運行。目前,大型水利工程管理比較到位,但大量的中小水利工程管理缺失,安全運行得不到保障,小型水庫安全運行管理問題尤為突出。
水災害防御需要通過建立洪水、干旱災害綜合防御體系,開展上下游、左右岸、全時間的聯(lián)合調(diào)度,充分發(fā)揮水工程效益,提高流域和區(qū)域防洪、抗旱能力,保障人民生命財產(chǎn)安全。水災害防御關(guān)鍵是要快速匯集相關(guān)水利業(yè)務(wù)數(shù)據(jù),開展洪水精準預報、洪水聯(lián)合調(diào)度、旱情綜合評估等智能應用。目前,開展了局部區(qū)域洪水預報和水庫群聯(lián)合調(diào)度及單項旱情評估,急需實現(xiàn)全國分布式洪水預報、流域級洪水聯(lián)合調(diào)度和旱情綜合評估。
水監(jiān)督管理需要強化水利社會監(jiān)管,加強水利管理監(jiān)督,督促水利管理工作辦理,整改并實施責任追究,防范和消除風險。水監(jiān)督關(guān)鍵是要匯集所有水利業(yè)務(wù)、其他部門相關(guān)業(yè)務(wù)、相關(guān)企業(yè)和社會互聯(lián)網(wǎng)的數(shù)據(jù),對數(shù)據(jù)進行深度挖掘,開展水利監(jiān)督對象問題線索探測、問題檢查和評估、預測決策等智能應用。目前,水監(jiān)督管理工作剛剛起步,初步建立了工作支撐平臺,急需實現(xiàn)對水監(jiān)督對象信息的匯集與問題發(fā)現(xiàn),開展水監(jiān)督評價與風險評估等工作。
水行政管理需要在提供完善后勤保障基礎(chǔ)上,協(xié)調(diào)和加強水利部各部門、直屬單位之間的業(yè)務(wù)工作關(guān)系及運行管理體制,使水利部各業(yè)務(wù)工作得以有條不紊地持續(xù)開展。水行政管理關(guān)鍵是在明確水利業(yè)務(wù)及其流程基礎(chǔ)上,概化形成流程管理模板,實現(xiàn)固定框架下的流程定制,滿足水利業(yè)務(wù)變化需求。目前,水利部機關(guān)后勤初步開展了信息化工作,各部門、直屬單位之間數(shù)據(jù)共享也已初步形成,但遠未形成業(yè)務(wù)流程明晰,業(yè)務(wù)數(shù)據(jù)充分共享,業(yè)務(wù)數(shù)據(jù)相互印證,業(yè)務(wù)應用有效協(xié)同的智能化水行政管理。
綜上所述,水利工作面對新形勢、新問題,傳統(tǒng)水利信息化雖然解決了一些問題,但是,還有相當一部分的問題僅僅依靠傳統(tǒng)水利信息化手段是難以解決的,必須憑借大數(shù)據(jù)及其技術(shù)才能有效解決。
隨著各種電子化應用有效、穩(wěn)定和持續(xù)地運行,逐步形成了各種各樣的大量數(shù)據(jù)積累,數(shù)據(jù)管理及快速檢索超出了傳統(tǒng)管理能力范圍,數(shù)據(jù)內(nèi)在價值發(fā)現(xiàn)更是難上加難,此時,大數(shù)據(jù)管理及其應用為解決問題打開了另一扇門。
大數(shù)據(jù)及其應用主要有以下 5 個方面的特征或要素:
1)大量。大數(shù)據(jù)計量單位通常采用 PB(250B),EB(260B),ZB(270B),YB(280B),或更大的計量單位。
2)多樣。電子數(shù)據(jù)格式多種多樣,通常分為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)也是多種多樣,如,視頻文件有微軟的 wmv,asf,asx;Real Player 的 rm, rmvb;MPEG 視頻的mp4;手機視頻的 3gp;Apple 視頻的 mov,m4v;其他常見視頻的 avi,dat,mkv,flv,vob 等。
3)低價值密度。正因為大數(shù)據(jù)的數(shù)據(jù)量巨大,隱藏其中的價值雖大,但密度很低,如一段錄有犯罪現(xiàn)場的錄像,可能真正含有的有用信息只有1 幀,按 90 d(通常保留 3 個月)計,價值密度是1/194 400 000。
4)真實。大數(shù)據(jù)應該來源于有效、穩(wěn)定和持續(xù)運行的業(yè)務(wù)應用,是對客觀過程的真實記錄,其中的每一個數(shù)據(jù)都是真實的,如前述的錄像一樣每一幀數(shù)據(jù)都是真實的,但可能沒有價值。
5)高速。大數(shù)據(jù)應用無論是單一事件檢索,還是數(shù)據(jù)分析,都要求有高的處理速度,否則將沒有應用價值。
大數(shù)據(jù)來源主要有以下幾個方面,具體描述如下:
1)監(jiān)測業(yè)務(wù)產(chǎn)生。如,水文監(jiān)測業(yè)務(wù)產(chǎn)生的降水量、蒸發(fā)量、水位、流量、含沙量、土壤墑情和水質(zhì)等數(shù)據(jù);航天航空遙感對地觀測業(yè)務(wù)產(chǎn)生的不同光譜、空間分辨率的遙感影像數(shù)據(jù);攝像設(shè)備對水利工程等關(guān)鍵部位監(jiān)控業(yè)務(wù)產(chǎn)生的視頻數(shù)據(jù);水利工程設(shè)施運行安全觀測業(yè)務(wù)產(chǎn)生的工程形變、內(nèi)部特征等狀態(tài)數(shù)據(jù)。
2)社會管理活動產(chǎn)生和收集。如,河湖管理業(yè)務(wù)產(chǎn)生的范圍、事件等數(shù)據(jù),收集的河長、河流等數(shù)據(jù);取水許可管理業(yè)務(wù)產(chǎn)生的取水許可證、收集的取水戶等數(shù)據(jù);公文流轉(zhuǎn)業(yè)務(wù)產(chǎn)生的文件、審批過程等數(shù)據(jù),收集的人員數(shù)據(jù)等。
3)科學實驗(試驗)產(chǎn)生。如,大型水庫建設(shè)前開展的各種模型實驗(試驗)產(chǎn)生的數(shù)據(jù);專項水科學研究產(chǎn)生的數(shù)據(jù)。
4)其他相關(guān)人類活動記錄。如,移動通信業(yè)務(wù)產(chǎn)生的手機定位數(shù)據(jù);各種即時通信業(yè)務(wù)產(chǎn)生的聊天信息數(shù)據(jù);電力供應業(yè)務(wù)產(chǎn)生的用電數(shù)據(jù);招投標業(yè)務(wù)產(chǎn)生的項目、單位等信息數(shù)據(jù)。
大數(shù)據(jù)應用的主要分析方法可歸納為以下 3 種:
1)聚類分析。選取合適的對象特征指標及其分類,并據(jù)此對大數(shù)據(jù)中所涉及的該類對象進行分類統(tǒng)計,可分析出大數(shù)據(jù)的數(shù)據(jù)構(gòu)成,從而獲得大數(shù)據(jù)中蘊含的內(nèi)部結(jié)構(gòu)及其內(nèi)在規(guī)律,提高對大數(shù)據(jù)所描述的自然和社會結(jié)構(gòu)的認識。
2)關(guān)聯(lián)分析。利用數(shù)據(jù)之間客觀存在的時間、空間和業(yè)務(wù)指標關(guān)系,建立起大數(shù)據(jù)時間分布、空間分布和業(yè)務(wù)指標分布的關(guān)系,從而了解數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,開展不同業(yè)務(wù)數(shù)據(jù)之間的關(guān)聯(lián)應用,為預測預警提供服務(wù)。
3)數(shù)據(jù)可視化。無論是聚類分析成果,還是關(guān)聯(lián)分析成果,都需要對分析成果進行可視化。從某種意義上講,數(shù)據(jù)可視化是大數(shù)據(jù)應用的重要途徑之一。通過數(shù)據(jù)可視化,可理解大數(shù)據(jù)的組成及其內(nèi)在關(guān)系,乃至據(jù)此開展預測預警。
大數(shù)據(jù)應用不同于傳統(tǒng)業(yè)務(wù)應用,主要是通過大數(shù)據(jù)中保有的海量樣本,根據(jù)樣本組成及其關(guān)聯(lián)關(guān)系形成知識圖譜,再通過對大量實時信息的快速處理與知識圖譜應用,形成最接近實際情況的預測,并據(jù)此開展預警,服務(wù)于各業(yè)務(wù)應用。由此看來,大數(shù)據(jù)應用的主要特點是用數(shù)據(jù)說話,形成業(yè)務(wù)應用和數(shù)據(jù)之間的良性互動局面,業(yè)務(wù)應用持續(xù)產(chǎn)生有效數(shù)據(jù)形成數(shù)據(jù)積累,業(yè)務(wù)應用積累的數(shù)據(jù)繼續(xù)推動業(yè)務(wù)應用不斷向前發(fā)展,最終為業(yè)務(wù)應用智能化打下數(shù)據(jù)基礎(chǔ)。
大數(shù)據(jù)在水利中的應用多種多樣,為此針對水利工作面臨的主要問題,分析 13 種典型應用。
目前,受計算能力等方面的限制,建設(shè)的中國洪水預報系統(tǒng)僅能對全國主要江河部分斷面進行洪水預報,還不能夠?qū)崿F(xiàn)對全國大江大河干流、一級支流、重要二級支流的斷面進行洪水快速滾動預報,也無法開展洪水實時演進。通過大數(shù)據(jù)應用構(gòu)建計算和存儲平臺,結(jié)合分布式洪水預報技術(shù),可以構(gòu)建全國分布式洪水預報系統(tǒng),實現(xiàn)對所有預報斷面的連續(xù)滾動預報,全面提升全國洪水預報預警服務(wù)能力。
通過國家防汛抗旱指揮系統(tǒng)工程建設(shè)和長期工作積累,目前抗旱減災應急管理水平有了較大提升,但與“兩個堅持、三個轉(zhuǎn)變”的抗旱減災要求相比仍存在不足,尤其是現(xiàn)有硬件環(huán)境無法支撐基于氣象、水文、墑情和遙感等海量多源實時信息的全國旱情綜合監(jiān)測評估預警。綜合考慮土地利用、土壤類型、灌溉條件、作物類型、物候情況等下墊面因素,利用網(wǎng)格化分布式旱情綜合評估模型,實現(xiàn)全國農(nóng)作物、林木、牧草、重點湖泊濕地生態(tài)和因旱人畜飲水困難的旱情綜合監(jiān)測評估預警,實時監(jiān)測和研判旱情形勢,發(fā)布全國旱情監(jiān)測“一張圖”。
城市內(nèi)澇積水(如下沉式立交橋、低洼小區(qū))監(jiān)測預警歷來是個難題,傳統(tǒng)模式難以精準監(jiān)測。利用大數(shù)據(jù)應用技術(shù),針對城市下沉式立交橋區(qū)積水的監(jiān)測預警,可以利用降水監(jiān)測、手機位置移動、交通事故等大數(shù)據(jù)的綜合分析研判,及時對城市下沉式立交橋區(qū)積水進行監(jiān)測和預警,無需再安裝傳統(tǒng)的水位監(jiān)測設(shè)備;針對低洼小區(qū)積水的監(jiān)測預警,可以利用社交圖片和文字信息及視頻監(jiān)控圖像信息,及時發(fā)現(xiàn)因下雨等造成的積水,從而解決低洼小區(qū)無法監(jiān)測的被動局面。
我國幅員遼闊,河流湖泊眾多,流域面積大于等于 50 km2的河流有 45 203 條,湖泊水面面積大于等于 1 km2的湖泊有 2 865 個,河流長度累計達 150.85 萬 km[2],河湖“四亂”監(jiān)管難度可想而知。構(gòu)建河湖“四亂”樣本庫,利用航天航空遙感影像,采用人工、半自動、人工智能自動識別等方式,以及巡查、詳查、復查和核查等四查工作模式,結(jié)合涉河建設(shè)項目等管理業(yè)務(wù)數(shù)據(jù),進行證據(jù)固定,實現(xiàn)對河流湖泊管理范圍內(nèi)“四亂”問題的快速監(jiān)測和有效治理。
生產(chǎn)建設(shè)項目造成水土流失日益嚴重,已成為我國人為造成水土流失的重要原因。生產(chǎn)建設(shè)項目造成水土流失成因復雜、強度劇烈、危害嚴重,給經(jīng)濟社會可持續(xù)發(fā)展造成長遠且十分嚴重的惡劣影響,其數(shù)量巨大、分布廣泛,對其進行綜合監(jiān)管難度極大。生產(chǎn)建設(shè)項目綜合監(jiān)管需在全國水土保持監(jiān)督管理系統(tǒng)、生產(chǎn)建設(shè)項目水土保持信息化監(jiān)管的基礎(chǔ)上,通過共享政府其他部門建設(shè)項目信息,利用航天遙感,結(jié)合互聯(lián)網(wǎng)輿情、公眾舉報等信息,實現(xiàn)對全國生產(chǎn)建設(shè)項目的有效監(jiān)管。
地下水儲水量變化不僅僅是水資源量變化問題,還是環(huán)境地質(zhì)問題,由于地下水深埋地下,地下水儲水量歷來是個難以弄清的問題,其動態(tài)變化更是難以弄清。通過全面整合各類影響地下水變化的信息資源,包括水文地質(zhì)、水文氣象、環(huán)境、供用水、河道徑流變化、農(nóng)業(yè)灌溉、地下水位監(jiān)測等觀測資料,以及土地利用、地表植被等遙感信息,開展多源、多維、大量、多態(tài)水利數(shù)據(jù)的精細和動態(tài)分析,實現(xiàn)對地下水儲水量的動態(tài)監(jiān)測。
我國灌區(qū)面積超過 0.67 億 hm2[2],作為糧食主產(chǎn)區(qū),也是用水大戶,對用水量動態(tài)監(jiān)測,對做好節(jié)約用水意義重大?;谶b感影像及地面觀測的數(shù)據(jù)構(gòu)建灌區(qū)種植結(jié)構(gòu)、耗水量、作物需水量、作物產(chǎn)量、土壤含水量、實際灌溉面積等灌區(qū)基本特征信息,在此基礎(chǔ)上結(jié)合灌區(qū)基本監(jiān)測信息、用電、人口、城市與農(nóng)村水廠、企業(yè)等數(shù)據(jù),采用大數(shù)據(jù)關(guān)聯(lián)分析算法構(gòu)建用水分析模型,對灌區(qū)的需水、取水、配水、耗水等進行分析,并進一步計算灌區(qū)渠系水、灌溉水的利用系數(shù),平均用水量、產(chǎn)量,以及水分生產(chǎn)率等用水效率和效益指標,從而實現(xiàn)對灌區(qū)用水量的動態(tài)監(jiān)測。
我國水資源時空分布不均,經(jīng)濟社會發(fā)展不平衡,尤其是兩者之間供需矛盾,要求必須加快推進對取用水管理由粗放向節(jié)約集約的根本轉(zhuǎn)變,關(guān)鍵是提高用水效率,為此必須對用水效率進行動態(tài)監(jiān)測。以水利行業(yè)監(jiān)控取水量數(shù)據(jù)為基礎(chǔ),綜合企業(yè)用水戶生產(chǎn)經(jīng)營、農(nóng)作物播種與長勢、水文氣象監(jiān)測、灌溉機井用電、城鎮(zhèn)人口位置等數(shù)據(jù),進行用水行為標簽管理并開展動態(tài)分析,生成基于大數(shù)據(jù)的重點用水戶用水量及效率,以及區(qū)域用水總量及效率,服務(wù)于水資源節(jié)約集約利用,加強用水管理。
我國特定自然地理條件決定水資源時空分布不均,水資源分布與土地、社會、經(jīng)濟等分布不匹配,十六字治水思路中的“空間均衡、系統(tǒng)治理”就是要求社會和經(jīng)濟發(fā)展要根據(jù)可開發(fā)利用水資源量,合理確定結(jié)構(gòu)和規(guī)模,在節(jié)約集約基礎(chǔ)上,加強水資源優(yōu)化配置和科學調(diào)度,確保經(jīng)濟社會發(fā)展不超出水資源承載能力,關(guān)鍵是提高水資源供需情勢研判能力。利用區(qū)域社會經(jīng)濟動態(tài)信息,綜合多源、多尺度嵌套的氣候及氣象監(jiān)測與預測預報信息,基于全國水資源供用關(guān)系知識圖譜,進行水資源配置分析計算,動態(tài)研判全國水資源供需情勢。
我國河流湖泊眾多,水面面積大且分布范圍廣泛,近年來,受生產(chǎn)生活等眾多因素影響,藍藻水華事件時有發(fā)生且呈逐年上升趨勢,處理這一事件的關(guān)鍵是對其進行及時有效的監(jiān)測和精準預測預報。利用歷年水質(zhì)(氮、磷含量)監(jiān)測、水文氣象、工農(nóng)業(yè)生產(chǎn)等大數(shù)據(jù),構(gòu)建大數(shù)據(jù)藍藻分析預測模型,實現(xiàn)對當年藍藻水華事件的精準預測。
全國水利建設(shè)市場主體數(shù)量快速增長,對水利政務(wù)服務(wù)和監(jiān)管能力提出了新挑戰(zhàn),尤其是對新進入全國水利建設(shè)市場主體的信用評價問題,關(guān)鍵在于對相關(guān)市場主體及其法人的信用評價。通過共享水利內(nèi)外 2 個建設(shè)市場主體信用信息,充分利用金融、社保、醫(yī)保等個人信用信息,形成全方位、無死角的信用評價體系,真正實現(xiàn)“激勵誠信、懲戒失信”良性發(fā)展的水利市場主體信用評價體系。
我國小型水庫數(shù)量大、分布廣、標準低、質(zhì)量差、管理難,是當前洪水防御安全保障短板中的短板,傳統(tǒng)模式投資大、管理難、效益差,解決這一問題的關(guān)鍵是提高小型水庫防洪安全的遠程診斷。利用航天遙感監(jiān)測流域前期土壤含水量、庫區(qū)水體情況,利用雷達及時監(jiān)測小型水庫流域降雨及短臨降水預報,綜合地面觀測技術(shù),構(gòu)建天地一體化的觀測體系,遠程開展小型水庫洪水風險預測和安全診斷,使小型水庫防洪關(guān)口前移。
我國農(nóng)村供水工程數(shù)量大、分布廣,存在的主要問題是供水范圍和受益對象不清,應急處置能力不足,解決問題的關(guān)鍵是及時獲取受益人口變化、相關(guān)突發(fā)事件及應急處置等相關(guān)信息。根據(jù)農(nóng)村供水工程位置,利用手機位置、社交等信息動態(tài)獲取供水范圍和受益人口,利用呼叫中心、網(wǎng)上輿情(污染事件、投訴舉報等)及時獲得相關(guān)突發(fā)事件,并根據(jù)衛(wèi)生、交通等數(shù)據(jù)制定有效處置方案,同時,利用微信、新聞評論、BBS 論壇、博客、播客、微博、跟帖及轉(zhuǎn)帖等大數(shù)據(jù),對涉及農(nóng)村飲水安全的有關(guān)內(nèi)容進行監(jiān)測。
本研究僅提出在大數(shù)據(jù)條件下如何利用大數(shù)據(jù)快速處理、綜合和關(guān)聯(lián)分析等能力解決傳統(tǒng)方式難以解決水利應用問題的方向和思路,遠沒有達到可具體應用的程度,每個方面都還需要進行深入研究,形成具體可實用的技術(shù)方法,并在實際工作中不斷豐富和完善。大數(shù)據(jù)及其在水利工作中的應用,將長期處于發(fā)展之中,應與時俱進,不斷研究新情況,發(fā)現(xiàn)新問題,提出新方法,不斷提升大數(shù)據(jù)在水利行業(yè)的應用水平,提高大數(shù)據(jù)在水利行業(yè)的應用能力。
文中許多結(jié)論是參與智慧水利總體方案編制和水利大數(shù)據(jù)中心可行性研究等有關(guān)工作的相關(guān)領(lǐng)導和同事共同研究成果,在此對他們的辛勤勞動和無私奉獻表示由衷的感謝和敬意。