謝國坤 張培培

摘 要：隨著大屏幕在消費(fèi)市場中的普及以及在線和離線視頻資源的豐富，在家中享受動態(tài)的遠(yuǎn)程風(fēng)景已成為一種有趣的應(yīng)用。文章提出了一種5G+AI系統(tǒng)，供用戶交互式地欣賞偏遠(yuǎn)地區(qū)的不同風(fēng)景。該系統(tǒng)了解當(dāng)前環(huán)境，并且遠(yuǎn)程風(fēng)光視頻中的天氣狀況以不同方式與本地環(huán)境相關(guān)聯(lián)，以為用戶帶來自然愉悅的觀看體驗。同時，該系統(tǒng)能夠根據(jù)用戶的位置和視角變換風(fēng)景視頻的布局，使用戶在走動并在屏幕前四處張望時，感覺就像是通過真實的窗戶觀看外面的風(fēng)景。實現(xiàn)了一個由大屏幕和幾個低成本傳感器組成的原型，并進(jìn)行了一系列測試。結(jié)果表明，所提出的系統(tǒng)可以有效改善用戶觀看自然風(fēng)光的體驗，并使過程更加愉悅。該系統(tǒng)適合各種尺寸的屏幕，并且易于安裝，使其成為智能家居中的可擴(kuò)展且易于使用的消費(fèi)類設(shè)備。

關(guān)鍵詞：大屏幕;智能家居;5G+AI系統(tǒng)的虛擬窗口

中圖分類號：TN929.5? 文獻(xiàn)標(biāo)識碼：A ? ? 文章編號：1001-5922（2021）10-0071-05

Research on the Application of “5G+AI”in Smart Home

Xie Guokun， Zhang Peipei

（Xi an Traffic Engineering Institute， Xi an710300， China ）

Abstract：With the popularity of large screens in the consumer market and the abundance of online and offline video resources， enjoying dynamic remote scenery at home has become an interesting application. This paper proposes a 5G+AI system for users to interactively appreciate different scenery in remote areas. The system understands the current environment， and the weather conditions in the remote scenery video are related to the local environment in different ways to bring users a natural and pleasant viewing experience. At the same time， the system can change the layout of the scenery video according to the users location and perspective， so that when the user is walking and looking around in front of the screen， it feels like watching the outside scenery through a real window. A prototype consisting of a large screen and several low-cost sensors was realized， and a series of tests were carried out. The results show that the proposed system can effectively improve users experience of viewing natural scenery and make the process more enjoyable. The system is suitable for screens of various sizes and is easy to install， making it an expandable and easy-to-use consumer device in the smart home.

Key words：large screen; smart home; virtual window of 5G+AI system

0 引言

大屏幕的制造技術(shù)在最近的二十年中發(fā)展迅速。隨著成本的不斷降低，它已成為智能家居中的重要組成部分[1-2]。它有效地增強(qiáng)了日常生活中的各種娛樂和商務(wù)功能，例如電視和電影觀看，游戲，電話會議等[3-4]。隨著風(fēng)景視頻資源的豐富，還可以通過大屏幕欣賞美麗的風(fēng)景，并可以通過房間中的真實窗戶觀看[5-6]。例如，從北京的房間欣賞倫敦泰晤士河的動感風(fēng)光，或者從巴黎觀看悉尼的屈臣氏灣，而不必出國旅行，將是很有趣的。風(fēng)景查看功能將大屏幕變成智能家居中的一扇窗戶，并有效地將本地環(huán)境連接到世界上的偏遠(yuǎn)地區(qū)[7]。

但是，由于以下兩個原因，僅將遠(yuǎn)程風(fēng)景復(fù)制到屏幕上供用戶觀看并不能提供令人滿意的觀看體驗：首先，遙遠(yuǎn)的風(fēng)景與當(dāng)前的本地環(huán)境沒有很好的關(guān)聯(lián)，這意味著屏幕上顯示的內(nèi)容與用戶現(xiàn)實生活中的內(nèi)容完全脫節(jié)，從而導(dǎo)致觀看的不自然感[8-9]。特別是，通常被忽略的天氣條件已被證明對人類的情緒狀態(tài)有很大的影響。例如，如果外面的天氣晴朗，而屏幕上顯示的是陰天的景色，則會給用戶帶來明顯的前后不一的感覺，從而降低了沉浸式的觀看體驗[10]。

為了解決這些問題，本文提出了一種新穎的屏幕系統(tǒng)。與具有簡單的視頻播放功能的普通大屏幕不同，該系統(tǒng)能夠了解當(dāng)?shù)氐漠?dāng)前天氣狀況，并在考慮到用戶的主觀感受和用戶的主觀感受的情況下自動對顯示的風(fēng)景進(jìn)行相應(yīng)的更改。模擬人類在真實窗口前感知到的圖像的轉(zhuǎn)換，從而使用戶可以行走并在屏幕前四處張望，以不同角度欣賞更真實的風(fēng)景。通過將這些功能集成在一起，所提出的系統(tǒng)使大屏幕的風(fēng)景觀看功能更加智能，并在很大程度上改善了用戶體驗。

1 “5G+AI”的智能家居系統(tǒng)

擬議系統(tǒng)的硬件包括兩組設(shè)備：室外設(shè)備和室內(nèi)設(shè)備。室內(nèi)設(shè)備包括一個帶有嵌入式計算單元的大屏幕，用于顯示風(fēng)景視頻和數(shù)據(jù)處理，以及一個紅綠藍(lán)（RGB）攝像頭和一個用于監(jiān)視用戶活動的深度攝像頭。包括電荷耦合器件（CCD）攝像機(jī)和溫度傳感器的戶外設(shè)備用于感測當(dāng)前的天氣狀況并將數(shù)據(jù)傳輸?shù)狡聊弧D1顯示了所提出系統(tǒng)的硬件配置。

所提出的系統(tǒng)的關(guān)鍵特征是使用戶能夠在室內(nèi)欣賞5G+AI系統(tǒng)的遠(yuǎn)程風(fēng)景，并具有通過真實窗口向外觀看的體驗。為了產(chǎn)生通過真實窗戶的感覺，將大屏幕放置在房間的墻壁上，并將處理后的風(fēng)景視頻顯示在屏幕上。為了使其更加逼真，將帶有彩色外部框架和透明內(nèi)部的虛擬窗口圖像疊加到視頻上。選擇框架的顏色以使其與墻壁的顏色完美融合。透明區(qū)域中的視頻部分是可見的，另一部分將被窗框遮擋。

2 “5G+AI”系統(tǒng)的視頻合成

2.1 模式分類

使風(fēng)景視頻“5G+AI”系統(tǒng)的目的是通過提供適當(dāng)?shù)奶鞖鈼l件來滿足用戶的心理需求，這可以促進(jìn)用戶的積極情緒。根據(jù)對人類情感的研究，自然情感和放松情感是人類最重要的兩種積極情感。因此，該系統(tǒng)為用戶提供了兩種欣賞風(fēng)景視頻風(fēng)格的方式：一致方式和放松方式。采用不同的策略來自動合成視頻。放松模式旨在通過為風(fēng)景提供所需的天氣條件來減少用戶因?qū)嶋H環(huán)境的當(dāng)前天氣而帶來的不適感。例如，如果外面下著大雨，將顯示帶有陽光的美麗偏遠(yuǎn)風(fēng)景，使用戶感到愉悅;如果天氣炎熱，外面有強(qiáng)烈的陽光，則會呈現(xiàn)有雨甚至雪景的風(fēng)景，以幫助用戶感到?jīng)鏊?/p>

這兩種不同的模式為用戶提供了觀看遠(yuǎn)程風(fēng)景的不同體驗。在每種模式下，都會分別處理穩(wěn)態(tài)和動態(tài)天氣狀況。接下來，將介紹每種模式下的詳細(xì)處理方案和算法。

2.2 一致模式

為了模擬風(fēng)景視頻中的室外天氣條件，將穩(wěn)態(tài)和動態(tài)天氣條件都從室外環(huán)境的實時視頻傳輸?shù)竭h(yuǎn)程風(fēng)景的實時視頻，實時視頻中的關(guān)鍵幀會定期（每5s）提取一次。風(fēng)景視頻的每一幀（即源視頻），以及實時視頻的最新關(guān)鍵幀（即參考視頻），首先從RGB空間轉(zhuǎn)換為LAB空間。

式（1）中，l、α、β和r、g、b分別代表每個像素在LAB空間和RGB空間中的相應(yīng)分量的值。在LAB空間中，l代表照明信息，α，β分別包含紅色/品紅色和黃色/藍(lán)色的顏色信息。使用LAB空間是因為它可以逼近人類視覺，尤其是人類感知的亮度要比RGB顏色模型好得多，后者只是將紅色，綠色和藍(lán)色相加。式（1）中的M是3×3轉(zhuǎn)換矩陣。然后，計算源視頻幀和參考視頻幀中l(wèi)、α和β分量的均值和標(biāo)準(zhǔn)差。接下來，將目標(biāo)視頻幀的l、α和β計算為：

式（2）中，kt和ks是LAB空間中的目標(biāo)值和源值，、和、分別是源幀和參考幀的計算平均值和標(biāo)準(zhǔn)偏差。

最后，通過乘以式（1）中的M的倒數(shù)，將LAB空間中的值轉(zhuǎn)換回RGB空間，即可獲得合成視頻幀。

3 基于身體位置和視角的視頻轉(zhuǎn)換

為了使觀看過程更加逼真，應(yīng)首先分析人眼中真實的窗戶和風(fēng)景在兩個重要因素方面的轉(zhuǎn)換：身體位置和視角。身體位置pu=（xu，yu，zu）指的是3D空間中用戶頭部的x、y和z坐標(biāo)，其中x和y是平行于窗口的平面上的水平和垂直方向，而z是垂直于窗口的方向。對于視角，考慮用戶面部圍繞用戶頭部的矢狀軸和垂直軸的旋轉(zhuǎn)角度? ? ? ? ? ? ? ? ? ? 。

如圖2（a）所示，當(dāng)zu改變時，感知窗口區(qū)域的寬度的改變可以計算為：

式（3）中，w'和w分別是感知窗口區(qū)域的新寬度和舊寬度。是的變化，而代表人眼的中心視角?？梢钥闯雠c成正比。類似地，高度的變化也與成正比。因此，感知窗口的面積的變化與的平方成正比。

圖2（a）或平行于窗口圖2（b）移動或旋轉(zhuǎn)面部圖2（c）時，感知到的窗口在水平方向上的變化。

當(dāng)用戶在平行于窗口的水平方向上移動時（即xu發(fā)生變化，如圖2（b）所示），感知到的窗口區(qū)域在水平方向上的位置變化等于用戶移動距離，而 感知窗口區(qū)域的寬度保持固定（即）。相同的規(guī)則適用于用戶垂直移動平行于窗口的情況（即，當(dāng)改變時）。

3.1 計算成本

計算視頻處理每個步驟的平均計算時間，結(jié)果如表1所示。對室外天氣條件的分析，包括穩(wěn)定的室外天氣條件的提?。◤腞GB顏色空間到RGB顏色空間的轉(zhuǎn)換）。LAB空間和動態(tài)條件檢測大約需要45ms，并且處理風(fēng)景視頻每一幀的時間總共大約需要23ms。如結(jié)論所述，風(fēng)景視頻的處理與室外實況視頻的處理是分開的，因此，對于30FPS速率的風(fēng)景視頻，可以實時完成計算。

3.2 不同屏幕的最佳觀看范圍

為了在建議的系統(tǒng)中建議用戶運(yùn)動的有效區(qū)域以進(jìn)行風(fēng)景觀看，研究了不同尺寸屏幕的最佳觀看范圍。在此測試中，將投影儀調(diào)整為將不同大小的區(qū)域投影到大屏幕上（如圖3所示）。投影區(qū)域的比例設(shè)置為16∶9，寬度從1.1～4.2m不等。小尺寸對應(yīng)于普通液晶顯示器（LCD）電視的尺寸，大尺寸表示電視墻。要求用戶在室內(nèi)自由行走以觀看風(fēng)景視頻，并記錄他們感到舒適的范圍（從用戶到屏幕的最小和最大距離）。平均結(jié)果如圖3所示。

可以看出，隨著屏幕尺寸的增加，不僅最小和最大觀看距離，而且觀看范圍也會變大。當(dāng)為建議的系統(tǒng)使用不同尺寸的屏幕時，此結(jié)果為設(shè)置有效的觀看范圍提供了參考。

3.3 視頻合成的有效性

首先進(jìn)行客觀測試，以評估穩(wěn)定天氣轉(zhuǎn)移和動態(tài)天氣檢測的算法。為了評估穩(wěn)定天氣轉(zhuǎn)移算法的有效性，計算了室外實時視頻與合成前后的風(fēng)景視頻之間的相似度。為此，將10個原始風(fēng)景視頻及其合成圖像（未添加動態(tài)天氣效果）中的每一個的20個隨機(jī)選擇的幀分別與室外視頻的相應(yīng)參考幀進(jìn)行比較。

為了判斷動態(tài)天氣狀況的檢測是否準(zhǔn)確，在不同天氣條件下的20d測試中，計算了“真陽性（TP）”、“假陽性（FP）”、“真陰性（TN）”和“假陰性（FN）”的數(shù)量?？偣?00次 這些定義的含義及其編號如表2所示。

從表2可以計算出，總精度AC =（TP + TN）/（TP + FP + TN + FN）為0.94，足夠用于判斷動態(tài)天氣狀況。

從以上測試結(jié)果可以看出，天氣檢測和視頻合成算法可以準(zhǔn)確檢測室外天氣并將其傳輸?shù)斤L(fēng)景視頻。這為第四節(jié)中定義的規(guī)則提供了可靠的實現(xiàn)。

接下來進(jìn)行用戶研究。首先要求用戶從真實的窗戶向外看，以清楚了解當(dāng)前的室外天氣狀況，然后以隨機(jī)順序?qū)㈦S機(jī)選擇的視頻及其合成版本顯示在屏幕上。在觀看每個視頻60s后，用戶在0至10間打了一個標(biāo)記，以描述他/她的滿意度。對于一致模式，如果視頻中的天氣似乎與外界天氣完全不一致，則標(biāo)記為0，如果兩者完全匹配，則標(biāo)記為10。對于放松模式，如果視頻在很大程度上緩解了室外天氣條件帶來的負(fù)面情緒，則給出10;如果根本不起作用，則給出0。計算每種模式下的平均值（均值）和標(biāo)準(zhǔn)偏差（std）。

圖5顯示了以一致模式（均值= 8.9，std = 0.4和均值= 3.1，std = 0.3）和松弛模式（均值= 8.6，std = 0.8和均值= 3.8，std = 0.9）。在松弛模式下，結(jié)果的標(biāo)準(zhǔn)偏差似乎更大，因為評估更加主觀。顯然，兩種模式下視頻合成的結(jié)果都好得多，這證明了合成視頻確實給了用戶自然的感覺并有助于促進(jìn)他們的積極情緒。

4 結(jié)論

本文介紹了一種上下文相關(guān)的屏幕系統(tǒng)，該系統(tǒng)允許用戶在移動和環(huán)顧四周時從適當(dāng)?shù)慕嵌刃蕾p遠(yuǎn)程風(fēng)景視頻，并具有通過真實窗口觀看的類似體驗。與普通屏幕的簡單顯示功能不同，此系統(tǒng)中顯示的風(fēng)景視頻與室外的當(dāng)前天氣狀況相關(guān)。通過以兩種不同的模式自動合成視頻，該系統(tǒng)可以通過顯示天氣狀況相似的場景使用戶感到逼真，或者通過呈現(xiàn)天氣狀況不同的場景來幫助減輕他們的負(fù)面情緒。視頻合成和轉(zhuǎn)換的計算速度足夠快，可以實時處理各種風(fēng)景視頻。該系統(tǒng)適用于各種尺寸的屏幕，并且系統(tǒng)中使用的電子傳感器簡單且成本低廉。這使其適用于智能家居中的大屏幕。將來，該系統(tǒng)可以擴(kuò)展為處理和顯示偏遠(yuǎn)地區(qū)的實時視頻。

參考文獻(xiàn)

[1]位恒曦，劉衛(wèi)玲，賀云凱，等.Android平臺i-Jetty服務(wù)器在智能家居中的應(yīng)用研究[J].電子技術(shù)應(yīng)用， 2014（01）：14-16.

[2]蔣科輝，楊慧民，樊小平.基于通用即插即用的服務(wù)監(jiān)控機(jī)器人在智能家居中的應(yīng)用[J].計算機(jī)應(yīng)用研究，2014，31（012）：3637-3641.

[3]Per Lynggaard，Knud Erik Skouby .Deploying 5G-Technologies in Smart City and Smart Home Wireless Sensor Networks with Interferences[J].Wireless Personal Communications，2015，81（4）：1399-1413.

[4]黎艷，盧燕青，張榮.基于eUICC的智能家居認(rèn)證方案[J].電信科學(xué)，2018，034（04）：129-135.

[5]李春燕.國家數(shù)字家庭基地舉辦智能家居應(yīng)用及標(biāo)準(zhǔn)研討會[J].電視技術(shù)，2013（S1）：7-9.

[6]Samrat Vikramaditya Tiwari，Atul Sewaiwar，Yeon-Ho Chung.Color coded multiple access scheme for bidirectional multiuser visible light communications in smart home technologies[J].Optics Communications， 2015，353：1-5.

[7]N.K. Suryadevara，S.C. Mukhopadhyay，R. Wang，et al.Forecasting the behavior of an elderly using wireless sensors data in a smart home[J].Engineering Applications of Artificial Intelligence，2013，26（10）：2641-2652.

[8]Christian Reinisch，MarioJ Kofler，F(xiàn)élix Iglesias，et al.ThinkHome Energy Efficiency in Future Smart Homes[J]. Eurasip Journal on Embedded Systems，2011，2011：1-18.

[9]Ejaz W ，Anpalagan A ，Imran M A，et al.Internet of Things （IoT） in 5G Wireless Communications[J]. IEEE Access，2017，4：10310-10314.