近日，上海交通大學(xué)本科校友、美國馬里蘭大學(xué)博士生劉睿和所在團隊，提出了一種適用于機器人輔助喂食的視覺模仿學(xué)習(xí)方法。

該方法可以有效處理多樣化的碗配置和食物類型，即使存在干擾物的情況下也表現(xiàn)出良好的適應(yīng)性和魯棒性。

通過在真實機器人上開展實驗，驗證了本次方法的有效性，模型的成功度量指標(biāo)最高提高2.5倍。

通過此，他們展示了機器人輔助喂食領(lǐng)域的創(chuàng)新性進展，也展示了在模仿學(xué)習(xí)和視覺感知方面的應(yīng)用，為機器人技術(shù)發(fā)展提供了新的參考。

作為一款輔助喂食型機器人，該機器人能應(yīng)對不同的喂食場景，包括不同容器、不同大小，不同屬性的食物，并能滿足用戶的不同偏好。

同時， 它能被用于個人家庭、醫(yī)院、養(yǎng)老院等。預(yù)計機器人有潛力徹底改變輔助服務(wù)，包括幫人做家務(wù)、輔助喂食、復(fù)健等。

其預(yù)計將能實現(xiàn)以下三大場景：

其一，服務(wù)于具有特殊需求的群體。

對于身體殘障人士、老年人和行動不便人群，可以通過喂食機器人獲得自主性和獨立性

其二，服務(wù)于醫(yī)療應(yīng)用的場景。

在醫(yī)院和康復(fù)中心，喂食機器人可以幫助醫(yī)護人員減輕工作負(fù)擔(dān)，提高患者的營養(yǎng)攝入。它可以精確控制食物分配，定時提醒患者進食，并記錄攝入量以供醫(yī)生評估。

其三，可用于兒童保育場景。

在托兒所和幼兒園，喂食機器人可以幫助保育員更有效地管理多個孩子的飲食，確保他們獲得充足的營養(yǎng)，同時降低過度依賴人工喂養(yǎng)的負(fù)擔(dān)。

超數(shù)百萬成年人需要援助才能實現(xiàn)獨立飲食

預(yù)計到2050年，60歲及以上的人口數(shù)量將增加一倍，全世界的醫(yī)療保健系統(tǒng)和社會服務(wù)必須適應(yīng)人口老齡化。

隨著人口老齡化，老年人和殘疾人輔助喂食的需求變得越來越迫切。目前，有超數(shù)百萬成年人需要援助才能實現(xiàn)獨立飲食，這直接影響他們的自尊和生活質(zhì)量。

不幸的是，由于醫(yī)護人員短缺和服務(wù)成本高昂，導(dǎo)致難以為所有有需要的人提供護理。

而輔助喂食機器人可以有效減輕醫(yī)療保健系統(tǒng)的壓力，特別是在醫(yī)護人員短缺的情況下。

目前，市面上已有的輔助喂食機器人，主要依賴于預(yù)編程的啟發(fā)式方法，無法處理具有不同質(zhì)地、幾何形狀、變形特性的食物。

基于此，課題組打算開發(fā)一款新型輔助喂食機器人，他們希望該機器人能學(xué)習(xí)并適應(yīng)各種不同的容器（碗、盤子）和不同的食物類型，最終改善需要輔助喂食的老年人和殘疾人的生活質(zhì)量。

即使存在干擾物，仍能保持性能

在本次項目之中，該團隊的重點目標(biāo)是實現(xiàn)輔助喂食功能。其中，裝有叉子或勺子的機械臂，可以叉取或舀取一部分的食物，并將其轉(zhuǎn)移到使用者的嘴中。

也就是說他們要開發(fā)一種機器人喂食系統(tǒng)，利用深度學(xué)習(xí)技術(shù)、并建立新穎的感知策略和學(xué)習(xí)策略，從而該系統(tǒng)可以處理多種食物，并能提供個性化幫助。

課題組希望實現(xiàn)的是：當(dāng)機器人遇到看不見的食物時，可以利用人工智能工具（例如ChatGPT）來獲取先驗知識，并通過模仿學(xué)習(xí)或強化學(xué)習(xí)的方式，使其能夠?qū)崿F(xiàn)成功喂食。

這是一種持續(xù)的學(xué)習(xí)過程，并且可以在機器人和食物之間進行轉(zhuǎn)移。

例如，如果機器人系統(tǒng)已經(jīng)接受過西蘭花的訓(xùn)練，但是沒有接受過花椰菜的訓(xùn)練，那么考慮到這兩種食物在屬性上的相似之處，它就應(yīng)該傳輸應(yīng)對這兩種食物的知識。

這就需要整合感知（認(rèn)識到盤子上的東西是花椰菜）、語義理解（認(rèn)識到花椰菜和西蘭花具有相似的物理特征，因此學(xué)習(xí)可以遷移）、運動規(guī)劃（用叉子將花椰菜叉起來）。

與此同時，該團隊希望可以讓機器人從一小部分人類演示的數(shù)據(jù)中掌握控制策略，然后將知識轉(zhuǎn)移到之前沒有見過的食品上，從而避免收集大量人工數(shù)據(jù)帶來的成本。

研究中，如何獲取食物、如何檢測用戶位置、如何根據(jù)用戶的偏好和指令做出不同響應(yīng)、如何安全地將食物轉(zhuǎn)移到使用者口中，都是該團隊要考慮的問題。

而在本次項目之中，他們更加關(guān)注如何獲取食物。因此，如何使機器人能從不同材質(zhì)、不同大小、不同位置的碗中舀取，包括顆粒狀、半固態(tài)和液態(tài)在內(nèi)的各種食物類型，并且即使在存在干擾物的情況下也能保持魯棒性和適應(yīng)性，是課題組的主要研究目標(biāo)。

為此，他們設(shè)計了一款名為自適應(yīng)視覺模仿學(xué)習(xí)（AVIL）的框架，并開發(fā)了空間注意力模塊。

AVIL框架是一個綜合型智能控制系統(tǒng)，能用于實現(xiàn)輔助喂食機器人的自適應(yīng)和智能化。

而空間注意力模塊，則是AVIL框架中的一個重要組成部分。它通過對環(huán)境進行感知和理解，實現(xiàn)對于碗和食物的精準(zhǔn)識別和精準(zhǔn)處理。

空間注意力模塊能以動態(tài)的方式，調(diào)整圖像中不同區(qū)域的比重，從而讓模型可以集中注意于感興趣的區(qū)域（即碗和食物的位置）。

這樣一來，模型就可以準(zhǔn)確地舀取位于不同位置、不同大小的碗中食物，并且可以抵抗其他物體的干擾，從而提高模型的魯棒性。

研究中，他們還采用了一種名為行為克隆的模仿學(xué)習(xí)算法，將輸入的RGB圖像和機器人的關(guān)節(jié)位置，映射到相應(yīng)的機器人控制動作。

而在數(shù)據(jù)收集和模型訓(xùn)練階段，課題組通過kinesthetic teaching（即人類操作員引導(dǎo)機器人模仿舀取動作）收集數(shù)據(jù)，并記錄RGB圖像和機器人關(guān)節(jié)位置，從而用于訓(xùn)練模型。

上述這些數(shù)據(jù)包括機器人在不同環(huán)境下的操作過程、碗和食物的特征、以及人類專家的行為示范等。

完成數(shù)據(jù)收集之后，他們針對模型開展訓(xùn)練，以便讓機器人運動軌跡和人類專家運動軌跡之間的誤差達到最小，從而讓機器人可以模仿人類專家的行為。

訓(xùn)練過程中，他們不斷地調(diào)整網(wǎng)絡(luò)參數(shù)，以此來提高模型的準(zhǔn)確性和魯棒性。

完成模型訓(xùn)練之后，該團隊又在一款名為“UR5”的真實機器人上進行實驗，以驗證本次方法的有效性。

其間，他們測試了不同材質(zhì)、不同大小、不同位置的碗，也測試了不同類型的食物包括顆粒狀谷物、半固態(tài)果凍和液態(tài)水。

為進一步驗證AVIL的有效性，課題組設(shè)計了一個Baseline的方法進行比較。

Baseline方法使用RetinaNet算法（一種深度學(xué)習(xí)檢測算法）來進行碗的檢測，并能計算碗的中心點，然后指導(dǎo)機器人移動到該位置進行舀取。

實驗結(jié)果表明：AVIL在不同碗配置、不同食物類型、不同碗位置的性能比較之中，都比Baseline表現(xiàn)更佳。

值得一提的是，即使在沒有直接訓(xùn)練的情況下，即零樣本泛化情況之下，AVIL只在一個盛有顆粒狀谷物的透明玻璃碗的數(shù)據(jù)上接受了訓(xùn)練，但它卻展示了針對不同大小的塑料碗、和不同食物類型的有效性能。

此外，他們還模擬了存在干擾物的情況，以此來測試本次模型的魯棒性和適應(yīng)性。

結(jié)果發(fā)現(xiàn)：對干擾物AVIL同樣表現(xiàn)出較好的魯棒性，即使存在干擾物的情況下也能保持性能。

最終，相關(guān)論文以《機器人輔助喂養(yǎng)的自適應(yīng)視覺模仿學(xué)習(xí)在不同的碗配置和食物類型》為題發(fā)表。

劉睿、阿米沙·巴斯卡、普拉塔普·托克卡爾是共同作者。

據(jù)介紹，本次研究僅僅關(guān)注于如何獲取食物。下一步，該團隊將研究如何將食物安全地送入使用者口中。

此外，其還計劃提升該系統(tǒng)的用戶友好度，以滿足不同用戶的偏好，并計劃通過合作方式，將視覺模仿網(wǎng)絡(luò)與其他類型的機器人加以集成，從而擴展其應(yīng)用范圍。

此外， 課題組還將進一步優(yōu)化本次模型，使其能夠處理更復(fù)雜的喂食場景。 （綜合整理報道）（策劃/萊西）