借助 WHIRL，機(jī)器人學(xué)會(huì)了如何完成 20 多項(xiàng)任務(wù)——從打開(kāi)和關(guān)閉電器、櫥柜門和抽屜，到蓋上鍋蓋、推入椅子，甚至從垃圾箱中取出垃圾袋。

導(dǎo)語(yǔ)：一個(gè)新機(jī)器人系統(tǒng)Shikhar Bahl，可以直接從視頻中學(xué)習(xí)人們的行為，概括行為內(nèi)容，并從中學(xué)習(xí)，使得機(jī)器人能很高效的學(xué)習(xí)如何做家務(wù)。

資料來(lái)源：卡內(nèi)基梅隆大學(xué)

機(jī)器人看著 Shikhar Bahl 打開(kāi)冰箱門。它記錄了他的動(dòng)作、門的擺動(dòng)、冰箱的位置等等，分析這些數(shù)據(jù)并準(zhǔn)備好模仿 Bahl 的所作所為。

起初它失敗了，有時(shí)完全錯(cuò)過(guò)了手柄，在錯(cuò)誤的位置抓住它或不正確地拉動(dòng)它。但經(jīng)過(guò)幾個(gè)小時(shí)的練習(xí)，機(jī)器人成功打開(kāi)了門。

“模仿是一種很好的學(xué)習(xí)方式，”博士 Bahl 說(shuō)�？▋�(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)學(xué)院機(jī)器人研究所 (RI) 的學(xué)生�！白寵C(jī)器人真正從直接觀察人類中學(xué)習(xí)仍然是該領(lǐng)域未解決的問(wèn)題，但這項(xiàng)工作在實(shí)現(xiàn)這種能力方面邁出了重要的一步。”

Bahl 與 RI 的教員 Deepak Pathak 和 Abhinav Gupta 合作，開(kāi)發(fā)了一種新的機(jī)器人學(xué)習(xí)方法，稱為 WHIRL，是野外人類模仿機(jī)器人學(xué)習(xí)的縮寫(xiě)。WHIRL 是一種用于一次性視覺(jué)模仿的有效算法。它可以直接從人機(jī)交互視頻中學(xué)習(xí)，并將該信息推廣到新任務(wù)，使機(jī)器人非常適合學(xué)習(xí)家務(wù)。

人們經(jīng)常在家中執(zhí)行各種任務(wù)。借助 WHIRL，機(jī)器人可以觀察這些任務(wù)并收集所需的視頻數(shù)據(jù)，最終確定如何自行完成工作。

該團(tuán)隊(duì)為現(xiàn)成的機(jī)器人添加了攝像頭及其軟件，它學(xué)會(huì)了如何完成 20 多項(xiàng)任務(wù)——從打開(kāi)和關(guān)閉電器、櫥柜門和抽屜到蓋上鍋蓋、推椅子甚至從垃圾箱里拿出一個(gè)垃圾袋。每次，機(jī)器人都會(huì)看著一個(gè)人完成一次任務(wù)，然后開(kāi)始練習(xí)和學(xué)習(xí)自己完成任務(wù)。

該團(tuán)隊(duì)本月在紐約舉行的機(jī)器人：科學(xué)與系統(tǒng)會(huì)議上介紹了他們的研究。

“這項(xiàng)工作提供了一種將機(jī)器人帶入家中的方法，”RI 的助理教授和團(tuán)隊(duì)成員 Pathak 說(shuō)。

“無(wú)需等待機(jī)器人被編程或訓(xùn)練成功完成不同的任務(wù)，然后再將它們部署到人們的家中，這項(xiàng)技術(shù)使我們能夠部署機(jī)器人并讓它們學(xué)習(xí)如何完成任務(wù)，同時(shí)適應(yīng)它們的環(huán)境并單獨(dú)改進(jìn)通過(guò)觀看。”

當(dāng)前教授機(jī)器人任務(wù)的方法通常依賴于模仿或強(qiáng)化學(xué)習(xí)。在模仿學(xué)習(xí)中，人類手動(dòng)操作機(jī)器人來(lái)教它如何完成任務(wù)。在機(jī)器人學(xué)習(xí)之前，這個(gè)過(guò)程必須為單個(gè)任務(wù)完成多次。在強(qiáng)化學(xué)習(xí)中，機(jī)器人通常接受數(shù)百萬(wàn)個(gè)模擬示例的訓(xùn)練，然后要求將該訓(xùn)練適應(yīng)現(xiàn)實(shí)世界。

在結(jié)構(gòu)化環(huán)境中教機(jī)器人完成單個(gè)任務(wù)時(shí)，這兩種學(xué)習(xí)模型都能很好地工作，但它們很難擴(kuò)展和部署。WHIRL 可以從人類執(zhí)行任務(wù)的任何視頻中學(xué)習(xí)。它易于擴(kuò)展，不限于一項(xiàng)特定任務(wù)，并且可以在現(xiàn)實(shí)的家庭環(huán)境中運(yùn)行。

該團(tuán)隊(duì)甚至正在開(kāi)發(fā)一個(gè) WHIRL 版本，通過(guò)觀看來(lái)自 YouTube 和 Flickr 的人類互動(dòng)視頻進(jìn)行訓(xùn)練。

計(jì)算機(jī)視覺(jué)的進(jìn)步使這項(xiàng)工作成為可能。使用基于互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練的模型，計(jì)算機(jī)現(xiàn)在可以理解和模擬 3D 運(yùn)動(dòng)。該團(tuán)隊(duì)使用這些模型來(lái)了解人體運(yùn)動(dòng)，從而促進(jìn) WHIRL 訓(xùn)練。

借助 WHIRL，機(jī)器人可以在自然環(huán)境中完成任務(wù)。電器、門、抽屜、蓋子、椅子和垃圾袋沒(méi)有被修改或操縱以適應(yīng)機(jī)器人。

機(jī)器人最初的幾次嘗試都以失敗告終，但一旦成功了幾次，它很快就掌握了如何完成并掌握了它。雖然機(jī)器人可能無(wú)法以與人類相同的動(dòng)作完成任務(wù)，但這不是目標(biāo)。

人和機(jī)器人有不同的部分，它們的動(dòng)作也不同。重要的是最終結(jié)果是一樣的。門打開(kāi)了。開(kāi)關(guān)關(guān)閉。水龍頭已打開(kāi)。

“要在野外擴(kuò)展機(jī)器人技術(shù)，數(shù)據(jù)必須可靠且穩(wěn)定，并且機(jī)器人應(yīng)該通過(guò)自行練習(xí)在環(huán)境中變得更好，”P(pán)athak 說(shuō)。