在線客服
微信客服
咨詢電話
021-80392549
新研究利用人工智能將大腦信號(hào)轉(zhuǎn)換成語(yǔ)音和動(dòng)畫(huà)表情
新華社北京8月28日電 美國(guó)加利福尼亞大學(xué)舊金山分校近日發(fā)布公報(bào)說(shuō)，該校參與的研究團(tuán)隊(duì)開(kāi)發(fā)出一種腦機(jī)接口，通過(guò)訓(xùn)練人工智能算法，成功將一名因腦干中風(fēng)而嚴(yán)重癱瘓的女性的大腦信號(hào)轉(zhuǎn)換成語(yǔ)音和動(dòng)畫(huà)表情，使這名女性患者能夠通過(guò)“數(shù)字化身”與人交流。
加州大學(xué)舊金山分校和伯克利分校等機(jī)構(gòu)研究人員在這名癱瘓女性大腦表面植入一個(gè)由253個(gè)電極組成的薄如紙張的矩形設(shè)備。這些電極覆蓋了對(duì)語(yǔ)言功能至關(guān)重要的大腦區(qū)域。研究人員用一根電纜插入固定在患者頭部的接口上，將電極與一組計(jì)算機(jī)連接起來(lái)。
構(gòu)建這套系統(tǒng)后，研究團(tuán)隊(duì)在數(shù)周時(shí)間里對(duì)人工智能算法進(jìn)行系統(tǒng)訓(xùn)練，以識(shí)別這名女性患者獨(dú)特的大腦語(yǔ)音信號(hào)。這需要不斷重復(fù)不同的語(yǔ)句，涉及1024個(gè)單詞，直到計(jì)算機(jī)能識(shí)別與患者聲音相關(guān)的大腦活動(dòng)模式。
研究人員并沒(méi)有訓(xùn)練人工智能識(shí)別完整的單詞，而是創(chuàng)建了一個(gè)系統(tǒng)可根據(jù)最小的語(yǔ)音單位音素來(lái)解碼單詞。就像字母組成書(shū)面單詞一樣，音素組成了口語(yǔ)單詞。例如，英文單詞“Hello”包含HH、AH、L和OW四個(gè)音素。利用這種方法，計(jì)算機(jī)只要學(xué)習(xí)39個(gè)音素就能破譯任何英文單詞，這提高了系統(tǒng)的準(zhǔn)確性和運(yùn)算速度。
為了重現(xiàn)患者的聲音，團(tuán)隊(duì)設(shè)計(jì)了一種語(yǔ)音合成算法，利用患者在自己婚禮上的講話錄音將語(yǔ)音個(gè)性化，使之聽(tīng)起來(lái)像她受傷前的聲音。
研究人員還借助一款可模擬面部肌肉運(yùn)動(dòng)并制作動(dòng)畫(huà)的軟件為患者制作動(dòng)畫(huà)頭像。研究人員創(chuàng)建了定制的機(jī)器學(xué)習(xí)過(guò)程，使這款軟件能夠識(shí)別這名女性試圖說(shuō)話時(shí)大腦發(fā)出的信號(hào)，并將這些信號(hào)轉(zhuǎn)換成能夠表示快樂(lè)、悲傷和驚訝等情緒的面部動(dòng)畫(huà)。
相關(guān)論文近日發(fā)表在英國(guó)《自然》雜志上。團(tuán)隊(duì)下一步計(jì)劃創(chuàng)建該系統(tǒng)的無(wú)線版本，使患者無(wú)需與腦機(jī)接口進(jìn)行物理連接。
新華社北京8月28日電 美國(guó)加利福尼亞大學(xué)舊金山分校近日發(fā)布公報(bào)說(shuō)，該校參與的研究團(tuán)隊(duì)開(kāi)發(fā)出一種腦機(jī)接口，通過(guò)訓(xùn)練人工智能算法，成功將一名因腦干中風(fēng)而嚴(yán)重癱瘓的女性的大腦信號(hào)轉(zhuǎn)換成語(yǔ)音和動(dòng)畫(huà)表情，使這名女性患者能夠通過(guò)“數(shù)字化身”與人交流。
加州大學(xué)舊金山分校和伯克利分校等機(jī)構(gòu)研究人員在這名癱瘓女性大腦表面植入一個(gè)由253個(gè)電極組成的薄如紙張的矩形設(shè)備。這些電極覆蓋了對(duì)語(yǔ)言功能至關(guān)重要的大腦區(qū)域。研究人員用一根電纜插入固定在患者頭部的接口上，將電極與一組計(jì)算機(jī)連接起來(lái)。
構(gòu)建這套系統(tǒng)后，研究團(tuán)隊(duì)在數(shù)周時(shí)間里對(duì)人工智能算法進(jìn)行系統(tǒng)訓(xùn)練，以識(shí)別這名女性患者獨(dú)特的大腦語(yǔ)音信號(hào)。這需要不斷重復(fù)不同的語(yǔ)句，涉及1024個(gè)單詞，直到計(jì)算機(jī)能識(shí)別與患者聲音相關(guān)的大腦活動(dòng)模式。
研究人員并沒(méi)有訓(xùn)練人工智能識(shí)別完整的單詞，而是創(chuàng)建了一個(gè)系統(tǒng)可根據(jù)最小的語(yǔ)音單位音素來(lái)解碼單詞。就像字母組成書(shū)面單詞一樣，音素組成了口語(yǔ)單詞。例如，英文單詞“Hello”包含HH、AH、L和OW四個(gè)音素。利用這種方法，計(jì)算機(jī)只要學(xué)習(xí)39個(gè)音素就能破譯任何英文單詞，這提高了系統(tǒng)的準(zhǔn)確性和運(yùn)算速度。
為了重現(xiàn)患者的聲音，團(tuán)隊(duì)設(shè)計(jì)了一種語(yǔ)音合成算法，利用患者在自己婚禮上的講話錄音將語(yǔ)音個(gè)性化，使之聽(tīng)起來(lái)像她受傷前的聲音。
研究人員還借助一款可模擬面部肌肉運(yùn)動(dòng)并制作動(dòng)畫(huà)的軟件為患者制作動(dòng)畫(huà)頭像。研究人員創(chuàng)建了定制的機(jī)器學(xué)習(xí)過(guò)程，使這款軟件能夠識(shí)別這名女性試圖說(shuō)話時(shí)大腦發(fā)出的信號(hào)，并將這些信號(hào)轉(zhuǎn)換成能夠表示快樂(lè)、悲傷和驚訝等情緒的面部動(dòng)畫(huà)。
相關(guān)論文近日發(fā)表在英國(guó)《自然》雜志上。團(tuán)隊(duì)下一步計(jì)劃創(chuàng)建該系統(tǒng)的無(wú)線版本，使患者無(wú)需與腦機(jī)接口進(jìn)行物理連接。
