近日,上海巖思類腦人工智能研究院有限公司(以下簡稱“巖思類腦”)聯(lián)合復(fù)旦大學(xué)附屬華山醫(yī)院(以下簡稱“華山醫(yī)院”)、國家神經(jīng)疾病醫(yī)學(xué)中心、iBRAIN腦電聯(lián)盟、浙江大學(xué)、中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所自主研發(fā)的植入式腦電大模型,實(shí)現(xiàn)腦機(jī)接口中文解碼臨床突破,有望為因漸凍癥、卒中等疾病導(dǎo)致失語的患者提供更好治療方案。
這一重大突破標(biāo)志著我國在腦機(jī)接口語言解碼領(lǐng)域,特別是針對中文這一復(fù)雜語言系統(tǒng)的研究走在國際前沿,未來這一系統(tǒng)還能適用于各種不同語言的解析重建。
裝上“中文操作系統(tǒng)”
“今天是新的一天。”當(dāng)這句清晰的電子合成音在華山醫(yī)院的病房里響起時(shí),意味著一位癲癇患者通過腦電大模型,讓大腦的思維直接轉(zhuǎn)化為了可被聽見的話語。這不是科幻電影中的場景,而是我國腦機(jī)接口中文解碼取得臨床突破的真實(shí)畫面。
7月,在華山醫(yī)院,醫(yī)生為患者植入8—10根立體定向腦電圖電極。這些纖細(xì)的“神經(jīng)探子”會深入不同腦區(qū),捕捉大腦思考時(shí)產(chǎn)生的腦電信號,并將它們輸入腦電大模型。當(dāng)患者“閱讀”中文單詞時(shí),在與腦部電極相連的電腦顯示屏上,腦電大模型會以驚人的速度解讀這些腦電信號,直接輸出患者一句句完整的“心里話”。
記者了解到,該名患者僅耗時(shí)100分鐘進(jìn)行模型訓(xùn)練,朗讀了54個(gè)漢字,腦電大模型就能基于此輸出流暢的句子。在該訓(xùn)練基礎(chǔ)上,腦電大模型通過拆解聲母、韻母等語音元素,再進(jìn)行智能排列組合,能衍生出近2000個(gè)常用漢字的表達(dá)能力。
相比英文26個(gè)字母的解碼,中文“418個(gè)音節(jié)+4個(gè)語調(diào)”的解碼難度更高。“我們可以在半秒鐘之內(nèi),解析出一個(gè)完整的中文語句,而且這個(gè)語句的字?jǐn)?shù)是沒有限制的。”巖思類腦首席科學(xué)家李孟說,“不僅如此,腦電大模型中文解碼的準(zhǔn)確率更是突破了瓶頸,10個(gè)聲母的解碼準(zhǔn)確率超83%,15個(gè)韻母的解碼準(zhǔn)確率超84%。”
解得“準(zhǔn)”,得益于腦電大模型高達(dá)1∶36的外推能力。通過探索多個(gè)大腦區(qū)域的協(xié)同編碼機(jī)制,腦電大模型實(shí)現(xiàn)了目前中文解碼的最高準(zhǔn)確率、最強(qiáng)解碼外推能力。
這一突破,相當(dāng)于為腦機(jī)接口裝上了“中文操作系統(tǒng)”,足以支撐患者進(jìn)行日常完整的語義表達(dá)。未來,因漸凍癥、卒中等疾病失語的患者借助臨床植入的腦機(jī)接口設(shè)備,有望像普通人一樣自然交流,實(shí)現(xiàn)說話功能,完整表達(dá)被“囚禁”在內(nèi)心的聲音。
建立共享腦電數(shù)據(jù)庫
作為前沿技術(shù),全球腦機(jī)接口技術(shù)研究方興未艾,應(yīng)用場景十分廣闊。以Neuralink公司的侵入式硬核技術(shù)為代表,其在運(yùn)動解碼方向上,取得了不少突破,如讓癱瘓病人用意念遙控機(jī)械臂喝水、操縱鼠標(biāo)玩游戲等。
“從臨床角度看,腦機(jī)接口最大的價(jià)值不在于概念演示。我們最終的目標(biāo)是讓患者重新動起來、走起來、說出來,從而提高他們的生存質(zhì)量。”華山醫(yī)院院長毛穎說。
如何讓前沿技術(shù)成為提升患者生活質(zhì)量的關(guān)鍵幫手?作為國家神經(jīng)疾病醫(yī)學(xué)中心的主體單位,華山醫(yī)院在腦功能定位和保護(hù)、神經(jīng)疾病治療和腦科學(xué)研究上積累了大量基礎(chǔ)和臨床資源。“腦機(jī)接口是強(qiáng)交叉的前沿賽道,其突破不僅依賴技術(shù)和設(shè)備,還需要工程師、科研人員與醫(yī)生、患者協(xié)同推進(jìn),讓前沿技術(shù)與臨床需求精準(zhǔn)對接。”毛穎說。
上海腦機(jī)接口未來產(chǎn)業(yè)集聚區(qū)的成立為此提供了有力支撐。這里集結(jié)了高質(zhì)量孵化器、概念驗(yàn)證平臺和檢測認(rèn)證基地,形成產(chǎn)業(yè)生態(tài)閉環(huán),推動腦機(jī)接口從“科學(xué)實(shí)驗(yàn)”快速轉(zhuǎn)化為“普惠應(yīng)用”。
目前,華山醫(yī)院已啟動全球首個(gè)腦機(jī)接口多中心隊(duì)列研究,讓相關(guān)研究不再是孤立的個(gè)案測試,而是對一批患者進(jìn)行長期、系統(tǒng)的療效觀察,用標(biāo)準(zhǔn)化流程積累真實(shí)世界數(shù)據(jù),推動形成可推廣的技術(shù)標(biāo)準(zhǔn)和臨床路徑。
腦機(jī)接口技術(shù)的核心在于解碼腦電信號,高價(jià)值信號源于真實(shí)臨床環(huán)境中患者大腦的動態(tài)數(shù)據(jù)。毛穎介紹,腦電大模型的突破正是源自對腦機(jī)接口技術(shù)的長期布局。在上海市科委的支持下,華山醫(yī)院牽頭,聯(lián)合全國十多家神經(jīng)外科領(lǐng)域頭部醫(yī)院成立iBRAIN腦電數(shù)據(jù)聯(lián)盟,目標(biāo)是建立全球最大規(guī)模的標(biāo)準(zhǔn)化、共享型侵入式顱內(nèi)腦電數(shù)據(jù)庫,實(shí)現(xiàn)不同醫(yī)院和設(shè)備數(shù)據(jù)的無縫對接與高效共享。
運(yùn)行多年來,該聯(lián)盟已完成規(guī)范化底層架構(gòu),積累起海量高質(zhì)量腦電數(shù)據(jù),為腦電大模型的創(chuàng)新提供了數(shù)據(jù)基石。臨床端收集的數(shù)據(jù)交由技術(shù)團(tuán)隊(duì)進(jìn)行系統(tǒng)化分析與算法模型訓(xùn)練,形成貫穿“臨床—科研—技術(shù)迭代”的流程。如今,iBRAIN腦電數(shù)據(jù)庫的價(jià)值已超語言解碼本身,聯(lián)盟將其打造成開放共享平臺,將其變?yōu)橥苿诱麄(gè)腦機(jī)接口領(lǐng)域進(jìn)步的公共資源,加速推動腦機(jī)接口產(chǎn)品從“能用”到“好用”的跨越。
這一開放共享平臺還為多領(lǐng)域研究提供支撐,可探索大腦對運(yùn)動信號、情感信號的編碼,未來甚至能助力理解藝術(shù)創(chuàng)作時(shí)的大腦活動。同時(shí),研究團(tuán)隊(duì)探索的多個(gè)大腦區(qū)域協(xié)同編碼機(jī)制適用于多種語言解析,未來這套系統(tǒng)既能幫助中國患者說中文,也可助力外國患者使用英語、日語等,使腦機(jī)接口技術(shù)突破具有全球意義。
(責(zé)任編輯:華康)