新華社北京6月16日電（記者宋晨、張泉）在三維場(chǎng)景里實(shí)現精準定位，通過(guò)圖像與聲音的結合完成場(chǎng)景分析……中科院自動(dòng)化研究所發(fā)布“紫東太初”全模態(tài)大模型，并首次對外實(shí)時(shí)展示了該模型在音樂(lè )理解與生成、三維場(chǎng)景導航、信號理解、多模態(tài)對話(huà)等方面的全新功能。
這是記者6月16日在“人工智能框架生態(tài)峰會(huì )2023”上了解到的信息。
“紫東太初”全模態(tài)大模型發(fā)布現場(chǎng)。（中科院自動(dòng)化所供圖）
中科院自動(dòng)化研究所所長(cháng)徐波介紹，“紫東太初”全模態(tài)大模型是在多模態(tài)大模型“紫東太初”1.0基礎上升級打造的2.0版本，在語(yǔ)音、圖像和文本三模態(tài)的基礎上，加入視頻、信號、3D點(diǎn)云等模態(tài)數據，研究突破了認知增強的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。
“紫東太初”2.0可以理解三維場(chǎng)景、信號等數字物聯(lián)時(shí)代的重要信息，完成了音樂(lè )、圖片和視頻等數據之間的跨模態(tài)對齊，能夠處理音樂(lè )視頻分析、三維導航等多模態(tài)關(guān)聯(lián)應用需求，并可實(shí)現音樂(lè )、視頻等多模態(tài)內容理解和生成。
“從1.0到2.0，‘紫東太初’大模型打通了感知、認知乃至決策的交互屏障，使人工智能進(jìn)一步感知世界、認知世界，從而延伸出更加強大的通用能力。”徐波說(shuō)。
目前，“紫東太初”大模型在神經(jīng)外科手術(shù)導航、短視頻內容審核、法律咨詢(xún)、醫療多模態(tài)鑒別診斷、交通違規圖像研讀等領(lǐng)域展現出一定的產(chǎn)業(yè)應用前景。
比如，在醫療場(chǎng)景，“紫東太初”大模型部署于神經(jīng)外科機器人MicroNeuro，可實(shí)現在術(shù)中實(shí)時(shí)融合視覺(jué)、觸覺(jué)等多模態(tài)信息，協(xié)助醫生對手術(shù)場(chǎng)景進(jìn)行實(shí)時(shí)推理判斷。
(責任編輯：陳冬梅)
