阿里推出數(shù)字人視頻生成工具:單張圖片生成逼真數(shù)字人
時間:2023-08-20 22:16:08
(相關(guān)資料圖)
阿里云近日推出了一款名為Live Portait的數(shù)字人視頻生成工具。用戶只需上傳一張照片和一段文本或語音,就能生成一段能開口說話的數(shù)字人視頻。這項功能可應(yīng)用于視頻直播、聊天機(jī)器人、企業(yè)營銷等場景,目前已在魔搭社區(qū)創(chuàng)空間開放體驗。隨著對話大模型和AI繪畫模型的熱度不減,業(yè)界對生成式AI的研究逐步朝更多模態(tài)的方向演進(jìn),其中AI視頻生成技術(shù)備受關(guān)注。這項技術(shù)能將文本或音頻等信息轉(zhuǎn)換為面部運動信息,進(jìn)而驅(qū)動生成照片人物形象的動畫,有效降低了視頻拍攝和制作的門檻。Live Portait工具由運動模塊和生成模塊組成,采用阿里云自研的口型預(yù)測算法,使得生成的口型準(zhǔn)確度大幅提高。在訓(xùn)練階段,工具增加了姿態(tài)的顯式控制,無需底板視頻也可以生成任意動作的視頻,大幅提升了數(shù)字人說話的真實感。此外,通過眼神主動控制技術(shù),Live Portait可以為眼球增加一些自然運動,使得生成結(jié)果在觀感上更接近真人效果。據(jù)了解,Live Portait相關(guān)技術(shù)已被CVPR、ICCV等國際AI頂會收錄。在魔搭社區(qū)上,用戶在上傳照片后,可選擇文本驅(qū)動和音頻驅(qū)動兩種方式,文本驅(qū)動模式下,該工具提供了普通話、英語、粵語、童聲等28種聲音。此外,Live Portait還提供了輕量模型選擇,幫助用戶更快速生成視頻。阿里云的工具算法負(fù)責(zé)人張邦表示:“Live Portait集成了團(tuán)隊多項自研創(chuàng)新技術(shù),例如僅需單張圖片就能生成逼真的面部動畫,突破了傳統(tǒng)對抗生成網(wǎng)絡(luò)的局限。隨著技術(shù)的進(jìn)一步迭代,圖生視頻有巨大的應(yīng)用空間,有望成為企業(yè)降本增效的生產(chǎn)工具。”據(jù)悉,該團(tuán)隊研究方向涵蓋數(shù)字人、3D模型AI生成、高真實感渲染、自然人機(jī)交互等領(lǐng)域,目前已發(fā)表50多篇國際頂會論文。
相關(guān)稿件
阿里推出數(shù)字人視頻生成工具:單張圖片生成逼真數(shù)字人
三大航7月份運營數(shù)據(jù)齊報喜 暑運支撐三季度業(yè)績有望創(chuàng)新高
年輕人跨界報名“夕陽紅”旅行團(tuán) “蹭老式消費”新觀察
廣州中醫(yī)藥大學(xué)重慶錄取分?jǐn)?shù)線 廣州中醫(yī)藥大學(xué)重慶招生人數(shù)多少
“客戶轉(zhuǎn)來幾千萬,我們崩潰了”…銀行基層員工壓力調(diào)查:“活動太多,大家都說好想生娃”
?國資委聲明:不法分子冒用國資委和央企領(lǐng)導(dǎo)干部身份實施詐騙 將追究法律責(zé)任
2023全國主流媒體德陽行|日加工鮮花、藤椒40噸 德陽廣漢這家企業(yè)燃“麻”了!
邊風(fēng)煒:市場底前兩要素已經(jīng)具備 復(fù)蘇將是本輪行情的關(guān)鍵所在
“警”隨當(dāng)“夏” 應(yīng)城城北派出所全力筑牢轄區(qū)防溺水安全屏障
谷歌 WearOS 手表系統(tǒng)新特性,支持解鎖智能手機(jī)
醫(yī)保新政“倒逼”藥店服務(wù)升級——探訪江城藥市新變化
制造業(yè)仍是日本經(jīng)濟(jì)支柱?實地走訪看真相
5G套餐高高在上,而固網(wǎng)寬帶卻打成了白菜價,但運營商仍然賺瘋了
毛伊島大火已致99人死亡 夏威夷州長:失蹤人數(shù)降至約1300人
希臘男籃公布最終12人名單:字母哥退出+火箭舊將領(lǐng)銜 沖冠沒戲
打造“全球治沙樣本” 科技治沙技術(shù)迭代創(chuàng)新
外交部發(fā)言人:中國依然是世界經(jīng)濟(jì)增長的重要引擎
浙江金華金東區(qū)法學(xué)會開展青年普法志愿者法治文化基層行活動
2023職業(yè)技術(shù)學(xué)校吃香的專業(yè) 什么專業(yè)最有發(fā)展
聚焦第十四屆中國—東北亞博覽會布展突出特色 招商集中發(fā)力我市有序推進(jìn)第十四屆中國-東北亞博覽會參展工作


