數字人直播帶貨啟動3.0時代 揭秘背後黑科技

難辨真偽的「真假羅永浩」數字人。(朱燁攝)

(大公文匯網記者 朱燁 北京報道)記者在17日的百度AI Day開放日上獲悉,百度官宣打造業界首個超頭主播羅永浩數字人,並發布了高說服力數字人的四大技術突破:一是上線了業界首個雙數字人互動直播間,提升營銷轉化和C端體驗;二是基於文心4.5T升級,劇本模式讓數字人「懂創作」、「有個性」;三是實現了業內首個多模態高度融合的數字人,讓數字人輕鬆實現超長待機;四是攻克多任務複雜場景,數字人帶貨效果媲美真人。值得注意的是,此前羅永浩數字人直播首秀創下超1300萬人次觀看、GMV突破5500萬元(人民幣・下同)的行業新紀錄,部分核心品類帶貨量反超真人直播。

四大技術突破的背後依託的是百度研製的多模協同的數字人技術,基於文心 4.5T 實現了融合多模規劃與深度思考的劇本生成,由劇本驅動數字人多模協同,實現動態決策的實時交互,使數字人的「神、形、音、容、話」達到高度統一。最終呈現出一個具備高表現力,內容吸引人,人-物-場可自由交互的超擬真數字人。

此外,百度相關負責人告訴記者,百度電商還將推出兩大計劃:夢蝶計劃將通過超頭主播數字人打造、流量和預算扶持,實現百度優選超頭主播的數量倍增;繁星計劃則將再次追加10萬個慧播星免費數字人,投入1億元數字人消費補貼,增加千萬級別的運營扶持,幫助更多的普通人、中小企業開啟數字人直播。

背後「黑科技」揭秘:多模協同的數字人技術

百度集團副總裁吳甜透露,百度研製的多模協同的數字人技術,基於文心 4.5T 實現了融合多模規劃與深度思考的劇本生成,由劇本驅動數字人多模協同,實現動態決策的實時交互,使數字人的「神、形、音、容、話」 達到高度統一。最終呈現出一個具備高表現力,內容吸引人,人-物-場可自由交互的超擬真數字人。

她介紹,劇本生成技術包含台詞生成、多模驅動和動態交互三部分。以羅永浩數字人劇本為例,基於文心大模型4.5 Turbo生成的劇本,充分展現了主播的個人特色,具備典型的羅氏幽默風格,並能夠實現雙人主播的內容協同,動態實現豐富的實時互動。通過文本自控的語音合成大模型,實現高復原的語音合成能力,再結合直播台詞及發音人、特徵,合成風格恰當、自然流暢的聲音。為解決羅永浩數字人直播雙人聲音配合的難點,百度採用對話上下文編碼器,將對話歷史輸入和當前對話進行語音合成的統一推理計算,最終實現流暢、自然的雙人對話效果。在數字人形象生成以及驅動方面,通過結合多模態視頻理解、跨模態信號生成、視頻生成等技術,克服了高可控交互,高精度、長時間一致性保持等難點,實現了高一致性超擬真羅永浩數字人長視頻生成。

吳甜表示,百度在今年4月發布了最新的文心 4.5 Turbo和文心X1 Turbo,羅永浩數字人是基於文心大模型的最佳實踐。百度在大模型技術的持續探索和創新,將為用戶帶來更優質的體驗、為行業帶來更具創新力的業務模式。

新一代高說服力數字人出爐 1億元補貼幫助中小企業開啟數字人直播

百度副總裁、電商總經理平曉黎表示,今年 4 月百度發布的高說服力數字人已讓數字人帶入 3.0 時代,這是一個新的里程碑,標誌智能電商邁入新篇章,新一代高說服力數字人成為了一個像真人一樣,形神音容高度協調、會思考決策、能協作完成特定任務的超級智能體。「百度的羅永浩數字人已達到媲美超頭主播的體感效果,隨着大模型與多模能力發展,數字人未來超越真人效果極具潛力 」,她補充道。

在高說服力數字人的基礎之上,百度電商慧播星再一次迭代,圍繞慧播星首席體驗官羅永浩,發布了業界首個超頭主播的數字人,並實現了體驗、內容、視覺、效果的四大突破,使得數字人帶貨能力媲美真人。首先是體驗突破,通過復刻羅永浩跟朱蕭木的絲滑配合,上線了業界首個雙數字人互動直播間,給營銷轉化和C端體驗,打開了新的想像空間;二是內容新突破,得益於文心4.5T的升級,通過深度訓練,使數字人做到了「懂創作」,帶貨時塑品專業度更高,數字人可以「有個性」,甚至能「玩梗」,為數字人注入靈魂;三是視覺新突破,這次的羅永浩數字人直播,是業內首個多模態高度融合的數字人應用場景,實現了在直播實時環境下的超長演繹,做到了動作、表情、語調等貼合話術,且穩定可控;四是效果新突破,AI大腦基於直播間信號靈活控場,數字人可以主動邀評、高頻互動,極大提升用戶沉浸感;通過多智能體實時調度,在數字人直播間實現了和真人直播間一樣的互動玩法,如抽獎、發福袋等;強大的運營場控能力、多樣化營銷手段,有效提升用戶轉化。

百度電商商業業務部負責人、數字人創新業務部負責人吳晨霞表示,為了支撐本次羅永浩數字人的突破,慧播星重磅升級了新版本,實現了劇本、動作、聲音、腳本、問答、互動等維度的全方位升級。吳晨霞對羅永浩數字人的誕生過程進行了揭秘,通過羅永浩、朱蕭木的海量數據訓練生成數字人主播,同時結合商品特性與羅永浩人設量身定製直播劇本,實現了神形音容全模態高度統一,還原了羅永浩、朱蕭木的慣性動作、表情等,做到如同真人一樣自然。在此基礎上,慧播星以大師級的創作能力,生成人物高光片段,復刻羅氏幽默,在直播中能夠接梗、玩梗,使得數字人表現力有了真人般的魅力。此外,本次突破技術難題的雙人劇本,實現了雙數字人的默契配合,屬於行業首創。最後,慧播星作為業界首家實現「AI大腦」多智能體調度的產品,實現了靈活場控,並支持一個數字人直播間上線多種玩法,有效提升了用戶轉化。羅永浩數字人首秀大捷,標誌着慧播星產品力邁向全新階段。