騰訊杰出科學(xué)家劉威：多媒體AI技術(shù)如何讓廣告系統(tǒng)更“智

導(dǎo)語|秉承“技術(shù)提效”理念，探尋多媒體AI技術(shù)于廣告業(yè)務(wù)的最佳應(yīng)用實踐。

本文由騰訊廣告多媒體AI中心總監(jiān)、杰出科學(xué)家劉威撰寫，他和他的團隊打造了以混元AI大模型為代表的廣告多媒體AI技術(shù)矩陣，并應(yīng)用于騰訊廣告系統(tǒng)升級中。這一創(chuàng)舉提升了廣告系統(tǒng)的理解能力，讓系統(tǒng)更加智能，從而提高用戶體驗以及廣告轉(zhuǎn)化效果與廣告制作效率。

騰訊廣告秉承“技術(shù)提效”理念，基于太極機器學(xué)習(xí)平臺，憑借混元AI大模型和廣告大模型，充分提升了廣告系統(tǒng)的理解能力和運算能力，助力廣告主達(dá)成起量、成本和穩(wěn)定性三大效果指標(biāo)，實現(xiàn)生意增長。

引言

隨著互聯(lián)網(wǎng)廣告系統(tǒng)的逐步進化，多媒體AI技術(shù)已經(jīng)成為廣告技術(shù)棧不可或缺的一環(huán)。尤其是在廣告系統(tǒng)大變革中，多媒體AI技術(shù)也進行了諸多的技術(shù)升級。一條完整的廣告鏈路包含的模塊非常多，包括投放、定向、檢索、粗排、精排、播放等等，每一個模塊對于多媒體AI技術(shù)都有不同的需求。

在此背景下，我和團隊系統(tǒng)性地研發(fā)了廣告多媒體AI技術(shù)矩陣，為整個廣告鏈路提供完善的、精準(zhǔn)的、高效的廣告多媒體AI技術(shù)。當(dāng)前，該平臺已經(jīng)成為騰訊廣告的AI基礎(chǔ)建設(shè)，有力保障了騰訊廣告的持續(xù)穩(wěn)健發(fā)展。

本文將系統(tǒng)介紹騰訊廣告多媒體AI技術(shù)研究與應(yīng)用，涵蓋【巨闕】廣告內(nèi)容理解、【乾坤】廣告智能創(chuàng)作、【神針】廣告智能審核、【天印】廣告指紋系統(tǒng)，以及【混元】AI大模型。

【巨闕】廣告內(nèi)容理解

（一）業(yè)務(wù)背景

計算廣告的本質(zhì)在于以合理的價格，將合適的廣告推給適合的人，因此廣告理解、用戶理解是整個廣告推薦鏈路的基礎(chǔ)依賴。隨著下一代廣告系統(tǒng)的到來，對廣告內(nèi)容理解也提出了更加精細(xì)化、細(xì)粒度的要求；同時隨著視頻廣告/多媒體廣告日益增多，對廣告內(nèi)容理解中的AI技術(shù)也提出了更高的要求。

我團隊研發(fā)的巨闕廣告內(nèi)容理解，目標(biāo)在于建設(shè)多維度多粒度的廣告語義理解系統(tǒng)，提高廣告?zhèn)忍卣魃a(chǎn)與應(yīng)用效率，服務(wù)騰訊廣告全鏈路。

（二） 系統(tǒng)架構(gòu)/功能

結(jié)合當(dāng)前整個廣告數(shù)據(jù)鏈路，我們逐步構(gòu)建了一套廣告精細(xì)化語義理解系統(tǒng)，從底層數(shù)據(jù)的接入預(yù)處理，到系統(tǒng)調(diào)度存儲，再到上層的各種語義理解算法能力，最終服務(wù)于廣告推薦、廣告創(chuàng)意、廣告投放等業(yè)務(wù)。具體來說，廣告數(shù)據(jù)主要包括廣告關(guān)聯(lián)的商品、廣告創(chuàng)意、廣告落地頁三大類，因此廣告內(nèi)容理解核心提供三大類的AI理解功能：

• 商品理解：理解各行業(yè)廣告的核心標(biāo)的物，如電商行業(yè)中的商品類目、產(chǎn)品、品牌、屬性等，服務(wù)全行業(yè)商品化；

• 創(chuàng)意理解：理解廣告創(chuàng)意內(nèi)容，如創(chuàng)意的基礎(chǔ)屬性、拍攝手法、營銷賣點、視頻元素（人物、LOGO、道具等）、場景、風(fēng)格等；

• 落地頁理解：理解廣告落地頁內(nèi)容，如落地頁的配色、主體類別、主體位置、屏數(shù)等。

（三）技術(shù)解析

廣告內(nèi)容理解涉及的技術(shù)能力非常繁多復(fù)雜，本文挑選部分典型場景能力做簡要解析。

• 基于多模態(tài)預(yù)訓(xùn)練模型的商品類目識別

由于全行業(yè)的商品類目體系非常龐大&駁雜，且會定期升級變動，采用有監(jiān)督學(xué)習(xí)的模型對訓(xùn)練數(shù)據(jù)的標(biāo)注需求非常大，而廣告業(yè)務(wù)中存在大量的無標(biāo)注數(shù)據(jù)，如何有效利用這些無標(biāo)注數(shù)據(jù)快速提升商品理解的效率&效果非常關(guān)鍵。

基于此，我們構(gòu)建了一個適合廣告數(shù)據(jù)場景的，兼容單模態(tài)/多模態(tài)/跨模態(tài)缺失or不匹配的多模態(tài)預(yù)訓(xùn)練大模型，采用千萬級廣告數(shù)據(jù)投入預(yù)訓(xùn)練，基于預(yù)訓(xùn)練模型在下游任務(wù)上進行遷移學(xué)習(xí)，在下游的商品類目分類、產(chǎn)品識別等任務(wù)中實現(xiàn)了采用更少的標(biāo)注數(shù)據(jù)取得了更好的分類效果。

• 大規(guī)模廣告logo檢索識別系統(tǒng)

品牌是廣告商品的一個重要維度，廣告圖片中通常都會攜帶品牌logo信息。但由于涉及行業(yè)眾多，廣告中的品牌通常會有至少幾萬類，而當(dāng)前公開數(shù)據(jù)集最多的只有3K類，工業(yè)界最多的只有2W類。因此，針對廣告場景下的logo識別，需要重點解決因類別龐大，無法人工標(biāo)注導(dǎo)致的數(shù)據(jù)稀缺問題，以及新廣告新品牌會不斷涌現(xiàn)，已有品牌也會不斷產(chǎn)生新變體而帶來的模型的魯棒性與增量學(xué)習(xí)能力的問題。

針對數(shù)據(jù)稀缺的問題，我們采用機器數(shù)據(jù)合成的方式，具體包括：1.人工梳理萬類品牌logo；2. 采用logo圖增強（透明化分割、變色、縮放）+ 背景圖景深分割算法 合成訓(xùn)練樣本，增強生成樣本的多樣性。

針對模型魯棒性以及擴展性的問題，在模型結(jié)構(gòu)上，將模型拆解為檢測+識別兩個獨立階段，識別階段舍棄傳統(tǒng)閉集分類框架，采用DML學(xué)習(xí)Embedding，構(gòu)建logo檢索庫，用基于檢索的方法做識別；可支持自動發(fā)現(xiàn)新logo后人工標(biāo)注，快速提升新logo覆蓋。

• 多模態(tài)QA式商品屬性識別

商品屬性是更細(xì)粒度的描述商品SPU/SKU的基礎(chǔ)信息，目前電商中存在數(shù)千個屬性，傳統(tǒng)的NER任務(wù)直接預(yù)測多類別BIO，難以訓(xùn)練且效果很差，同時傳統(tǒng)的NER任務(wù)只基于文本信息進行提取。而廣告場景中，擁有豐富的商品圖片信息，如何高效利用圖片、文本多模態(tài)信息提升屬性識別的效果是我們想要解決的問題。

基于上述問題，我們提出了一套多模態(tài)QA式屬性提取框架：

• Multi-Modal Transformer提取文本/圖片多模態(tài)特征；

• 增加屬性預(yù)測網(wǎng)絡(luò)，提取屬性proposal，極大縮小token目標(biāo)分類范圍；

• 將屬性作為query作用于屬性值提取網(wǎng)絡(luò)，進行QA式NER提取。

• 創(chuàng)意視頻時序化理解

當(dāng)前視頻創(chuàng)意廣告越來越多，首先我們構(gòu)建了一套完善的多維度創(chuàng)意內(nèi)容理解體系，包括視頻基礎(chǔ)屬性理解（尺寸、時長、鏡頭數(shù)、清晰度等）、視頻框架理解（拍攝手法、視頻場景、視頻風(fēng)格等）、視頻元素理解（人物、LOGO、道具、營銷賣點等），以對整個視頻進行理解打標(biāo)簽。但同時，由于視頻廣告節(jié)奏、信息變化快，每個鏡頭都包含非常豐富的信息，因此需要更精細(xì)化的進行時序化、鏡頭化理解，助力創(chuàng)作編輯&精準(zhǔn)推薦。

基于此，我們提出并研發(fā)了基于視頻時序分割+視頻時空檢測定位的時序化理解能力：

• 視頻時序分割打標(biāo)簽：適用于視頻框架類標(biāo)簽，將視頻分鏡頭分幕分割后進行分鏡頭分幕片段的理解；

• 視頻時空檢測定位打標(biāo)簽：適用于視頻元素類標(biāo)簽，直接對視頻進行時空時序定位，提取精彩片段關(guān)鍵元素。

（四）業(yè)務(wù)應(yīng)用

巨闕廣告內(nèi)容理解目前已服務(wù)應(yīng)用于廣告全鏈路，助力下一代廣告系統(tǒng)效果提升。

• 目前已完成60+項特征理解能力建設(shè)，覆蓋商品、創(chuàng)意、落地頁等多個維度;

• 相關(guān)特征已廣泛應(yīng)用于召回/粗排/精排大模型，顯著提升廣告系統(tǒng)的消耗與GMV；

• 相關(guān)特征應(yīng)用于創(chuàng)意風(fēng)向標(biāo)、創(chuàng)意排行榜、創(chuàng)意研報等多個創(chuàng)意分析產(chǎn)品，指導(dǎo)廣告主優(yōu)化創(chuàng)意制作，提升創(chuàng)意制作效率&效果。

【乾坤】廣告智能創(chuàng)作

（一） 業(yè)務(wù)背景

視頻廣告數(shù)量增長趨勢明顯，引發(fā)對視頻創(chuàng)作訴求的激增。針對廣告投放門檻高，視頻制作成本大，視頻跑量周期短等實際業(yè)務(wù)問題，騰訊廣告多媒體AI中心打造出智能創(chuàng)作引擎 - “乾坤”，助力視頻產(chǎn)能提升，解決行業(yè)客戶痛點，推動騰訊廣告視頻化進程。

（二） 智能創(chuàng)作引擎

經(jīng)過多年技術(shù)沉淀，騰訊廣告智能創(chuàng)作引擎實現(xiàn)多項自動化視頻創(chuàng)作能力，支撐多大項產(chǎn)品形態(tài)，日均生產(chǎn)數(shù)十萬條量級視頻廣告。引擎持續(xù)打磨智能生成、渲染合成、質(zhì)量控制、元素庫四方面能力。

• 智能生成：包含多達(dá)幾十項基礎(chǔ)算法能力，涉及多模態(tài)視頻標(biāo)簽、視頻時序解析、視頻封面圖生成等原子算法能力。

• 渲染合成：依賴CPU和GPU雙集群渲染，支持前端實時預(yù)覽及批量化生成，具備模板視頻工程化設(shè)計、特效定制支持、 穩(wěn)定分布式高性能渲染等能力。

• 質(zhì)量控制：系統(tǒng)規(guī)則、AI算法、人工運營有機結(jié)合，全鏈路保障視頻質(zhì)量。

• 元素庫：積累視頻元素數(shù)萬個，包含視頻模板、音樂、特效、貼紙、節(jié)日元素等。

（三） 典型技術(shù)解析

• 視頻尺寸變換，降低投放門檻

針對騰訊廣告流量特性，我們基于視頻人像分割提取人物，視頻OCR/ASR提取字幕，構(gòu)建出一鍵視頻智能拓展能力，實現(xiàn)3分鐘自動化視頻多規(guī)格拓展。此外，我們也實現(xiàn)了分鏡聯(lián)播、百葉窗、利益點填充等多達(dá)16種視頻轉(zhuǎn)尺寸方案，支持全規(guī)格互轉(zhuǎn)。

• 圖片衍生視頻，提升制作能力

針對單圖片生成視頻場景，我們基于單目深度預(yù)估、圖像填充等能力建設(shè)了單圖3D微動能力，讓圖里的元素“動起來”，提升廣告投放效果。此外，我們也實現(xiàn)了多圖音樂卡點混剪，針對節(jié)假日匹配節(jié)日模板等方案，建設(shè)批量化視頻生成能力。

• 視頻派生視頻，延長跑量周期
  

我們提出創(chuàng)新的視頻廣告時序解析算法，結(jié)構(gòu)化視頻廣告敘事框架，并識別每個視頻片段四個維度的標(biāo)簽，將視頻廣告理解能力從整體粒度升維至?xí)r序粒度。實現(xiàn)鏡頭混剪、視頻時長變換、視頻強化、跑量素材混剪等多種能力。視頻生成視頻效率得到指數(shù)級提升。

• 虛擬特效，探索廣告創(chuàng)意新玩法

針對廣告新玩法的探索，我們打造了一條虛擬特效智能生產(chǎn)管線，實現(xiàn)批量化廣告生成，包括虛擬人驅(qū)動引擎、特效生成等核心技術(shù)能力。實現(xiàn)輸入一段文本or一段音頻 + 一張廣告圖片，生成一條含有虛擬人或者特效的視頻成片，達(dá)到提升廣告效果、提升視頻廣告生產(chǎn)效率的作用。

（四）業(yè)務(wù)應(yīng)用

廣告智能創(chuàng)作引擎每天生成的視頻數(shù)量增長迅猛，支撐創(chuàng)意自動化衍生適配全流量廣告版位，大幅降低廣告投放門檻，提升投放效果。

【神針】廣告智能審核

（一）業(yè)務(wù)背景

廣告審核是廣告商業(yè)變現(xiàn)的前提，也為公司的廣告生態(tài)保駕護航。我們與騰訊廣告聯(lián)合建立了一套安全、精準(zhǔn)、高效的廣告智能審核平臺 - “神針”，涵蓋超100項AI審核能力，將以往的"人工審核"方式，進化到“機器主導(dǎo)+人工配合”的高效方式，實現(xiàn)廣告審核的全面智能化。

（二） 系統(tǒng)架構(gòu)/功能

結(jié)合廣告審核的特性，例如違規(guī)點眾多、素材重復(fù)度高、違規(guī)點具有時間相似性等，構(gòu)建自動判別、相似復(fù)用、負(fù)向檢測、規(guī)則引擎等4大類能力。

• 自動判別：針對一些長期穩(wěn)定的樣式（包括合規(guī)廣告&違規(guī)廣告），訓(xùn)練多模態(tài)自動通過/拒絕模型，用于處理AI違規(guī)點能力無法覆蓋的素材；

• 相似復(fù)用：廣告主為了降低素材制作成本，通常會重復(fù)使用廣告元素（如視頻 or 圖片等）構(gòu)建廣告進行投放，通過構(gòu)建相似復(fù)用能力，能夠以較低的相似檢索成本來實現(xiàn)素材的精準(zhǔn)審核；

• 負(fù)向檢測：主要應(yīng)用于高頻違規(guī)點檢測，例如違規(guī)詞識別、素材模糊、涉暴涉恐等；

• 規(guī)則引擎：由于不同的流量、不同的行業(yè)對于審核規(guī)則都有差異，因此為了提高能力的通用性，在基礎(chǔ)能力基礎(chǔ)上構(gòu)建了規(guī)則引擎，以適配業(yè)務(wù)需求。

智能廣告審核系統(tǒng)可支持各類廣告元素的審核，包括圖片、文案、視頻、落地頁、廣告主賬戶等的審核。

（三）技術(shù)解析

• 多模態(tài)自動判別技術(shù)解析

廣告審核的數(shù)據(jù)復(fù)雜而多樣，在元素形態(tài)上可分為文本、圖片、視頻和落地頁四種類型。我們將這四種類型進行歸納和拆解為視頻、音頻、圖像和文字四種基礎(chǔ)模態(tài)，采用多模態(tài)多標(biāo)簽分類的思想來進行自動審核判別模型的建模。

整個算法pipeline劃分為模態(tài)特征提取、模態(tài)內(nèi)特征融合、多模態(tài)間特征融合以及多標(biāo)簽分類四個模塊。首先，我們使用構(gòu)建的多模態(tài)模型庫提取視頻、音頻、圖像和文字不同模態(tài)各自的特征表征，然后在各個模態(tài)內(nèi)部進行特征的融合，如視頻幀間特征融合的操作；再融合不同模態(tài)特征之間的特征對廣告進行一個豐富的特征表征，最后輸出通過/拒絕二分類標(biāo)簽和1000+細(xì)粒度違規(guī)點。

• 負(fù)向檢測技術(shù)解析

在廣告審核場景中，違規(guī)點數(shù)量多而雜，僅算高頻違規(guī)點就多達(dá)數(shù)百個，如何高效且快速地實現(xiàn)機器自動審核是個巨大的挑戰(zhàn)。針對這個難題，團隊主要從兩個方面入手，首先針對Top違規(guī)點，獨立建模，累積開發(fā)了100多個負(fù)向違規(guī)點審核能力；其次針對重要關(guān)鍵的能力，例如OCR、人臉技術(shù)等，團隊重點攻關(guān)、全面研發(fā)，始終保持技術(shù)處于行業(yè)領(lǐng)先。

（四）業(yè)務(wù)應(yīng)用

廣告智能審核系統(tǒng)集安全、精準(zhǔn)、高效為一體，審核質(zhì)檢合格率處于業(yè)界領(lǐng)先，同時通過機器審核為騰訊廣告節(jié)約人力超千人。智能審核系統(tǒng)有效提升了廣告主投放效率，把控了平臺的廣告風(fēng)險，也為用戶帶來良好的廣告體驗。

【天印】廣告指紋系統(tǒng)

（一） 業(yè)務(wù)背景

廣告主為了減少廣告創(chuàng)意制作成本，復(fù)用成功起量的廣告創(chuàng)意，經(jīng)常會創(chuàng)建相似廣告進行投放。大量相似廣告對廣告生態(tài)造成諸多負(fù)面影響，在廣告推薦方面導(dǎo)致大盤分配效率下降、冷啟動速度慢、廣告空耗嚴(yán)重、跑量不穩(wěn)定等負(fù)面影響；在用戶體驗方面，大量相似廣告重復(fù)曝光造成用戶的反感與投訴。

【天印】廣告指紋系統(tǒng)以視覺相似為基本準(zhǔn)則，提供層級化指紋ID、Embedding及多種檢索能力，服務(wù)騰訊廣告投放、廣告召回、廣告推薦模型及廣告效果分析等全鏈路環(huán)節(jié)，有效解決相似廣告重復(fù)曝光、廣告推薦不穩(wěn)定等問題，改善廣告生態(tài)，并為廣告鏈路降本增效作出一定價值的貢獻。

（二） 系統(tǒng)架構(gòu)/功能

【天印】廣告指紋系統(tǒng)主要包括四個模塊，廣告流水解析、廣告元素特征提取、廣告聚類指紋/哈希指紋生成、廣告指紋入庫，具體模塊如下圖所示。同時為了配合下一代廣告系統(tǒng)升級，【天印】廣告指紋系統(tǒng)也從1.0版本升級到2.0版本。

【天印】廣告指紋系統(tǒng)當(dāng)前支持 4層級指紋ID（元素指紋/素材指紋/廣告指紋/商品指紋），支持 2層級Embedding，支持單模態(tài)、多模態(tài)、跨模態(tài)檢索， 支持元素、素材、廣告、商品的檢索。

（三） 技術(shù)解析

【天印】廣告指紋系統(tǒng)中最重要的模塊為Embedding提取模塊。我們使用了多模態(tài)+深度度量學(xué)習(xí)算法提取圖像 / 視頻 / 文案的Embedding，并創(chuàng)新地提出了角度量化（Angular Quantization）與Hash Bit Selection算法生成Hash指紋，技術(shù)達(dá)業(yè)界領(lǐng)先水平。

多模態(tài)Embedding算法：

視頻方面，我們提出了多模態(tài)多尺度視頻時空Transformer模型，引入了ASR文本信息輔助相似度計算，同時引入了文本模態(tài)Mask的數(shù)據(jù)增廣以及ASR模態(tài)缺失損失函數(shù)，提升了模型泛化性；相比于業(yè)界競品效果，算法在F1指標(biāo)提升了12%。圖像方面，我們使用多監(jiān)督信息，并引入了多層空間特征，使得模型能夠關(guān)注到除商品外的底層色彩、紋理等信息，以更好地反映圖片對之間的全局相似度，較業(yè)界常用算法多解決了80% badcases。

哈希量化算法：

經(jīng)典的ITQ等算法其目標(biāo)函數(shù)沒有考慮樣本間的Pairwise特征相似性，只降低了樣本的量化誤差，在某種程度上損失了一定的信息；為了更好地建模樣本的相似信息，保持樣本的原始相似性，我們自研了一個新的哈希算法AQ，其采用了獨特的離散優(yōu)化策略，直接求解二值哈希碼，在業(yè)界常用數(shù)據(jù)集上mAP提升3%；為了節(jié)省存儲資源并提升效果，我們進一步提出了哈希比特選擇（Hash Bit Selection）算法，借鑒特征選擇的思想，選出重要的哈希比特位，并丟棄冗余的哈希比特位。在業(yè)務(wù)數(shù)據(jù)集上，哈希比特選擇算法可降低編碼長度33%，節(jié)省哈希編碼存儲空間33%；在同等維度下，經(jīng)過哈希比特選擇后的哈希編碼相比單哈希算法的mAP最高可提升 ~4%。

（四）業(yè)務(wù)應(yīng)用

相似檢索系統(tǒng)已應(yīng)用于騰訊廣告推薦全鏈路。投放階段，基于相似指紋進行投前診斷，投放更加多樣性廣告素材提升用戶體驗；審核階段，基于相似圖片/視頻檢索，對不合格的相似圖片/視頻進行快速下架；在召回階段，提升曝光廣告的新鮮度等；推薦階段，指紋作為廣告?zhèn)忍卣鞅ＷC模型預(yù)估的穩(wěn)定性，提升模型大盤效果等等。

【混元】AI大模型

（一）多模態(tài)內(nèi)容理解

廣告內(nèi)容理解中有各種各樣的理解任務(wù)以及大量的無標(biāo)注數(shù)據(jù)，如何利用這些大量的無標(biāo)注數(shù)據(jù)產(chǎn)出一個通用的多模態(tài)內(nèi)容理解預(yù)訓(xùn)練大模型，并提升下游各理解任務(wù)的迭代效率和效果，是我們重點要解決的問題。

基于此背景，我們設(shè)計了一個適合廣告場景的多模態(tài)內(nèi)容理解大模型。該模型基于單流的Transformer結(jié)構(gòu)，提出多尺度視覺特征融合、層次化注意力交互、大規(guī)模對抗訓(xùn)練等諸多改進和設(shè)計：

• 多尺度視覺特征融合：視覺特征同時采用Region、Patch特征，以便獲取更豐富的視覺語義信息；

• 層次化注意力交互：針對Embedding交互，設(shè)計了采用全局+局部注意力的方式，這樣可以在不損失重要信息交互學(xué)習(xí)的情況下，節(jié)省計算開銷，提升訓(xùn)練效率；

• 大規(guī)模對抗訓(xùn)練：針對大模型在下游任務(wù)中容易過擬合的問題，在預(yù)訓(xùn)練和下游任務(wù)finetuning中引入了對抗噪聲訓(xùn)練的方式提升模型的魯棒性。

（二） 多模態(tài)文案生成

針對廣告文案，我們設(shè)計了多模態(tài)多任務(wù)文案生成大模型，可以用一個模型提供多種功能，當(dāng)前功能包含前綴生成、關(guān)鍵詞生成、夸張風(fēng)格生成、受控生成以及圖像描述生成等。用同一個模型完成多種任務(wù)可以在多個任務(wù)中遷移知識，節(jié)省訓(xùn)練樣本，也方便部署。當(dāng)前模型生成的結(jié)果已經(jīng)集成入文案助手的廣告文案推薦。相比檢索式的文案推薦，生成式的文案推薦可以適應(yīng)新出現(xiàn)的場景，引入外部知識。

（三） 跨模態(tài)檢索

視頻內(nèi)容的理解、推薦和搜索能力對于廣告內(nèi)容的投放、審核、推薦等環(huán)節(jié)至關(guān)重要。針對海量多模態(tài)廣告視頻數(shù)據(jù)，跨模態(tài)視頻-文本檢索技術(shù)是提高計算機對視頻內(nèi)容理解的重要手段之一，其不僅要求模型能夠捕捉模態(tài)內(nèi)部的細(xì)粒度語義信息，還需要學(xué)習(xí)跨模態(tài)數(shù)據(jù)之間的內(nèi)容關(guān)聯(lián)性。然而不同于單模態(tài)（圖片、視頻、文本）檢索任務(wù)，不同模態(tài)的數(shù)據(jù)分布存在天然的異質(zhì)鴻溝（heterogeneity gap）問題，且跨模態(tài)數(shù)據(jù)之間存在多對多映射的標(biāo)簽噪聲。

為了解決上述問題，我們的模型基于雙塔Transformer結(jié)構(gòu)，提出了層級跨模態(tài)交互技術(shù)，通過自注意力機制將單幀特征聚合成幀-片段-視頻的層級化視覺特征，同時針對文本模態(tài)得到單詞-短語-句子的層級化文本特征，最后通過層級化的對比學(xué)習(xí)，實現(xiàn)從多粒度角度分析兩種模態(tài)數(shù)據(jù)的相似程度。

除此之外，我們提出的自適應(yīng)標(biāo)簽去噪技術(shù)和邊緣樣本增強技術(shù)通過挖掘潛在的噪聲樣本以及強化邊緣樣本，進一步提升了模型的檢索精度。最終，我們的跨模態(tài)檢索大模型在五個最權(quán)威的國際跨模態(tài)檢索數(shù)據(jù)集榜單上都取得了Top 1的成績，成為業(yè)界標(biāo)桿。

總結(jié)

騰訊廣告多媒體AI技術(shù)團隊聚焦騰訊廣告場景，全力投入多媒體內(nèi)容的分析、理解、檢索、生成等全鏈路前沿AI技術(shù)研發(fā)，持續(xù)推進騰訊廣告智能化進程。當(dāng)前，我的團隊已經(jīng)構(gòu)建了較為完善的多媒體AI能力矩陣，研發(fā)了【混元】AI大模型，并以此為底座支持【巨闕】廣告內(nèi)容理解、【乾坤】廣告智能創(chuàng)作、【神針】廣告智能審核、【天印】廣告指紋系統(tǒng)等四大技術(shù)平臺。我團隊研發(fā)的這些技術(shù)處業(yè)界領(lǐng)先地位，已經(jīng)成為騰訊廣告技術(shù)基建中不可或缺的組成部分。

未來，我和團隊將繼續(xù)在AI技術(shù)道路上進行探索，持續(xù)提升騰訊廣告的技術(shù)影響力，為騰訊廣告業(yè)務(wù)創(chuàng)造更大的價值。