抖音首次公開(kāi)推薦算法原理

3月30日消息，抖音總裁韓尚佑今日宣布，“抖音安全與信任中心”網(wǎng)站上線(xiàn)。網(wǎng)站首次公開(kāi)抖音推薦算法原理，介紹其推薦算法如何預估用戶(hù)行為概率，并通過(guò)多目標建模等方式實(shí)現更優(yōu)質(zhì)、豐富的內容推薦，而算法需由平臺治理體系對其進(jìn)行約束和規范。

據了解，網(wǎng)站也披露了抖音平臺治理的審核流程，闡述平臺如何應對謠言、網(wǎng)暴等違規內容帶來(lái)的挑戰。

同時(shí)，抖音還介紹了自家的“Wide&Deep”和“雙塔召回”兩種模型。

Wide&Deep模型的主要思路正如其名，是由單層的 Wide 部分和多層的Deep部分組成的混合模型。其中，Wide部分的主要作用是讓模型具有較強的“記憶能力”(memorization)，“記憶能力”可以被理解為模型直接學(xué)習并利用歷史數據中物品或者特征的“共現頻率”的能力;Deep部分的主要作用是讓模型具有“泛化能力”(generalization)，“泛化能力”可以被理解為模型傳遞特征的相關(guān)性，以及發(fā)掘稀疏甚至從未出現過(guò)的稀有特征與最終標簽相關(guān)性的能力。

Wide&Deep模型的這一結構特征，可以解決協(xié)同過(guò)濾算法的短板。協(xié)同過(guò)濾算法優(yōu)點(diǎn)突出，但是其局限性也很明顯，就是泛化能力差，推薦的結果頭部效應比較明顯。也就是容易造成信息單一問(wèn)題。

一條視頻從海量信息中被選中，推送給用戶(hù)，一般要經(jīng)過(guò)進(jìn)入內容池、召回、排序三個(gè)環(huán)節。用戶(hù)發(fā)布的新視頻首先要經(jīng)過(guò)初步評估進(jìn)入內容池，然后進(jìn)入召回環(huán)節，其作用是從海量的內容池中，初步快速粗篩出一大批用戶(hù)可能感興趣的內容。

舉例來(lái)說(shuō)，召回環(huán)節需要用到召回模型，抖音最常用的召回模型是“雙塔召回模型”(Two-Tower Retrieval Model)。雙塔召回模型把用戶(hù)和內容都轉化為數學(xué)空間里的一個(gè)個(gè)點(diǎn)，就像是給用戶(hù)和內容貼上了獨特的“數字標簽”，這個(gè)過(guò)程叫做向量化表征學(xué)習。其大概過(guò)程如下：

• (1)分別將用戶(hù)特征、內容特征進(jìn)行數學(xué)轉化(如展示小貓的視頻為 0，展示小狗的視頻為 1，短視頻為 0，長(cháng)視頻為 1，那么一個(gè)展示小貓的長(cháng)視頻即(0，1)，其實(shí)際長(cháng)度取決于特征有多少維度，用戶(hù)特征同理);
• (2)將轉化后的數學(xué)特征輸入到用戶(hù)塔、內容塔兩個(gè)深度學(xué)習模型中，經(jīng)過(guò)訓練，各自形成一組新的數字集合，這叫做用戶(hù)表征和內容表征。在這一步，原本各自代表一個(gè)現實(shí)特征的數字不再具備任何實(shí)際語(yǔ)義，兩個(gè)模型會(huì )把用戶(hù)特征和內容特征都轉化為沒(méi)有現實(shí)意義的數字代碼 —— 因此，算法不用理解現實(shí)語(yǔ)義，只需處理純粹的數學(xué)符號;
• (3)將兩組形式為純粹的數字集合的用戶(hù)表征和內容表征，放入同一個(gè)向量空間中，每一組數字集合便在向量空間中擁有了一組專(zhuān)屬的向量值，好比一組獨有的“數字指紋”;
• (4)將訓練過(guò)的所有內容表征的向量值和當前用戶(hù)表征的向量值的距離進(jìn)行對比，距離越接近代表用戶(hù)越喜歡。當你的“數字指紋”和某個(gè)視頻的“數字指紋”在坐標系里剛好比較“匹配”(距離近)，算法就會(huì )推薦它。

今年1月，抖音集團宣布擬推出10項措施，推動(dòng)平臺工作透明化，創(chuàng )建安全與信任的平臺環(huán)境，打造更良好的網(wǎng)絡(luò )生態(tài)，其中包括推進(jìn)算法透明化和推進(jìn)平臺治理透明化。

1.推進(jìn)算法透明化。2025年，抖音將建設安全與信任中心網(wǎng)站和線(xiàn)下公示展廳，面向社會(huì )全面深入地公開(kāi)抖音的算法基礎運作原理、運營(yíng)機制，也將對外公布各類(lèi)熱點(diǎn)榜單的計算原理和機制，提高透明度。

2.推進(jìn)平臺治理透明化。抖音將持續加大治理工作的技術(shù)研究、產(chǎn)品人力、資金投入。在抖音安全與信任中心，我們將面向社會(huì )全面公開(kāi)抖音的社區規范、審核標準、審核機制;并將定期公開(kāi)平臺治理的各類(lèi)典型違規案件和現象，明確對各類(lèi)問(wèn)題的治理態(tài)度，接受公眾監督。