作者：京東零售 谷偉

1.商品搜索

1.1網(wǎng)絡(luò)購(gòu)物的搜索手段

隨著移動(dòng)互聯(lián)網(wǎng)發(fā)展，手機(jī)端購(gòu)物已成為人們生活的常態(tài)。人們?cè)谒阉魃唐窌r(shí)采用的手段也越來(lái)越豐富，當(dāng)前的主要搜索方式是文本搜索與拍照搜索。

1.2文本搜索

文本搜索應(yīng)用比較廣泛，較為常用的是關(guān)鍵字匹配，針對(duì)商品信息的相關(guān)描述進(jìn)行分詞，并對(duì)分詞建立索引庫(kù)，從而達(dá)到查找的目的。隨著人工智能的發(fā)展，語(yǔ)義搜索得到了快速的發(fā)展，它通過(guò)用戶輸入的搜索內(nèi)容來(lái)理解用戶真正的意圖，從而獲得更有價(jià)值的內(nèi)容。其本質(zhì)是將所有要搜索的內(nèi)容轉(zhuǎn)化為高維數(shù)學(xué)向量，用統(tǒng)一的特征向量來(lái)描述不同內(nèi)容，把檢索輸入的內(nèi)容向量化，并與要搜索的內(nèi)容進(jìn)行向量匹配，把相似度最高的結(jié)果展現(xiàn)出來(lái)。

1.3拍照搜索

拍照搜索也就是以圖搜圖，是近幾年的視覺(jué)AI發(fā)展的一個(gè)產(chǎn)物。用戶登錄電商平臺(tái)，可以通過(guò)上傳圖片，經(jīng)過(guò)圖像分析與識(shí)別來(lái)查找相似的商品主圖，從而找出相關(guān)的商品。其基本原理是經(jīng)圖像分析抽取圖像的顏色、形狀、紋理等特征，建立特征索引庫(kù)，對(duì)用戶上傳的圖像進(jìn)行特征化描述，從索引庫(kù)中查找出與之近似的特征圖像。

2. 現(xiàn)狀分析

2.1需要專業(yè)人員參與

文本搜索需要文本描述的支持，也就是需要對(duì)短視頻進(jìn)行文本描述，需要人員對(duì)短視頻進(jìn)行準(zhǔn)確的文本描述，尤其描述中要含有代表其商品的關(guān)鍵詞，否則可能難以被搜索引擎所命中，這對(duì)視頻的發(fā)布人員產(chǎn)生了一定的門(mén)檻，增加搜索命中的難度。

拍照搜索主要是對(duì)商品的主圖進(jìn)行特征匹配，這也就需要商品發(fā)布人員要制作盡可能與之匹配的圖片，尤其需要美工設(shè)計(jì)人員的參與，從而增加了人力成本。

2.2難以支持短視頻搜索

隨著近幾年自媒體的發(fā)展，短視頻逐漸成為互聯(lián)網(wǎng)信息傳播的主要手段。而短視頻可以認(rèn)為是大量圖片的集合，不可能對(duì)短視頻的每張圖片建立特征索引，因?yàn)檫@會(huì)浪費(fèi)大量的計(jì)算機(jī)算力。

3. 技術(shù)方案

3.1 技術(shù)問(wèn)題

以前商品介紹主要以圖文方式來(lái)展現(xiàn)商品，不僅要展示商品主圖還要配細(xì)節(jié)圖，以及產(chǎn)品參數(shù)，從而達(dá)到全面涵蓋產(chǎn)品信息的能力。而短視頻能夠全方位的展示商品，并搭配語(yǔ)言描述以及背景音樂(lè)，可進(jìn)一步形象的給消費(fèi)者介紹商品的功能，給顧客更直觀的體驗(yàn)，有助于促進(jìn)下單。同時(shí)商家制作的短視頻可將其推送到自媒體平臺(tái)上，便于給商品引流，提高商品銷(xiāo)量，從而拓寬了銷(xiāo)售市場(chǎng)。

因此短視頻營(yíng)銷(xiāo)相對(duì)于圖文營(yíng)銷(xiāo)更有優(yōu)勢(shì)，如何讓顧客能夠更快更便捷地搜索到其感興趣的商品短視頻，是本發(fā)明所要解決的主要問(wèn)題。本方案主要解決的是商品短視頻搜索，按照類目維度對(duì)商品短視頻進(jìn)行篩選，并提高視頻搜索的命中率，為商品短視頻搜索建立橋梁。

3.2 技術(shù)方案

展開(kāi)全文

3.2.1 流程圖

流程圖：

3.2.2 詳細(xì)描述

1.關(guān)鍵幀提取

賣(mài)家在制作好商品介紹的短視頻后，在發(fā)布商品時(shí)對(duì)短視頻進(jìn)行上傳，視頻時(shí)長(zhǎng)不能超過(guò)2分鐘。對(duì)該視頻進(jìn)行關(guān)鍵幀提取。視頻是由一組連續(xù)的圖像組成，如果每張圖片都存儲(chǔ)下來(lái)，則會(huì)導(dǎo)致視頻文件過(guò)大，因此視頻都會(huì)被壓縮，在壓縮過(guò)程中，產(chǎn)生了I幀、P幀、B幀。I幀是畫(huà)面的完整保存，它盡可能去除了圖像空間的冗余信息；P幀則是記錄與前一個(gè)關(guān)鍵幀的差別；B幀是記錄本幀與上一幀和下一幀的差別。

因此只需提取出I幀即可。在MPEG-4標(biāo)準(zhǔn)中，stss部分標(biāo)識(shí)了哪些sample是關(guān)鍵幀，如果沒(méi)有stss則全部sample是關(guān)鍵幀。當(dāng)獲取的關(guān)鍵幀太多時(shí)，以時(shí)間軸維度，隨機(jī)選取20幀的圖像供商家選擇，把商家選取的5張圖片與視頻文件一同保存到文件數(shù)據(jù)庫(kù)中。

Mp4標(biāo)準(zhǔn)

Box類型說(shuō)明ftyp?????文件類型moov?????記錄媒體信息?mvhd????視頻文件信息，如時(shí)長(zhǎng)、創(chuàng)建時(shí)間等?track????存放視頻的容器??tkhd???媒體總體信息，如寬高等??mdia???媒體容器???mdhd??換算真實(shí)事件???hdlr??媒體類型，指明是video、audio、hint???minf??媒體信息容器????stbl?偏移映射關(guān)系表?????stsdsample描述?????stts時(shí)戳-sample序號(hào)映射表?????stscsample與chunk的映射表?????stszsample的大小?????stz2另一種存儲(chǔ)sample的大小，更節(jié)省空間?????stss關(guān)鍵幀列表（從該處獲得I幀）?????stco每個(gè)chunk的偏移?????co6464位chunk的偏移mdat?????具體的媒體數(shù)據(jù)2.特征向量計(jì)算

本次的特征向量計(jì)算采用的是VGG16模型。由于關(guān)鍵幀的圖片都是彩色圖片，因此采用3通道。卷積核為3×3，池化核為2×2。以224×224的視頻圖像為例，過(guò)程如下：

3.向量數(shù)據(jù)庫(kù)

向量在存儲(chǔ)時(shí)要把文件數(shù)據(jù)庫(kù)中的ID同時(shí)存下來(lái)，以及商品ID，從而建立向量、文件、商品的關(guān)系。向量搜索都是相似性搜索，通過(guò)兩個(gè)向量在高位空間的距離來(lái)做判斷，其實(shí)就是在高維空間中找到與目標(biāo)向量最接近的K個(gè)向量，一般采用歐式距離計(jì)算，其公式：

為了召回精度高，暴力搜索的是最好的選擇。但這會(huì)產(chǎn)生大量的不必要的計(jì)算，浪費(fèi)了計(jì)算機(jī)資源。因此本方案采用類目維度進(jìn)行切割。減少搜索范圍。

4.視頻搜索

買(mǎi)家需要選擇要搜索的類目再進(jìn)行圖片上傳，通過(guò)VGG16模型計(jì)算出特征向量，然后基于類目維度進(jìn)行暴力搜索把最接近的K個(gè)向量篩選出來(lái)。最后再根據(jù)向量與文件的關(guān)系，把視頻文件查找出來(lái)，返回給買(mǎi)家。

5.視頻淘汰策略

每日進(jìn)行定時(shí)巡檢，對(duì)于長(zhǎng)時(shí)間沒(méi)有流量或者流量低于閾值的商品，需要從向量庫(kù)中對(duì)其短視頻進(jìn)行邏輯刪除，盡可能減少搜索的體積，減少計(jì)算資源的浪費(fèi)。