【前沿重器】句子相似度和匹配心法利器

【前沿重器】

本欄目主要和大家一起討論近期自己學(xué)習(xí)的心得和體會(huì)，與大家一起成長(zhǎng)。具體介紹：倉(cāng)頡專項(xiàng)：飛機(jī)大炮我都會(huì)，利器心法我還有。

(資料圖片僅供參考)

往期回顧

心法利器[13] | 任務(wù)方案思考：句子相似度和匹配

心法利器[14] | 任務(wù)方案思考：人工特征機(jī)器學(xué)習(xí)

心法利器[15] | 準(zhǔn)招分治效果調(diào)優(yōu)方案

心法利器[16] | 向量表征和向量召回

心法利器[17] | 算法服務(wù)及其相關(guān)配件

應(yīng)一些朋友之邀，想我談?wù)勥@兩個(gè)東西，那我就展開(kāi)談?wù)劙?，和大家分享分享?/p>

背景

搜索也好，檢索式對(duì)話也好，文本是一個(gè)很難繞開(kāi)的話題，雖然語(yǔ)義是一個(gè)重要因素，用語(yǔ)義相似度直接梭，但是用戶的感知可不是如此，很多用戶的感知更多是文本層面的相似要高于語(yǔ)義相似，或者說(shuō)，遇到語(yǔ)義相似和文本相似的時(shí)候會(huì)更優(yōu)先接受文本相似，畢竟文本使用戶能直接看到的，當(dāng)然語(yǔ)義相似度雖好，但是對(duì)于沒(méi)有什么標(biāo)注數(shù)據(jù)的情況，也是束手無(wú)策吧。

所以，即使語(yǔ)義相似度如火如荼地發(fā)展著，文本層面的匹配依舊是項(xiàng)目實(shí)踐中不可避免的關(guān)注點(diǎn)。

cqr&ctr概念

cqr和ctr的概念還是比較清晰明確的。

給定query 和title ，現(xiàn)在計(jì)算cqr和ctr。

講完了，就是這么簡(jiǎn)單，其實(shí)就是看兩者交集占query的占比和占title的占比，就是對(duì)應(yīng)的cqr和ctr。

當(dāng)然，由于這種計(jì)算會(huì)把所有詞的重要性考慮進(jìn)去，例如“怎么做作業(yè)”分別和“怎樣做作業(yè)”、“怎么做手機(jī)”，兩個(gè)的相似度就一樣了，此時(shí)就要考慮到給每個(gè)詞加點(diǎn)權(quán)重，這樣能更好地描述，這就是一個(gè)優(yōu)化的實(shí)用版本，加權(quán)

給定query ，有對(duì)應(yīng)的權(quán)重 和title ，以及對(duì)應(yīng)權(quán)重 ，現(xiàn)在計(jì)算cqr和ctr：

想到可能會(huì)有人問(wèn)到權(quán)重怎么來(lái)，這里我就要把我的歷史文章放出來(lái)了，之前是專門講過(guò)詞權(quán)重的問(wèn)題的：NLP.TM[20] | 詞權(quán)重問(wèn)題

這個(gè)應(yīng)該就是我自己平時(shí)用的版本了，而且屢試不爽。

而如果是要分析兩個(gè)句子綜合、無(wú)偏的相似度，只要相乘就好了：

細(xì)品

可以看到，這個(gè)東西很簡(jiǎn)單，就是一個(gè)基于統(tǒng)計(jì)計(jì)算的工具，但是我依然想仔細(xì)討論一下這個(gè)東西。

首先，有關(guān)相似度，其實(shí)我們很容易想到這個(gè)計(jì)算方法：

就是比較著名的jaccard相似度，當(dāng)然還有一個(gè)更加出名的方法，那就是BM25（更為常見(jiàn)，此處就不贅述了）。但是我并沒(méi)有選擇，為什么呢，其實(shí)核心就是1個(gè)點(diǎn)：

jaccard距離雖然能比較綜合、無(wú)偏向性地計(jì)算兩者的相似度，但問(wèn)題是，當(dāng)query和title長(zhǎng)度計(jì)算差距很大的時(shí)候，計(jì)算準(zhǔn)確性就會(huì)受到影響，而分成兩個(gè)指標(biāo)，則能夠充分表現(xiàn)兩者的相似性，當(dāng)然具體用哪種其實(shí)還是要看具體場(chǎng)景的，有的時(shí)候這種無(wú)偏向性對(duì)效果優(yōu)化還是有用的，但是有的時(shí)候其實(shí)會(huì)影響最終效果。

來(lái)看個(gè)例子，query是“我昨天新買的手機(jī)，今天怎么就不能開(kāi)機(jī)了”，title是“手機(jī)不能開(kāi)機(jī)”，這里可以，ctr無(wú)疑就是1，當(dāng)然cqr就比較低了，但是我們可以用ctr作為后續(xù)的排序特征或者過(guò)濾條件。

優(yōu)缺點(diǎn)

感覺(jué)有些東西想說(shuō)但是沒(méi)說(shuō)出來(lái)，直接總結(jié)一下這個(gè)方案的優(yōu)缺點(diǎn)吧，以便大家進(jìn)行方案選擇吧，這個(gè)優(yōu)點(diǎn)，是相對(duì)于常見(jiàn)的語(yǔ)義相似度模型而言的。

首先說(shuō)優(yōu)點(diǎn)：

能夠體現(xiàn)文本層面的相似度，在一些領(lǐng)域下體驗(yàn)比較好。

性能比語(yǔ)義相似度模型好很，所以是一個(gè)簡(jiǎn)單輕快的模型。

無(wú)監(jiān)督，詞權(quán)重的話用語(yǔ)料就可以訓(xùn)練了。

效果穩(wěn)定可追蹤。

當(dāng)然，還是有缺點(diǎn)的。

文本層面的匹配無(wú)法體現(xiàn)語(yǔ)義，同義詞、說(shuō)法之類的無(wú)法體現(xiàn)。

對(duì)切詞敏感，類似“充不進(jìn)去電”和“充電”就完全匹配不上。

應(yīng)用

有這些有缺點(diǎn)，其實(shí)我們就可以考慮這個(gè)相似度該怎么用了：

用于過(guò)濾一些肯定不對(duì)的答案。

無(wú)標(biāo)注數(shù)據(jù)下，這個(gè)指標(biāo)可以作為排序的指標(biāo)，對(duì)啟動(dòng)項(xiàng)目挺重要的。

作為排序特征，保證結(jié)果在文本層面還是比較接近的。

當(dāng)然，在一個(gè)比較完整的搜索或者是檢索式對(duì)話的系統(tǒng)里，其實(shí)這種文本相似度類的特征還是非常有收益的，結(jié)合語(yǔ)義相似度還是會(huì)有一些比較穩(wěn)定的收益。

小結(jié)

東西其實(shí)不難，卻是非常實(shí)用的技能，但是在應(yīng)用的過(guò)程中能夠想到的人其實(shí)很少，但有用的東西我們學(xué)起來(lái)也挺好。