在文件分析(document analysis)中,搜索引擎查看搜索詞是否出現(xiàn)在文件的重要區(qū)域——標(biāo)題、元標(biāo)簽、H標(biāo)簽和頁面文字。搜索引擎也根據(jù)文件分析和其他因素嘗試自動衡量文件的質(zhì)量。對如今的搜索引擎來說,僅僅依靠文件分析是不夠的,所以它們也要考慮語義聯(lián)系。
語義聯(lián)系(semantic connectivity)指的是通常相互關(guān)聯(lián)的詞或詞組。例如,當(dāng)你看到al。ha,就會把它和夏威夷聯(lián)系起來,而不是佛羅里達(dá)。搜索引擎構(gòu)建自己的同義詞庫和字典,幫助確定某些詞或話題之間有什么樣的關(guān)系。
搜索引擎可以掃描它們的網(wǎng)上內(nèi)容數(shù)據(jù)庫,使用模糊集合理論和某些方程式將詞語聯(lián)系起來,開始像人類一樣理解頁面及網(wǎng)站。專業(yè)SEO人員不一定需要使用語義聯(lián)系測量工具來優(yōu)化網(wǎng)站,不過更高級的SEO人員會盡力充分利用每一個因素。
語義聯(lián)系測量對下面這些方面有幫助:
1、衡量選擇什么詞組作為目標(biāo)關(guān)鍵詞。
2、衡量有關(guān)某個話題的頁面上應(yīng)該包括什么關(guān)鍵詞組。
3、衡量其他高排名網(wǎng)站或網(wǎng)頁上的文字之間的關(guān)系。
4、尋找能提供相關(guān)主題鏈接的頁面。
這些資料技術(shù)性太強(qiáng)了,SEO人員只需要了解獲得有價(jià)值的信息的原則。要知道,雖然IR領(lǐng)域有成百上千個技術(shù)用語,其中很多難以理解,不過就算是SEO新手也可以區(qū)分和理解這些術(shù)語。
IR模型(搜索引擎)使用模糊集合理論(Lotfi Zadeh博士于1969年創(chuàng)建的模糊邏輯分支)來發(fā)現(xiàn)兩個詞之間的語義關(guān)系。IR系統(tǒng)并非使用同義詞典或字典來找出兩個詞之間是否有關(guān)系,而是使用自己的海量內(nèi)容數(shù)據(jù)庫來推測出詞之間的關(guān)系。
這個過程雖然聽起來復(fù)雜,但原理很簡單。搜索引擎需要依靠機(jī)器邏輯(對/錯、是/非等)判斷,機(jī)器邏輯相對人類有它的優(yōu)勢,但機(jī)器邏輯不能像人類一樣思考。對人類來說很直觀的事情,對計(jì)算機(jī)來說可能非常難以理解。
例如橘子和香蕉都是水果,但橘子和香蕉并不都是圓的。對人來說這是很直觀的事情。機(jī)器要理解這一點(diǎn)以及其他與此類似的概念,語義聯(lián)系是關(guān)鍵。網(wǎng)上大量的人類知識可以被收錄進(jìn)索引庫,并且從中分析出人類已經(jīng)建立起來的聯(lián)系。
所以機(jī)器掃描索引庫中“香蕉”和“橘子”這兩個詞出現(xiàn)的地方,注意到“圓形”和“香蕉”很少同時出現(xiàn),而“橘子’’和“圓形”經(jīng)常同時出現(xiàn),機(jī)器就知道橘子是圓的,而香蕉不是圓的。
這就是模糊邏輯發(fā)揮作用的地方。只要分析詞語以何種頻率一起出現(xiàn),在什么情況下一起出現(xiàn),模糊集合理論就可以幫助計(jì)算機(jī)理解詞語之間是怎樣相關(guān)的。一個在此基礎(chǔ)上有所擴(kuò)展的相關(guān)概念是潛在語義分析(LSA,Latent Semantic Analysis)。
通過研究億萬網(wǎng)頁的海量索引,搜索引擎可以“學(xué)習(xí)”哪些詞之間有聯(lián)系,哪些概念之間有聯(lián)系。例如,運(yùn)用LSA,搜索引擎能夠分辨前往ZOO(動物園)的trips(旅途)活動,經(jīng)常包括viewing wildlife(觀看野生生物)和animals(動物),可能是一次tour(旅行)的一部分。
現(xiàn)在在Google搜索一下“-zoo~trips”,注意,返回結(jié)果中加黑體的詞與上一段中的英文單詞相匹配。Google將相關(guān)詞顯示為黑體,并且能夠辨認(rèn)出哪些詞在它們的索引庫中經(jīng)常同時出現(xiàn)(連在一起,在同一頁或比較靠近的位置)。
某些形式的LSA計(jì)算成本太高,F(xiàn)在的搜索引擎還不能像麻省理工學(xué)院的最新型學(xué)習(xí)計(jì)算機(jī)那樣聰明地學(xué)習(xí)。例如,搜索引擎無法從它們的索引庫中學(xué)到,斑馬和老虎都是帶條紋的動物,雖然它們能意識到“條紋”和“斑馬”比“條紋”和“鴨子”更有語義關(guān)系。
潛在語義索引(LSI,Latent Semantic Indexing)將語義分析更進(jìn)一步,可以分辨相關(guān)聯(lián)的網(wǎng)頁。例如搜索引擎可能注意到一個頁面是關(guān)于doctor的,另一個頁面是關(guān)于physician的,根據(jù)這兩個頁面上經(jīng)常共同出現(xiàn)的其他詞,搜索引擎認(rèn)定這兩個頁面有一定關(guān)系。
所以,搜索physician時,談?wù)揹octor的頁面也可能出現(xiàn)。搜索引擎公司在這些技術(shù)上投資已經(jīng)很多年了。例如,2003年4月Google收購了Applied Semantics,這是一個以其語義文字處理技術(shù)聞名的公司。
這個技術(shù)現(xiàn)在用于Google AdSense的廣告系統(tǒng)中,也很有可能在核心搜索算法中使用。這些應(yīng)用使我們認(rèn)識到搜索引擎怎樣分辨網(wǎng)上詞匯、詞組以及概念之間的聯(lián)系。隨著語義聯(lián)系成為搜索引擎算法越來越重要的部分,可以預(yù)期,頁面、網(wǎng)站和鏈接的主題將會越來越受重視。
未來搜索引擎將更有能力理解概念和主題,分辨哪些內(nèi)容、鏈接、頁面與整個網(wǎng)站的主題不太吻合。