了解搜尋引擎的搜索、索引、排名工作原理

了解搜尋引擎的搜索、索引、排名工作原理
 

搜尋引擎主要功能是提供使用者最相關與最接近搜尋需求的結果與答案。

為了達成這項功能，搜尋引擎有三個主要的工作：
 

1.頁面爬行Page Crawling：
在網際網路Internet上搜索引擎會釋出robots機器人（稱為爬蟲或蜘蛛）搜索所有資訊頁面內容包含文字與圖片，並查看他們找到的每個 URL 的代碼及網頁內容、圖像、視頻、PDF 等。

順著網頁上的URL鏈接路徑，robots機器人能夠不斷找到新的資訊內容，並將其加到名為Caffeine的索引中( URL 的龐大數據庫)。
文章後段 - 會特別介紹 robots.
 

2.頁面索引Page Indexing：
針對頁面爬行發現的內容進行儲存並有系統的組織在搜尋引擎的索引庫中，一旦有搜尋請求，它就會從索引中將相關查詢的結果顯示出來。

其中有一個環節很重要，就是檢查一下網站是否有被收錄在索引庫中。

使用的方法很簡單 : 只要在搜尋引擎的網址列中輸入 site:你的網址 (例 : site:maya.com.tw)，如果有列入索引會是呈現在第一位置上看到。

如果輸入 site:你的網址 沒有出現網站，可能有幾個原因 :
1.網站剛做好尚未被收錄索引。
2.網站設計的代碼一開始就阻止搜尋引擎訪問及爬取。
3.該頁面沒有任何內外部連結。
4.網站因為某原因有害而正受到網路封鎖與處罰。(例如 : 網站已被病毒感染、惡意攻擊及垃圾郵件策略)

如果搜尋引擎尚未收錄，我們可以利用google、yahoo、bing的站長工具來註冊一個帳戶並提交網站地圖 sitemap.xml

3.頁面排名Page Rankings：
網站排名是按照使用者搜尋查詢的內容(關鍵字/詞/句)提供最最相關到最不相關的順序排列而來。
當有使用者輸入關鍵字進行搜尋時，搜尋引擎會在索引中找尋匹配絕對高度相關的內容，然後對該內容進行排名(序)。
這種按相關性對搜索結果進行的排序稱為排名。

一般來說網站的排名越高，是因為搜尋引擎的排名演算法則，認為該網站與查詢的相關重要性符合條件，排名也就越高。
相對的在網頁設計一但開始就要考慮這些因素，去進行整個網站製作的規劃完整性。

可以參考我之前發表的 2023 Google186個影響排名因素 | 完整列表
 (別忘了，GOOGLE一直在進行演算法的質量更新)
 

SERP(Search Engine Results Pages )搜尋結果頁，是指搜尋引擎對某個搜尋請求回饋的結果頁面。
根據搜尋類型的不同，可以有圖片、影片、新聞資訊、部落格等不同的結果頁。為什麼特別講SERP?
因為瀏覽者經由搜尋SERP結果頁面點擊其中的網站，也會影響頁面排名。

網站排名本身是會受點擊數據的影響(谷歌工程師 Edmond Lau 曾證實了這一點)很明顯搜尋引擎會使用點擊數據結果來反映在排名上，目的是提高搜尋結果的品質質量。

1.如果能從知名或權威的網站哪裡獲得(自然的)反向鏈接越多，您在搜尋結果中的排名可能就越靠前。
2.內容質量與相關性越接近使用者查詢的"關鍵字"匹配程度，也會是排名的依據。包含文字、圖片、視頻..等。
3.RankBrain機器學習，如果注意到排名較低的 URL 比排名較高的 URL 為使用者提供了更好的結果時，RankBrain 會將更相關的結果移到更高的排名位置。

另外，參與度指標也會是搜尋排名信號的依據。

1.點擊次數（來自搜索的訪問次數）
2.頁面停留時間（訪問者在離開頁面之前在頁面上花費的時間）
3.跳出率（用戶只查看一個頁面的所有網站會話的百分比）
4.Pogo-sticking（點擊一個有機結果然後快速返回到 SERP 以選擇另一個結果）

Robots.txt

以Google來講Googlebot 是如何處理 robots.txt 文件的呢?

Googlebot 找不到網站的 robots.txt 文件，它會繼續抓取該網站。

如果找到 robots.txt 文件，通常會遵循建議並繼續抓取該網站。

設定確保搜索引擎能夠發現您想要編入索引的所有內容。