1、爬行和抓取

搜索引擎派出一個能夠在網上發現新網頁并抓取文件的程序，這個程序通常被稱為蜘蛛或機器人。搜索引擎蜘蛛從數據庫中已知的網頁開始出發，就像正常用戶的瀏覽器一樣訪問這些網頁并抓取文件。

并且搜索引擎蜘蛛會跟蹤網頁上的鏈接，訪問更多網頁，這個過程就叫爬行。當通過鏈接發現有新的網址時，蜘蛛將把新網址記錄入數據庫等待抓取。跟蹤網頁鏈接是搜索引擎蜘蛛發現新網址的最基本方法，所以反向鏈接成為搜索引擎優化的最基本因素之一。沒有反向鏈接，搜索引擎連頁面都發現不了，就更談不上排名了。

搜索引擎蜘蛛抓取的頁面文件與用戶瀏覽器得到的完全一樣，抓取的文件存入數據庫。

2、索引

搜索引擎索引程序把蜘蛛抓取的網頁文件分解、分析，并以巨大表格的形式存入數據庫，這個過程就是索引。在索引數據庫中，網頁文字內容，關鍵詞出現的位置、字體、顏色、加粗、斜體等相關信息都有相應記錄。

3、搜索詞處理

用戶在搜索引擎界面輸入關鍵詞，單擊“搜索”按鈕后，搜索引擎程序即對輸入的搜索詞進行處理，如中文特有的分詞處理，對關鍵詞詞序的分別，去除停止詞，判斷是否需要啟動整合搜索，判斷是否有拼寫錯誤或錯別字等情況。搜索詞的處理必須十分快速。

4、排序

對搜索詞進行處理后，搜索引擎排序程序開始工作，從索引數據庫中找出所有包含搜索詞的網頁，并且根據排名計算法計算出哪些網頁應該排在前面，然后按一定格式返回“搜索”頁面。

排序過程雖然在一兩秒之內就完成返回用戶所要的搜索結果，實際上這是一個非常復雜的過程。排名算法需要實時從索引數據庫中找出所有相關頁面，實時計算相關性，加入過濾算法，其復雜程度是外人無法想象的。搜索引擎是當今規模最大、最復雜的計算系統之一。