當我們制作網站時，一個完整的網站應該有301個重定向、404個頁面和robots.txt文件，這些都是制作網站所必需的。有經驗的網站管理員知道301重定向是為了集中，404重定向是為了在網站有死鏈時引導蜘蛛和增加用戶體驗。

那么網站robots.txt文件的功能是什么，如何編寫網站robots.txt

robots.txt協議(也稱為爬蟲協議、爬蟲規則、機器人協議等。)

robots.txt文件是存儲在網站根目錄下的TXT文本文檔。這是網站和蜘蛛之間的協議。

該網站告訴搜索引擎哪些頁面可以被抓取，哪些頁面不想通過機器人協議被抓取。推薦注意事項(深圳搜索引擎優化培訓)

robots.txt的角色是什么？

如果你的網站根目錄中有一個像robots.txt這樣的文件，蜘蛛在抓取你的網站時會首先訪問這個文件(robots文件通常存儲在根目錄中，蜘蛛首先訪問這個文件，所以這個文件非常重要)。

機器人文件用于告訴搜索引擎蜘蛛網站的哪些文件夾可以被檢索，哪些文件夾不能被檢索，從而確保我們網站的隱私內容不會被包括在內。

機器人網站的內容如下:

*替換0或任意數量的字符

$ End符號，描繪以xxx結尾的文件

？動態頁面的特別推薦閱讀(什么是網站地圖)

以下是機器人的書寫格式:

每行的第一個字母大寫。

必須用英語輸入法來寫

(注意)在繼續寫入之前，用戶代理“不允許”、“允許”后面跟有英文冒號加空大小寫。

每個主要搜索引擎蜘蛛的名字寫如下:

1.百度蜘蛛

拜德斯皮德的名字是拜德斯皮德。百度蜘蛛日志中也有百度蜘蛛-手機、百度蜘蛛-圖像、百度蜘蛛-視頻和百度蜘蛛-新聞。百度蜘蛛和百度蜘蛛圖片是百度蜘蛛的兩種。

2.谷歌蜘蛛:谷歌機器人，谷歌機器人移動，它的名字是抓取wap內容

3.蜘蛛，這家伙很勤奮

4.索索斯派德:索索斯派德，比360更勤奮

5.雅虎蜘蛛:雅虎！詆毀中國

6.有一只蜘蛛:你的機器人

7.搜狗蜘蛛:搜狗新聞蜘蛛

搜狗蜘蛛還包括以下幾種:搜狗蜘蛛、搜狗inst蜘蛛、搜狗搜狗蜘蛛2
博客、搜狗新聞蜘蛛、搜狗蜘蛛等。

8.MSN Spider: msnbot，MSN bot-媒體

9.冰蜘蛛:冰機器人