網站優化：robots.txt使用教程

首先，我來介紹一下什麼是robots.txt：robots.txt是搜索引擎中訪問網站的時候要查 看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什麼文件是可以被查看的。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是 否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的範圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有 被口令保護