溫州網站建設公司須知Robots.txt文件是什么

robots.txt是搜索引擎看見的第一個文件，可以通過定義這個文件告訴搜索引擎哪些內容可以抓取、哪些內容不能抓取。

當一個搜索引擎訪問網站的時候，首先查看網站根目錄下有沒有robots.txt這個文件，如果有，搜索引擎會按照robots.txt文件里面的指令抓取網站；如果沒有，搜索引擎會沿著網站的鏈接進行抓取，這時抓取是沒有規律的，不想讓搜索引擎抓取的內容也有可能被抓取。