robots.txt是放在網站中，文件級的網絡蜘蛛授權；而robots Meta標籤是放在網頁中，一般用於部分網頁需要
單獨設置的情況下。兩者的功能是一樣的。
Meta robots標籤必須放在<head>和</head>之間，格式：
<meta name="robots" content="index,follow" />
content中的值決定允許抓取的類型，必須同時包含兩個值：是否允許索引（index）和是否跟蹤鏈接（follow，
也可以理解爲是否允許沿着網頁中的超級鏈接繼續抓取）。共有4個參數可選，組成4個組合：
1.index,follow：允許抓取本頁，允許跟蹤鏈接。
2.index,nofollow：允許抓取本頁，但禁止跟蹤鏈接。
3.noindex,follow：禁止抓取本頁，但允許跟蹤鏈接。
4.noindex,nofllow：禁止抓取本頁，同時禁止跟蹤本頁中的鏈接。
以上1和4還有另一種寫法：
index,follow可以寫成all，如：
<meta name="robots" content="all" />
noindex,nofollow可以寫成none，如：
<meta name="robots" content="none" />
需要注意的是，robots Meta標籤很多搜索引擎是不支持的，只有少數搜索引擎能夠識別並按給定的值抓取。所
以，儘可能的使用robots.txt文件來限制抓取