使用微信掃一掃
掃一掃關注官方微信 robots.txt的寫法
- 來源：縱橫數據
- 作者：中橫科技
- 時間：2019/12/24 14:49:14
- 類別：新聞資訊
robots.txt的寫法
（1）美國站群服務器允許所有的robot訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一個空文件”robots.txt”即可。
（2）僅禁止某個機器人訪問您的網站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多關于robots討論，可以qq442780253，關注縱橫云Alice分享
全球服務器租用|海外服務器租用|網站建站一站式網絡解決方案-縱橫云
（1）美國站群服務器允許所有的robot訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一個空文件”robots.txt”即可。
（2）僅禁止某個機器人訪問您的網站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多關于robots討論，可以qq442780253，關注縱橫云Alice分享
全球服務器租用|海外服務器租用|網站建站一站式網絡解決方案-縱橫云
