# robots.txt for https://www.mi97kb.cn/ # 允许所有搜索引擎爬虫访问 User-agent: * Allow: / # 网站地图位置 Sitemap: https://www.mi97kb.cn/sitemap.xml # 常见搜索引擎爬虫的特定规则 # Google User-agent: Googlebot Allow: / Crawl-delay: 1 # Bing User-agent: Bingbot Allow: / Crawl-delay: 1 # Baidu(百度) User-agent: Baiduspider Allow: / Crawl-delay: 1 # 360搜索 User-agent: 360Spider Allow: / Crawl-delay: 1 # 搜狗 User-agent: Sogou web spider Allow: / Crawl-delay: 1 # Yandex User-agent: Yandex Allow: / Crawl-delay: 1 # 禁止抓取某些文件类型(如果需要) # Disallow: /*.js$ # Disallow: /*.css$ # 说明: # 本网站允许所有合法搜索引擎爬虫抓取 # 爬虫延迟设置为1秒,以保护服务器性能 # 网站地图定期更新,便于搜索引擎索引