我的 robots.txt 看起来像这样:
User-agent: *
Disallow: /admin
Disallow: /test
User-Agent: Googlebot
Disallow: /maps
现在 Google 忽略了 user-agent * 部分，只遵守特定的 Googlebot 指令 (/maps)。这是正常行为吗，不应该也遵守 useragent * 指令 (/admin,/test)？
必须为每个用户代理添加每一行似乎很奇怪？
最佳答案
没关系，谷歌声明如下:
关于seo - robots.txt 中用户代理的顺序，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/14065889/