我已经设置了边缘缓存来缓存HTML内容。当资源被浏览器或curl命中时，它工作得非常好。在这两种情况下，第一个请求使缓存升温，第二个请求直接从cloudflare提供服务。
然而，通过我的日志，我注意到像bing、yahoo和google这样的爬虫程序似乎并没有暖化缓存。
当我访问以前被浏览器中的爬虫或通过curl访问的url时，随后的请求也会访问我的源服务器（根据我的服务器日志）。
这是计划大小（常规与企业）、错误配置的问题，还是CloudFlare特例爬虫用户代理的问题？
最佳答案
如果您的站点不是从google通常会从的位置访问的，那么它在cloudflare缓存中可能不热。
根据搜索引擎对站点爬网的频率，您可能会从cloudflare中的setting a higher Edge Cache Expire TTL中看到一些好处；为此，您需要use CloudFlare's Page Rules。
如果你想要定制更多的产品，最好联系CloudFlare's Enterprise Sales team。
关于http - Cloudflare Edge Caching忽略爬虫，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/37706963/