网站防护检测：反爬、WAF 和验证码

服务器像 Chrome 浏览器一样打开地址，并查看响应：请求头、Cookie 和页面代码。每种防护系统都会留下自己的痕迹，比如 Cloudflare 的 __cf_bm Cookie 或 Akamai 的 _abck，检测就是读取这些痕迹。

我们从 Cloudflare 的地址只发一次请求。反爬会综合 IP、请求频率和行为，所以每分钟发一百次请求的爬虫，可能在我们单次请求能通过的地方遇到验证码。

这是一个带脚本的页面，用来检查是否是真实浏览器打开的：它会执行 JavaScript、读取指纹，有时还要求等待。curl 和 requests 过不了这种页面。

代理让请求使用不同的 IP，反爬开启验证的次数会减少。如果网站要求执行 JavaScript，只靠代理不够：需要浏览器或反检测浏览器，再接入代理。

不会。服务器只打开地址一次，把结果返回给你的浏览器，既不保存地址，也不保存网站的响应。