前言:为什么要使用http拦截

大多数爬虫玩家会直接选择API请求数据,但是有的网站需要解决扫码登录、Cookie校验、数字签名等,这种方法实现时间长,难度高。需求里面不需要高并发,有没有比较亲民的方法呢,答案是有的!


一、技术调研

通过百度搜索python实现http拦截,发现方法有很多,有使用抓包软件、有使用中间人…基本都需要安装证书设置代理,操作起来非常麻烦,小白很有可能在配置环境的时候就放弃选择了。
python实现http/https拦截-LMLPHP

二、技术选择

  1. Seleunim:实现请求拦截需要配合使用浏览器扩展工具,需要指定webdirve版本,还是比较麻烦。
  2. Mitmproxy:实现拦截请求,需要安装证书、设置代理非常麻烦,直接放弃。
  3. 抓包软件:需要安装抓包软
10-03 17:38