7.29爬虫修复

1、加密算法sha、与时间加密。f12前端页面，所有文件中查询到指定字段。

2、加锁维护token或jwt之类的凭证，双if嵌套判断

3、熟悉公司整体项目框架，前端、nginx服务器，后端服务器

4、scrapy的爬虫过滤，注意重复url在srcapy.Request方法里面会过滤掉，重复字段的请求要允许过滤。

5、pymysql的异步修改、插入会产生链接问题，推荐使用DButl的连接池进行配置pymysql。