一、背景与系统安全需求分析
1. 系统的重要性
上图所示是接口所属位置、对电商平台或在线商店而言，分类查商品都是很重要的，通过为用户提供清晰的商品分类，帮助他们快速找到所需产品，节省浏览时间，提升购物效率，是购物结算产生GMV的核心环节。那么电商平台为什么都很看重商品信息的爬取？
a. 数据收集和分析：这些数据对于市场研究、竞争分析、价格比较等方面非常有价值。可获得有关产品趋势、消费者偏好、价格波动等信息，有助于企业进行决策和制定营销策略。
b. 价格监控和动态调整：可以实时跟踪和监控竞争对手的价格变化。企业可以根据市场情况及时调整自己的产品定价，保持竞争力，并更好地满足消费者需求等。
2. 风险评估
a. 系统安全、以及触发各种报警
b. 数据安全
c. 带宽和服务器资源消耗
d. 不良竞争等；
3. 618期间的爬虫问题
由于这个接口还比较特殊，我们在3个版本前刚迁移color网关，其他低版本使用的是另一个物理网关我们暂且称: B网关，另外在B网关还由于一些历史原因区分了Get 和 Post 两个接口对客户端提供。所以一共是3个接口。
客户端有多平台：h5, 微信小程序、支付宝小程序、android、ios、rn.
a. 爬虫曲线明显从监控上看得出规律，另外性能也随之报警，并且不太确定是登陆爬虫还是不登陆爬虫。
b. 后台服务监控这3个接口过来的流量监控未区分color网关和B网关，还需要确定爬虫来源是从哪儿来
c. 各个平台的客户端都有爬虫，android的性能受影响更大，
d. 另外各端迁移color网关的情况不太一致，有个别端有问题降级为B网关，另外h5和rn不存在版本的问题，一切全切，而ios、android、小程序还存在老版本调老接口的问题。
二、反爬策略选择
1. 可选择的反爬策略
B网关可使用的策略
a. 登录态-未登录拦截
b. 反人类策略-频控用户pin维度频控
c. 安全人员进行行为分析，将pin到加黑名单
color网关可使用的神盾策略
a. 登录态-未登录拦截
b. 神盾防刷能力之一---加固
c. 神盾防刷能力之一---反爬
d. 神盾防刷能力之一---小号
e. 神盾防刷能力之一---风控
2. 如何选择？结合系统现状--在用户体验和反爬虫之间平衡
a. 由于历史没开登陆态，优先选择不开登陆态的
b. 看下版本占比，先处置老版本看看效果也就是老的B平台
c. 如果发现ab执行完效果不太明显，考虑老版本开启登陆态比如开登陆态
d. 如果开完登陆态还不OK，考虑下是爬虫有登陆态在爬，做下频控
e. 如果还不OK，考虑是爬虫爬的高版本，需要在color上发力了
f. 联系成熟的color团队沟通看下爬虫问题，然后他们给出建议和可以做的操作，评估申请执行
g. 最终不行再考虑下登陆态
h. 反爬虫过程中双方是一直在对抗，比如某些策略生效，对方想办法破解，持续加严，持续想办法破
三、实施反爬措施
备注：下面所涉及的监控有几类
a. 服务器后台的监控分客户端：全来源（包含B网关的GET和POST和Color的）监控
b. B网关自己的监控key分客户端：只包含B网关（GET和POST的接口各有单独的）监控
c. Color网关的监控分客户端：只包含Color网关的
-
找B网关的安全人员分析，识别到一些黑名单，加完之后效果不太明显，建议我们看下版本占比开启登陆态
-
找埋点分析人员取数拿到数据isColor=1是color网关， 0是B网关；isLogin=1是登陆，0是未登陆
-
单独看B网关和color网关的监控，发现都有爬虫，跟产品确认后开启老平台的登陆态校验-先用andorid端尝试看效果，某些竞品这类接口其实也开着登陆态拦截。
服务端针对andorid端监控
- 开启后效果显著，就也开启了B网关接口各端登陆态，发现H5、小程序没啥效果，怀疑是有登陆态的爬虫,安全人员继续分析
服务端针对H5端的监控
- 怀疑是登陆态的爬虫，安全人员想办法获取风险pin，方案是通过埋点通过行为分析取数，限制以下条件获取到35个pin，通晒后加黑名单
提数策略一
a.接口埋点时间范围：2023.05.30 2:00 - 2023.05.30 4:00
b.platcode = H5
c.单pin 访问 无 经纬度参数
d.单pin 访问 不同门店id 数量大于5个
提数策略二
a.接口埋点时间范围：2023.05.30 2:00 - 2023.05.30 4:00
b.platcode = H5
c.单pin 访问 >100 次
d.单pin 访问 中 不同门店id 数量大于10个
B网关的POST接口的H5端的监控
- 同时意识到为什么B网关的GET接口还有量？是正常用户，还是全是爬虫？找各端确认接口调用情况。确定各端都没有在调老的GET接口，再严谨一点想确定下到底是哪个平台过来的，找B网关人看了下日志是H5端来的，再次确认H5也不存在版本这个概念，那么就认定都是爬虫，决定直接下掉。
B网关针对GET接口的监控
- 小程序看着没啥效果，确定了下流量是从Color过来的，此时B网关能做的都做了，转战Color平台，联系神盾
先不考虑开启登陆态，看看神盾能做些什么策略调整，是否有效果。
- 神盾人员分析验数结果之后：
a. 神盾识别到一些没传uuid的情况，我们客户端各端确定uuid都必传，那么这部分就是刷子， 配置uuid为空就拦截的策略，来逼迫黑产传uuid来让反爬跟uuid相关的模型生效
b. 加固开启加严规则灰度10%，
c. 反爬开启增加识别策略
color网关的安全监控效果
- 到此这个阶段就相对比较OK了， 但是爬虫那边也在对抗破解改变策略继续爬，安生了几天，直到6月6号凌晨android平台有大量异常流量，再之后就开始慢慢的有规律的异常流量曲线，说明对方已经破解了开始继续爬了。并且android端性能监控比日常tp99翻倍，触发报警，怀疑可能在爬商品数据量大的商家
color网关android端6月6号激增异常流量
服务端android端监控6月7号开始了日常爬虫，说明已破解
反馈之后，补充识别策略，继续加严，另外小号有识别无拦截，是之前申请开启小号没通过，再次沟通开启，开启之后有效果。效果如下：
color网关安全监控的小号监控效果
- 但android还是有爬虫，性能没恢复，那么考虑开启频控，按单pin10次，无效果，单pin5次无效果，最终在夜里决定尝试开启下color网关的登陆态，效果立竿见影，性能恢复，说明是未登陆的用户来的爬虫，这也是为什么按pin限频效果不明显的原因，挑性能受影响最大的jddjAPP(android和ios)应用开启,由于神盾的操作都是基于接口+应用维度，所以一开全开。
服务端android端监控
-
但有个问题是客户端各端迁移到color网关的时候都没有去处理兼容color网关的拦截默认返回结果所以各端显示异常，好在color网关可以mock出参，想到按B网关开启登陆态拦截的出参去mock来适配客户端，找B网关要出参json如下：
{
"type": "1",
"code": "201",
"msg": "为了您的账号安全，请重新登录"
}
按上述出参mock后各端可以正常识别，但又发现新的问题是各个端的逻辑处理不一致， 登录态开启ios端用户体验不好，并无法跳转登陆 ， 由于在color网关中android和ios是用的同一个应用名，而开启登陆态的维度是应用维度，所以不得不关闭登陆态。
- 测试和客户端去确认前端各端是否有问题，以及后续对于登陆态的处理。 我们后端则跟前端一起思考下有没有别的方案，经过讨论有一种方案是mock反爬的出参code 605，但客户端接入color的3个版本中最老的那个版本没有接入反爬的sdk， 而网关开启登陆态又没法控制版本。
由于以上问题可行的方案是：ios端未接入反爬sdk的版本 降级调用B网关， 这样color可以开启登陆态。
但没采用这个可行的方案，因为降级为B网关需要层层审批，这个时候也临近大促结束，担心审批流程太慢，或者有别的未知问题，所以没采用。
-
继续咨询color平台的神盾侧方案，给出的方案是反爬、加固、小号都继续上加严，观察有无客诉。加严到差不多的影响的情况下暂时告一段落。
-
服务端兜底的反爬措施，我们具备的针对各端单独设置限流阀值的能力，解决单端有问题不影响其他端，将影响降至最低。以及快速扩容的能力。
四、color网关反爬效果
总体来说color的神盾相关的反爬还是很强大的，效果显著，在攻防之间一直有策略可以应对，点个赞，在此感谢相关人员，以及一起应对反爬的小伙伴们。
五、总结
在这次反爬经历中也有很多需要反思总结和提高的地方，下面列了几点给大家参考，希望本篇文章对大家有所帮助。
1.要尽量防患于未然，核心系统接口提前做好反爬的一些基础工作，避免被临时杀个措手不及。
2.涉及多网关的时候，要梳理爬虫的来源及特征，借助各物理网关的反爬能力，针对性的处理。
3.登录态开启需要提前测试确定影响，各端是否支持，用户体验是否受损，其它反爬措施同理。
4.微信小程序不能开启强登陆，会被认为违规进行处罚。
5.之前对于color的反爬能力知之甚少，低估了反爬能力以为开启了还有爬虫就没办法了，但事实上color还有很多策略是没有对外暴露的。
6.也不能认为爬虫就一定要反爬干净，因为规则越严格，越有可能误杀，需要再用户体验和反爬之间取个平衡，在保证用户体验的基础上尽量提高爬虫成本，减少爬虫对系统的影响。
- 后端需要具备的能力针对各端单独设置限流阀值。解决单端有问题不影响其他端，将影响降至最低。
作者：京东零售 连迎迎
来源：京东云开发者社区 转载请注明来源