随着人工智能生成的深度伪造产品的使用日益增多，电子商务欺诈行为急剧增加，给在线商家带来了前所未有的安全挑战。
研究公司 Juniper 的一份报告预测，全球损失将增加 141%，从 2024 年的 440 亿美元增至 2029 年的惊人的 1070 亿美元。
报告指出，人工智能是导致这些欺诈行为日益复杂化的主要因素，该技术被用来绕过保护在线交易的验证系统。
该研究还发现"友好欺诈"现象有所增加，即客户自己利用系统进行退款欺诈等活动，这进一步给商家的盈利能力造成了压力。
人工智能使欺诈者能够大规模创建合成身份并编造高度可信的消息，从而压倒传统的基于规则的预防系统，从而使安全措施处于领先地位。
报告警告说，随着这些技术的可扩展性不断提高，攻击的频率和质量不断上升，对全球电子商务生态系统构成越来越严重的风险。
情境防御
为了打击日益严重的欺诈活动，商家必须优先提高 KYC（了解你的客户）水平，并不断确认代表其客户的"人"是否是他们所声称的那个人。
商家必须做出两个重要转变，一是不要假设凭证是某个实际特定的人，二是不要为了证明自己而给顾客的体验增加阻力。
在人工智能时代，企业必须在其网络安全响应中添加背景信息。
这将使他们能够确定要响应的内容和响应的优先次序。
它可以实现更多基于策略的自动响应，并突出显示需要立即人工关注的内容。
这也表明我们需要摆脱因发送大量误报而臭名昭著的传统异常检测技术。
传统的安全解决方案是挑战的一部分，因为不良行为者已经开发了专门的工具来克服和超越这些解决方案。
传统的安全解决方案并非动态设计，无法随时适应。通常，它们被降级为事后取证的一部分。
人工智能防御的优势与风险
犯罪人工智能的早期状况似乎更多是罪犯欺骗其他罪犯的骗局，但情况正在发生变化。
目前，这些能力使他们能够更快、更大规模地发动类似攻击。
没有什么是真正的"新"，因为人工智能本质上是回顾性的，但恶意行为者可以更快、更大数量地制作网络钓鱼诱饵。
攻击者还使用 GenAI 来更快地研究和综合信息。
使用人工智能来防止欺诈可能是一场短期的交易，因为攻击者可以轻易操纵此类系统来人为地拒绝安全交易。
企业必须在减少欺诈和误报造成的客户摩擦与增加欺诈和减少客户摩擦以保持资金流动之间做出选择。
将人工智能用于网络安全本质上是危险的，因为攻击者已经可以欺骗自动化系统，而且他们在这方面的经验比网络安全专家在预防方面的经验多了几十年。
任何人工智能工具都应该进行 10% 的人工审核，直到质量确定，之后再进行 1% 的人工审核。如果错误率再次上升，那么就回到 10%。
这使得能够在 AI 系统被训练检测之前捕捉到攻击者行为发生变化的情况。