过去一年，人工智能（AI）为网络安全军备竞赛注入了活力。未来的12个月，这种激烈的对抗态势不会减弱。这对企业网络安全团队及其雇主，乃至日常网络用户都有着重大影响。尽管人工智能技术帮助防御方提升了安全性，但恶意分子也在抓紧利用人工智能驱动的工具，因此，我们预计诈骗、社会工程学攻击、账户欺诈、虚假信息及其他威胁的数量将有所上升。
以下是2025年值得关注的内容：
需警惕的威胁
2024年初，英国国家网络安全中心（NCSC）曾警告称，各类威胁分子已开始使用人工智能，且 "未来两年，网络攻击的数量和影响肯定会增加"。在社会工程学攻击方面，威胁尤为严峻 ------ 生成式人工智能（GenAI）能帮助恶意分子设计极具说服力的攻击活动；在侦察环节，人工智能可以自动大规模识别易受攻击的资产。
这些趋势无疑将延续至2025年，此外，人工智能的应用可能还会涉及以下方面：
-
绕过身份验证：深度伪造技术被诈骗者利用，在新账户创建和账户访问的自拍及视频验证环节冒充客户。
-
商业电子邮件妥协（BEC）：人工智能再次被用于社会工程学攻击，此次目的是诱骗打款人将资金转入诈骗者控制的账户。深度伪造的音频和视频还可能被用于在电话和虚拟会议中冒充首席执行官及其他高级管理人员。
-
冒充诈骗：开源大型语言模型（LLM）为诈骗者提供了新机会。通过利用从被黑客攻击或公开可访问的社交媒体账户中抓取的数据对模型进行训练，诈骗者可在虚拟绑架等诈骗活动中冒充受害者，以此欺骗受害者的亲友。
-
网红诈骗：同样，预计2025年诈骗者会利用生成式人工智能创建模仿名人、网红及其他知名人士的虚假或重复社交媒体账户。他们会发布深度伪造视频，诱使粉丝提供个人信息和资金，例如在投资和加密货币诈骗中，包括 ESET 最新《威胁报告》中重点提及的那些骗局。这将给社交媒体平台带来更大压力，促使其提供有效的账户验证工具和标识，同时也要求用户保持警惕。
-
虚假信息：敌对国家及其他团体将利用生成式人工智能轻松生成虚假内容，诱骗轻信的社交媒体用户关注虚假账户。
-
密码破解：人工智能驱动的工具能够在几秒钟内大规模破解用户凭证，从而侵入企业网络、获取数据以及访问客户账户。
2025年人工智能引发的隐私担忧
未来一年，人工智能不仅会成为威胁分子的工具，还可能带来更高的数据泄露风险。大型语言模型需要海量的文本、图像和视频来进行训练。其中，往往会不经意地包含一些敏感数据，如生物识别信息、医疗健康数据或财务数据。在某些情况下，社交媒体及其他公司可能会修改服务条款，以使用客户数据来训练模型。
一旦这些信息被人工智能模型获取，若人工智能系统本身遭到黑客攻击，或通过运行在大型语言模型之上的生成式人工智能应用程序与他人共享，都将对个人构成风险。对于企业用户而言，还有一个担忧是，他们可能会在不知不觉中通过生成式人工智能的提示词分享敏感的工作相关信息。一项调查显示，五分之一的英国公司曾因员工使用生成式人工智能而意外泄露了潜在的敏感企业数据。
2025年防御方的人工智能应用
好消息是，随着人工智能被融入新的产品和服务，未来一年，它在网络安全团队的工作中所扮演的角色将愈发重要。在人工智能驱动安全的悠久历史基础上，这些新产品和服务将有助于：
-
生成合成数据，用于培训用户、安全团队乃至人工智能安全工具。
-
为分析师总结冗长复杂的威胁情报报告，促进事件的快速决策。
-
通过为人力紧张的团队提供警报的背景信息和优先级排序，以及自动化调查和补救工作流程，提高安全运营的效率。
-
扫描大量数据，寻找可疑行为迹象。
-
通过各类产品中内置功能，提升 IT 团队的技能，降低配置错误的可能性。
然而，IT 和安全领导者也必须认识到人工智能的局限性，以及人类专业知识在决策过程中的重要性。2025年需要在人与机器之间取得平衡，以降低幻觉、模型退化及其他潜在负面后果的风险。人工智能并非万能药，必须与其他工具和技术相结合，才能达到最佳效果。
合规与执法方面的人工智能挑战
威胁格局和人工智能安全的发展并非孤立存在。2025年的地缘政治变化，尤其是美国的相关变化，甚至可能导致科技和社交媒体行业的监管放宽。这反过来可能会让诈骗者和其他恶意分子有机会在网络平台上大量散布人工智能生成的威胁。
与此同时，在欧盟，人工智能监管仍存在一些不确定性，这可能会给合规团队带来更多困难。正如法律专家所指出的，实践准则和指导方针仍有待制定，人工智能系统故障的责任认定也需明确。科技行业的游说可能还会改变《欧盟人工智能法案》的实际实施方式。
但有一点是明确的：2025年，人工智能将从正反两方面彻底改变我们与技术的互动方式。它为企业和个人带来了巨大的潜在益处，但也带来了必须加以管理的新风险。在未来一年，各方携手合作符合所有人的利益，政府、私营企业和终端用户都必须发挥各自的作用，共同利用人工智能的潜力，同时减轻其风险。