生成式人工智能的发展既带来了有益的生产力转型机会，也提供了被恶意利用的机会。
最近，Abnormal Security的研究人员发现了一个专门为网络犯罪创建的无审查AI聊天机器人------GhostGPT，是人工智能用于非法活动的新前沿，可以被用于网络钓鱼计划、恶意软件开发和漏洞利用开发。
GhostGPT的主要特点
- **快速处理：**使攻击者能够快速生成恶意内容。
- **无日志政策：**声称不记录用户活动，吸引那些寻求匿名的人。
- **易于访问：**通过 Telegram 分发，用户无需技术专业知识或额外软件设置即可访问。
GhostGPT被宣传为用于各种网络犯罪活动的工具，包括：
- 制作恶意软件和漏洞利用程序。
- 为商业电子邮件泄露（BEC）诈骗编写钓鱼邮件。
- 自动化社交工程攻击。
为了测试其功能，研究人员提示GhostGPT创建一封模仿DocuSign的钓鱼邮件。
GhostGPT生成的一个令人信服的模板
聊天机器人很快生成了一个令人信服的模板，可以轻松欺骗毫无戒心的收件人。这大大降低了网络犯罪分子入门的门槛，让低技能的攻击者也有可能执行复杂的活动。
引发的问题与担忧
像GhostGPT这样的工具的出现，再一次引发了人们对网络安全和人工智能滥用的重大担忧：
- **降低了高级黑客工具的获取门槛：**它在Telegram等平台上的可用性，使得技术专业知识有限的人也能轻松访问。
- **加速攻击周期：**凭借快速的响应时间和未经审查的输出，攻击者可以比以往更高效地创建恶意软件或钓鱼活动，从而缩短从计划到执行的时间。
- **规模化攻击操作：**生成式 AI 使攻击者能够通过自动化任务（如编写多封钓鱼邮件或生成多态恶意软件）来扩展其操作。
- **传统安全措施失效：**由于生成内容具有类似人类的质量，防火墙和电子邮件过滤器等传统安全措施难以检测AI生成的内容。这使得AI驱动的网络安全解决方案成为应对这些威胁的关键。
GhostGPT并非孤例，之前已经出现过WormGPT以及FraudGPT这样的无审查AI工具，被用于类似目的。
这些工具体现了生成式人工智能被武器化用于网络钓鱼活动（带有个性化信息）、开发恶意软件以及自动化漏洞利用的增长趋势。
为了应对AI滥用的建议
- **AI驱动的安全解决方案：**先进的机器学习模型可以检测出恶意活动的模式，即使传统方法失效时也能发挥作用。
- **AI开发中的伦理准则：**开发者必须实施强有力的保障措施，以防止越狱或滥用。
- **立法行动：**政府应规范生成式AI工具的分发和使用，同时追究开发者对滥用的责任。
- **网络安全意识：**组织必须教育员工如何识别钓鱼尝试和其他网络威胁。
GhostGPT是一个典型的例子，体现了当伦理界限被移除时，人工智能的进步可以被恶意利用。
随着网络犯罪分子越来越多地采用此类工具，网络安全社区必须创新出同样复杂的防御措施。
恶意还是防御，这之间带来的关于如何使用人工智能的斗争，可能会定义未来网络安全的格局。