在数字时代,内容安全问题愈发受到重视。9月26日,OpenAI 正式推出了一款全新的多模态内容审核模型,名为 "omni-moderation-latest"。
该模型基于最新的 GPT-4o 技术,能够准确地识别检测有害文本图像。这一更新将为开发者提供强大的工具,让他们能够构建更强大的审核系统。
新模型的亮点在于,它支持对文本和图像输入进行审核,特别是在处理非英语内容时表现更加出色。
与之前的审核模型相比,"omni-moderation-latest" 不仅提高了识别的准确性,还增加了检测更多有害内容的能力。它可以对暴力、自残和性内容等多个类别进行评估,确保用户能够在一个更安全的空间中交流。
OpenAI自2022年推出内容审核 API (Moderation API )以来,自动化审核系统需要处理的内容量和种类不断增加,尤其是随着越来越多的人工智能应用进入大规模生产阶段。如今,许多公司,例如 Grammarly 和 ElevenLabs,都在使用这一 API 来保护用户安全,防止不当内容的产生。
新模型的优势体现在多个方面:
首先,它可以进行多模态的有害内容分类,针对图像和文本的组合进行评估,识别暴力残及性相关的风险。
其次,模型新增了两类文本审核,分别是与违法和暴力相关的内容,进一步增强了审核能力。
另外,对于非英语内容的检测,准确度大幅提升测试显示在40语言中的准确率提高了42%,尤其在低资源语言上表现更为突出。
对于开发者来说,这款新的审核模型依旧是免费的内容审核 API 可以轻松接入。OpenAI 希望这项升级能让更多的者利用最新的研究成果和安全系统,为用户创造更加友好的在线体验。
官方博客:https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/
感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。期望未来能为大家带来更多有价值的内容,请多多关注我的动态!