AI 检测文件类型 Magika

magika 介绍

Magika 是 Google 推出的一个新型工具,使用 AI 用来文件类型的检测,采用了高度优化的 Keras 模型,具有较高的准确性、模型较小等优点,支持100多种文件类型,准确性高达 99%,推测每个文件的时间大约 5 ms。

Magika 在 Google 内部已被大量使用,用于 Gmail,网络硬盘等应用,检测各种文件,提高了用户的安全性。

Magika 提供了 Pyhton 命令行、 Pyhton API和 js 包等多种方式使用,还支持批量处理提高推理速度。

安装

可以使用 pip 命令进行安装: pip install magika

如果没有 Python 环境,还可以 Docker 中进行使用:

bash 复制代码
git clone https://github.com/google/magika
cd magika/
docker build -t magika .
docker run -it --rm -v $(pwd):/magika magika -r /magika/tests_data

如果 Docker 环境也没有,那你可以使用Google 部署的网站进行试用 google.github.io/magika/。

运行

运行仓库提供的测试数据(magika -r /magika/tests_data):

可以看到文件的类型很精准的被识别出来了。

接下来做个试验,将一个 png 的图片的后缀修改为jpg ,看看还能否正确识别,可以看到还是成功精准识别了。

小结

本文介绍了一种使用 AI 进行文件类型检测的工具 magika,相较于其它类型检测工具,magika 依托于数据集和模型的精度,可以大大提高识别文件类型的精度和速度。

参考

相关推荐
Coder_Boy_21 分钟前
技术发展的核心规律是「加法打底,减法优化,重构平衡」
人工智能·spring boot·spring·重构
牛奔23 分钟前
Go 如何避免频繁抢占?
开发语言·后端·golang
会飞的老朱2 小时前
医药集团数智化转型,智能综合管理平台激活集团管理新效能
大数据·人工智能·oa协同办公
聆风吟º4 小时前
CANN runtime 实战指南:异构计算场景中运行时组件的部署、调优与扩展技巧
人工智能·神经网络·cann·异构计算
想用offer打牌5 小时前
MCP (Model Context Protocol) 技术理解 - 第二篇
后端·aigc·mcp
Codebee6 小时前
能力中心 (Agent SkillCenter):开启AI技能管理新时代
人工智能
聆风吟º7 小时前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
KYGALYX7 小时前
服务异步通信
开发语言·后端·微服务·ruby
uesowys7 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
AI_56787 小时前
AWS EC2新手入门:6步带你从零启动实例
大数据·数据库·人工智能·机器学习·aws