[ComfyUI]Florence提示词反推、目标检测

文章目录

1.模型介绍

Florence-2是一个由微软Azure AI团队推出的多功能视觉模型,它在AI领域的独特之处主要体现在以下几个方面:
多功能性 :Florence-2能够执行图像描述、目标检测、视觉定位和图像分割等多种计算机视觉任务。这种多功能性使得它能够处理各种视觉任务,而不需要针对特定任务训练不同的模型。
统一的表示方法 :Florence-2采用了基于prompt的统一表示方法,使其能够广泛适用于各种计算机视觉和视觉语言任务这种统一的范式增强了模型的通用性和灵活性。
序列到序列学习 :Florence-2基于Transformer架构,并采用序列到序列的学习方法,编码器将图像转换为序列表示,解码器再将这些表示转换为文本输出这种设计提高了模型处理任务的灵活性。
大规模数据集训 练:Florence-2训练使用包含1.26亿张图像和54亿个标注的超大数据集FLD-5B,结合自动化图像标注技术和模型迭代,确保数据的高质量和多样性。
多任务学习 :Florence-2通过多任务学习,同时关注底层细节和高层次语义理解,使得模型能够更全面、深入地理解视觉信息。
开源和可访问性:Florence-2的权重和代码已经在开源平台Hugging Face上公开,任何人都可以访问和使用。

这些特点使得Florence-2在AI领域,尤其是在视觉任务处理方面,提供了一个强大而灵活的工具

参考资料
Florence-2:小模型,大能量,提示词反推、文字识别、对象检测,指定蒙版样样精通,一个模型搞定所有!

2.模型部署

需要安装的模型权重

这是最基本的Florence-2-base模型,下载里面的所有文件到"models/LLM/Florence-2-base"文件夹
Florence-2-base

还有其他几个模型也可以下
microsoft/Florence-2-base-ft
Florence-2-large
microsoft/Florence-2-large-ft

部署报错
①FlashAttention2 用不了

FlashAttention2 has been toggled on, but it cannot be used due to the following errorjavascript:void(0): the package flash_attn seems to be not installed. Please refer to the documentation of https://huggingface.co/docs/transformers/perf_infer_gpu_one#flashattention-2 to install Flash Attention 2.

参考Error: FlashAttention2 has been toggled on, but it cannot be used Windows 11 #

直接把注意力换为sdpa不要用flash_attention_2了

3.一些测试结果

①目标检测

可以看到目标检测的效果还是可以的

②图生文

In this picture we can see a person smiling and in the background it is dark

In this image we can see cartoons. In the background of the image there are trees and sky.

这个可以做很多的任务

相关推荐
碧海银沙音频科技研究院17 分钟前
BP寻呼机原理
人工智能·嵌入式硬件
万俟淋曦31 分钟前
[ROS 系列学习教程] 建模与仿真 - 使用 ros_control 控制六轴串联机械臂
人工智能·ai·机器人·ros·机械臂·robotics·具身智能
IT_陈寒38 分钟前
Vue开发者必知:5个让你效率翻倍的隐藏技巧
前端·人工智能·后端
深蓝AI4 小时前
12000 名工程师的高盛,只用四个月就收回了交易员的 AI 编程权限
人工智能·程序员
怕浪猫8 小时前
这个十几个agent 协作项目值得关注
人工智能·面试·github
starzy199010 小时前
深入理解Scala隐式类:扩展方法机制
开发语言·人工智能·scala
深蓝AI11 小时前
为什么 agent 的 demo 都很惊艳,上了生产就不靠谱
人工智能·程序员
数字新视界11 小时前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统
岁月宁静11 小时前
DeepSeek Harness 实战与架构解析:让 Agent 从“会聊”到“能交付”
人工智能·python·agent
深蓝AI11 小时前
一个项目五个 AI 同时干活,Claude Code 怎么让它们不互相打架
人工智能·程序员