[GLM-4.6V 多模态能力测评】对论文pipeline图的理解能力 #视觉理解MCP、#GLM我的编码搭子

目录

前言

开发背景

[claude code中安装MCP](#claude code中安装MCP)

测试


#视觉理解MCP、#GLM我的编码搭子

前言

正在写论文综述的时候看到GLM开发者群有GLM-4.6V 多模态能力测评的活动,刚好利用本次活动试用一下GLM-4.6V。

开发背景

目前由于翻译软件的限制,论文翻译并不能翻译包括图、表之类的内容,只能翻译可编辑的PDF正文,此时如果有一个能读懂图表的大模型,则能大大降低阅读论文与理解论文的时间。

claude code中安装MCP

参考视觉理解 MCP - 智谱AI开放文档 (bigmodel.cn)

claude mcp add -s user zai-mcp-server --env Z_AI_API_KEY=API代码 -- npx -y "@z_ai/mcp-server"

显示:

在claude code中确认

测试

我的测试图片如下,是MOOSE的pipeline思路图:

输入

bash 复制代码
hi describe this C:\Users\Administrator\Desktop\开题\fig\MOOSE.png

得到结果:

翻译

这是一张技术示意图,展示了 MOOSE 算法框架。以下是它的内容:

整体结构

该图描绘了一个迭代过程,包含多个轮次,用于从文献中生成和优化科学假设:

左侧 - 主流程:

  • 输入 (I):文献语料库(左侧的粉色圆柱体)
  • 背景节点 (b):一个中心背景知识组件(顶部的绿色圆圈)
  • 一轮迭代:显示从 i₁₁ → i₁₂ → ... → i₁ₚ 的进展
    • 每个灵感节点 (i) 生成假设节点 (h),以黄色/橙色显示在下方
    • 评分分数 (r) 与每个假设相关联
    • 流程继续到第二层,包含节点 i₂₁, i₂₂, ..., i₂q

右侧 - 详细过程: 展示突变-优化-重组循环:

  1. 从 b(背景)和 i(灵感)开始
  2. 突变:创建多个假设变异(m₁¹, m₂¹, mₙ¹)
  3. 优化:多次优化迭代,生成后续代(m₁², m₂² 等)
  4. 重组:将优化后的假设组合成最终假设 (h)

图例:

  • b: 背景
  • i: 灵感
  • h: 假设
  • m: 假设变异
  • r: 评分分数
  • I: 文献语料库

这似乎是一种多目标优化或进化算法,用于从学术文献中自动生成和优化科学假设。

结果分析

结果比我想象中的好的多,不仅识别出了pipeline的具体流程,还能一针见血的指出这是一个进化算法。与论文原文比对后发现其基本理解正确!说明国产模型的潜力无限。

免费试用

欢迎大家通过我的邀请链接注册即可获得 2000万Tokens 大礼包,期待和你一起在BigModel上畅享卓越模型能力

https://www.bigmodel.cn/invite?icode=ViYqnIUjbCH%2BH4HQKxZgabC%2Fk7jQAKmT1mpEiZXXnFw%3D

相关推荐
LIUAWEIO1 分钟前
鸽鸽工具网:免费在线工具大全,打开网页即用
人工智能·安全·ai·json
动恰客流管家5 分钟前
动恰3DV3丨客流统计系统:旺季人手不够淡季闲人太多?客流统计帮你科学优化人力成本
大数据·运维·人工智能·3d
吻等离子8 分钟前
机器学习基本概念篇(含思维导图)
人工智能·机器学习
乐维_lwops9 分钟前
智变2026:中国IT运维管理软件行业全景洞察——从AI重塑到信创深水区
运维·人工智能
Hui_AI72011 分钟前
基于RAG的农产品GEO溯源智能问答系统实现
开发语言·网络·人工智能·python·算法·创业创新
Java后端的Ai之路16 分钟前
什么是“多模态微调”?
人工智能·lora·微调
沫儿笙16 分钟前
机器人焊接混合气智能节气装置
人工智能·机器人
imbackneverdie21 分钟前
AI生成论文插图速度快不用手搓,但是怎么变成矢量图?
图像处理·人工智能·ai作画·aigc·科研绘图·ai工具·ai生图
甲维斯22 分钟前
GLM5.1 降智了?国模思考强度研究!
人工智能·ai编程
中微子24 分钟前
突然爆火的Warp 终端,开源1天破 4w Stars
linux·人工智能·开源