技术速递｜Phi-4-Reasoning-Vision-15B：使用场景深度解析

作者：卢建晖 - 微软高级云技术布道师

Phi-4-Reasoning-Vision-15B 是微软在 Microsoft Foundry 上发布的最新视觉推理模型。它结合了高分辨率视觉感知能力 与选择性 、任务感知的推理能力，使其成为 Phi-4 系列中第一个同时实现"看得清"和"想得深"的小语言模型（SLM）。

传统视觉模型通常只执行被动感知------识别图像中"有什么"。Phi-4-Reasoning-Vision-15B 更进一步，通过执行结构化的多步骤推理：理解图像中的视觉结构，将其与文本上下文连接，并得出可执行的结论。这使开发者能够构建从图表分析到 GUI 自动化等智能应用。

核心设计特性

选择性推理

此模型最关键的设计特性是其混合推理行为。它可以根据提示词在"推理模式"和"非推理模式"之间切换：

当需要深度推理时（例如数学问题、逻辑分析） → 激活多步骤推理链
当快速感知即可满足需求时（例如 OCR、元素定位） → 直接输出以降低延迟

三种思考模式（来自 Notebook 示例）

开发者可以通过 thinking_mode 参数精确控制推理行为：

模式	触发方式	描述	适用场景
hybrid（混合）	默认	模型自主决定是否需要深度推理	通用场景，在速度与准确性之间取得平衡
think（深度思考）	追加 token	强制使用完整推理链	复杂数学 / 科学 / 逻辑问题
nothink（快速响应）	追加 token	跳过推理链，直接输出	低延迟感知任务、简单问答

对应的代码实现：

python 复制代码

def run_inference(processor, model, prompt, image, thinking_mode="hybrid"):
    ## FORM MESSAGE AND LOAD IMAGE
    messages = [
        {
            "role": "user",
            "content": prompt,
        }
    ]

    ## PROCESS INPUTS

    prompt = processor.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True,
        return_dict=False,
    )

    if thinking_mode == "think":
        prompt = str(prompt) + "<think>"
    elif thinking_mode == "nothink":
        prompt = str(prompt) + "<|dummy_84|>"

    print(f"Prompt: {prompt}")

    inputs = processor(text=prompt, images=[image], return_tensors="pt").to(model.device)

    ## GENERATE RESPONSE
    output_ids = model.generate(
        **inputs,
        max_new_tokens=1024,
        temperature=None,
        top_p=None,
        do_sample=False,
        use_cache=False,
    )

    ## DECODE RESPONSE
    sequence_length = inputs["input_ids"].shape[1]

    sequence_length -= 1 if thinking_mode == "think" else 0 # remove the extra token for nothink mode

    new_output_ids = output_ids[:, sequence_length:]
    model_output = processor.batch_decode(
        new_output_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]

    return model_output