核心观点
1. 通用大模型想解决营销领域问题需向垂类模型转型。
"全才"通用大模型难覆盖广告营销全流程，需升级为"懂营销"的垂直模型，实现从"知道"到"落地执行"的三维跨越。
2. 广告智能体破解传统投放门槛高效果不稳定难题。
把简单留给客户，让复杂交给AI。传统投放对中小商家门槛高，广告投放智能体凭"一句话指令"实现自动化操作与调优，让广告主从 "操作岗" 解放出来，专注做 "战略岗"。
3. 端到端建模而非分阶段传统算法建模，GRAM助力广告建模代际突破。
AI电商时代的端到端LLM召排一体能力，借助GRAM（Generative Retrieval and Alignment Model，生成式检索对齐模型）实现"意图识别、检索、排序、机制" 有机融合。
4. 广告创意优化引入CTR建模，除了要解决"好看"的问题还需要解决效果难题。
京东广告的图像、视频的生成+优选能力，破除传统生成技术"好看但不转化"问题，以CTR为指导，平衡视觉审美与商业价值。
5. 广告算法、数据、算力协同优化非硬件堆砌，实现大模型超低延迟推理能力。
算法、算力等实时化能力是广告长期追求的。通过定制化和芯片级优化工作，让大模型从大规模"纸上谈兵"到"毫秒级实时服务"，实现"业务级算力"落地。
6. 三驾马车驱动广告算法长期演进。"数据、算法、算力"协同将推动广告算法持续变革，最终实现三方共赢。
演讲实录
以下是演讲实录（经不改变原意的编辑整理）
很荣幸和大家一起探讨一个核心话题 ------ 大模型时代的广告营销变革与实践，而我们今天的主角，就是京东自主研发的广告营销大模型体系。可能很多朋友会好奇，大模型到底能给广告营销带来什么？是效率的微小提升，还是模式的彻底重构？接下来我会从技术发展、产品落地到行业实践，带大家全面看清这场变革的全貌，也让大家感受 JoyAI Oxygen 如何把 "复杂的技术" 变成 "好用的工具"，把 "营销的难题" 变成 "增长的机遇"。咱们现在就正式开始！
一、广告营销领域大模型的发展
我们先聊聊大模型在广告营销领域的 "成长路径"。其实现在整个行业的大模型，已经走过了 "从零散能力到系统能力" 的关键阶段，从过去几年的大模型发展历程来看，尤其是从22年以对话式大模型发布以来，业内的日常对话式的大模型不论是基础模型还是领域精调的模型都日益成熟，甚至是实现了局部的"跨学科整合"。现在的大模型不再只懂 "单一技能"，像经验中学习、数学逻辑推理，甚至文本图像创作、代码编写、日常对话这些单个领域，都已经发展得比较成熟了 ------ 这就好比以前是 "专才"，现在变成了 "全才"，但能不能能应对广告营销里从策略到执行的多环节需求，依然存在不小的挑战。主要能总结成3个核心方向：
第一是从通用到专用。通用大模型懂 "通识"，但广告营销需要 "垂类能力"------ 比如怎么根据行业季节趋势做投放决策、怎么理解用户的深层消费需求，这些都需要我们把垂类知识、连续决策能力、推理感知能力注入进去，让模型从 "懂常识" 变成 "懂营销"。如何进一步打造投放能力与提升投放效率也是我们要破解的难题。
第二是从理解到决策。以前的 AI 可能只能 "看懂数据"，比如告诉你 "这个计划 ROI 低"，但现在的大模型能直接给方案 ------ 这背后其实要解决三个大挑战：体量大的垂类数据怎么处理、高难度的推理感知技术怎么落地、广告主需求理解、终端用户理解和连续决策，这些都是我们要突破的关键点。
第三是从算法到算力。算法再好，没有足够的算力支撑也跑不起来，尤其是广告营销需要实时响应，这就要求我们在算法优化的同时，必须解决算力的效率和安全问题 ------ 这也是我们后面会重点讲的 "硬实力"。
简单说，大模型给广告营销的，不是 "锦上添花" ，而是 "换道超车" 的机会。下面我们分别来看这三个难题如何解决。
二、广告投放智能体：把简单留给客户，把复杂交给AI
广告投放智能体：一句话实现广告投放的自动化智能化
有了大模型作为基础，怎么把它变成广告主能用、好用的工具？答案就是广告投放智能体 ------ 核心一句话：把简单留给客户，把复杂交给 AI。
大家可以回想一下传统广告投放是什么样的：要自己做操作，比如调预算、改定向；要自己做决策，比如哪个计划该加投、哪个该暂停，全靠经验和零散数据；最后效果好不好，还得被动等数据反馈，有问题再答疑。整个过程又累又容易出错，尤其对中小广告主来说，门槛太高了。当然，过去几年业内主流广告平台在过去几年提供了很多智能投放的工具能力和诊断分析能力，包括我们自己的京东广告平台------京准通，但是我们认为依然做的不够。
但有了投放智能体，完全不一样了 ------一句话就能驱动所有动作。比如你说 "ROI≥2 且消耗＞100 的计划，预算 +20%"，或者 "优化计划 542486x"，后面的事就不用管了：
-
编辑 Agent 会自动处理计划的参数调整；
-
投放 Agent 会执行预算分配和投放策略；自动完成商家经营情况分析、历史投放分析、操作历史分析、投放偏好分析、行业竞对分析，给出投放产品推荐、人群、预算、出价、创意等全套设置步骤。
-
优化 Agent 会实时盯着数据，要是效果有波动，还会主动调整，而不是等你问。
以前需要花几小时甚至几天的操作，现在一句话、几秒钟就能搞定。这不仅是效率的提升，而是把广告主从 "操作岗 " 解放出来，专注做 "战略岗"。
投放智能体背后的"大脑"与"手脚"
那这个 "一句话驱动" 的背后，靠的是什么？其实是一套专注营销的 "大脑 + 手脚"------ 也就是多 Agent 协作体系。
首先看 "手脚"：我们有成百上千个Agent，这里看四个核心 Agent，分别负责广告优化、广告投放、广告编辑和广告创意，覆盖从策略到创意、从投放 to 优化的全流程。比如创意 Agent 能自动生成广告素材，优化 Agent 能实时调策略，四个 Agent 不是各自为战，而是靠 "规划和协作" 机制联动。
再看 "大脑"：要让 Agent 们协作顺畅，得有三大技术支撑：
第一是ReAct 框架------ 让智能体不仅能 "思考"（分析数据和需求），还能 "行动"（执行操作），不是只会算，而是能落地；
第二是A2A 协议------ 这是 Agent 之间的 "沟通语言"，广告设计、优化、分析之间能实时同步信息，不会出现 "优化 Agent 调了预算，投放 Agent 不知道" 的情况；
第三是长短期记忆管理------ 让智能体既能记住 "当下的需求"（比如你现在要加预算），也能继承 "过去的经验"（比如去年这个季节同类产品怎么投效果好），不会每次都 "从零开始"。
最后，光有技术还不够，我们还往 "大脑" 里装了 "知识"：通过 SFT（监督微调）让模型快速适应广告场景，通过 RLHF（基于人类反馈的强化学习）让模型更懂广告主的真实需求，再注入实时的行业数据，让模型能跟着季节、趋势迭代 ------ 比如 618 前会自动预判大促流量规律，春节前会调整年货相关的投放策略。
简单说，这套体系不是 "单个 AI 在干活 "，而是 "一个 AI 团队在服务你"。
三、召排一体------GRAM：面向AI电商的LLM广告代际突破
召排一体思想实现端到端生成
解决了广告主"投放"的问题，我们再看广告营销的另一个核心环节 ------"召排一体"，在面向终端消费者的场景上，对应胡喜总前文提到的AI驱动的电商，也就是怎么把用户需求和商品精准匹配上的同时还要融合广告主营销的诉求。这也是大模型给我们带来的代际突破。
说说传统的 "级联架构 " 有什么问题：它是 "黑盒式" 的 ------ 用户输入搜索词、浏览历史后，系统会经过聚合、召回、排序等多个模块，每个模块各自迭代，中间没有统一的 "意图理解"。结果就是：多模块迭代复杂，改一个地方可能影响一串；相关性匹配缺乏用户深层意图的理解，比如用户搜 "夏天用的小电器"，可能推了风扇但没推驱蚊器；而且解释性差，你问 "为什么推这个商品"，系统说不清楚。
但 LLM 时代的 "召排一体" 是完全不同的 "白盒式" 逻辑 ------端到端的需求推理与满足。整个链路是 "用户请求→thinking→场景→需求→商品"：
比如用户说 "给宝宝选夏天防蚊的"，LLM 会先 "思考"：场景是 "宝宝使用"，需求是 "温和防蚊"，然后直接解码到对应的 SKU（比如儿童专用驱蚊液）。这里面有两个关键：
第一是 "用户意图编码"，把模糊的请求变成清晰的需求标签；
第二是 "奖励模型"，会根据用户点击、转化数据实时调整，让推理越来越准。
最终实现的是 "用户画像→需求→商品" 链路一体化，不再是 "各管一段"，而是 "从需求到商品一步到位"。
京东广告流量端生成式模型架构------GRAM
有了召排一体的逻辑，我们在京东的流量场里落地了一个核心模型 ------GRAM（Generative Retrieval and Alignment Model，生成式检索对齐模型） 。它的核心作用，就是让 "用户请求" 和 "商品" 精准对齐，并在符合广告主的营销诉求的约束下运转。
大家可以看一下模型的逻辑：
首先是 "生成式检索"：当用户输入一个 Query（比如 "轻薄防晒衣"），GRAM 的 "Query-code generator" 会生成对应的 "请求编码"；同时，商品标题会通过 "Product-code generator" 生成 "商品编码"------ 这就好比给用户需求和商品都发了 "统一的身份证编码"。
然后是 "对齐（Alignment）"：系统会把 "请求编码" 和 "商品编码" 做匹配，不管是稀疏检索还是稠密检索，都能快速找到最匹配的商品；接着再经过预排序、精排序，最终推给用户。
我们借助生成式大模型技术完成了QP、Retrieval、Pre-Ranking和Ranking的全过程 ，并且我们的研发工程师将上述的过程已经压缩到了30-50ms级别的P99时延内，破解了传统大模型无法在广告场景实时推理的难题。
更重要的是，GRAM 不是 "一次性匹配"，它还有 "近线系统（Nearline System）"：会通过用户反馈（比如点击、购买）不断更新 "商品编码库"，让匹配越来越准。比如用户搜 "轻薄防晒衣" 但买了带冰感的，下次就会优先推冰感材质的 ------ 真正实现了 "意图识别、检索、排序、机制" 几者融合，让服务既快又准。
四、广告创意优化：引入CTR建模，平衡美观与广告商业价值
强化学习结合CTR驱动的AIGC图片生成
除了 "找人找货"，我们也针对用户视觉面积最大的区域------图片和视频做了生成改进，我们还做了业界首个基于强化学习结合 CTR（点击通过率）驱动的 AIGC 图片生成模型 。传统的 AIGC 图片可能只好看，但不一定能带来点击；而我们的生成逻辑是 "效果导向"：
首先，我们会给模型一个 "指令（Instruction）"，比如 "生成一款适合敏感肌的防晒霜广告图，突出温和、防晒指数 SPF50+"；
然后，"奖励模型（Reward Model）" 会介入 ------ 这个模型是用大量广告的 CTR 数据训练的，知道 "什么样的图片更容易被点击"，比如颜色搭配、文案位置、产品展示角度；
最后，LLM 会结合指令和奖励模型的反馈，生成既符合创意需求、又能提升 CTR 的图片。
大家可以看屏幕上的示例："驱蚊更温和""超 A 质地巨轻盈""2800mg 精华""不到 2 分钟起效"------ 这些文案不是随便加的，都是 CTR 数据证明 "用户更关注" 的点；图片的色调、产品摆放也都是经过效果验证的。这样生成的图片，不用再靠 "感觉" 判断好不好，而是有数据支撑的"好"。
相关工作也发表在 ECCV 及 WWW 上。
基于多策略评估体系的视频智能体
除了图片之外，视频广告的需求也越来越大，所以我们还打造了基于多策略评估体系的视频智能体（Agent） 。它的核心是 "不只是生成视频，而是生成能带来效果的视频"。整个流程是 "从输入到投放全闭环"：
第一步是 "输入规划"：你给一个需求（比如 "生成一款化妆品的短视频，突出抗衰老、时尚"），Planning Model 会结合 "素材库""专家视频库" 做策略规划，比如用 "数字人讲解 + 产品实测" 的形式；
第二步是 "多策略生成"：系统会同时尝试多种方案 ------ 比如故事脚本生成（讲一个试用者的故事）、视频摘要（剪产品核心卖点）、数字人出镜、图转视频（静态图变动态）、口播文案生成，还会自动配 BGM、加字幕和语音；
第三步是 "评估优化"：Evaluation Model 会结合两个维度评估：一是 VLM（视觉语言模型）的质量评估（画面是否清晰、文案是否通顺），二是在线 CTR 数据反馈（用户是否愿意看、是否点击）；然后 Summary Model 会根据评估结果迭代策略，比如发现 "数字人讲解" 的 CTR 更高，下次就优先用这个策略；
最后是 "上线投放"：确定最优策略后，直接对接投放系统，实现 "创意生成→评估→投放" 一体化。
这样一来，就算你没有专业的视频团队，也能快速生成高质量、高转化的广告视频。
五、广告算力协同优化，实现大模型超低延迟实时推理
面向广告业务特性的超低延迟推理定制化解法
不管是投放、召排还是创意生成，广告业务有个核心要求 ------ 实时响应 。用户的需求转瞬即逝，延迟一毫秒可能就丢了一个转化。所以我们专门做了 "超低延迟推理定制化解法"，解决 "快" 的问题。具体有三个关键点：
第一是超低延迟 & 调度优化 。我们用了 PD 混合调度、异步算子调度技术，把 P99 延迟（也就是 99% 的请求响应时间）压缩到了原来的十分之一，甚至几十分之一------ 比如以前要几百毫秒甚至几秒，现在只要 30-50 毫秒，完全能跟上用户的实时需求；
第二是定制化模型 & 受限生成。我们会裁切模型的 LM Head 权重、做 Logits Mask，这样能降低 token 的概率空间和 BeamSearch 的搜索空间 ------ 简单说就是 "让模型少走弯路"，吞吐能力提升了 70% 以上，能同时处理更多请求；
第三是算力安全 & 异构计算。我们重新思考和设计了混合算力模式下的异构推理能力，让各种算力混合调度，借助CPU-xPU 异构资源池和可信执行能力 ------ 既能保证高吞吐、低时延，又能确保数据安全，不会出现数据泄露的问题。
总结一下：这套解法让我们的大模型不仅 "聪明"，还 "反应快、更安全" 。
基于 ARM 国产芯片的服务与推理优化
除了延迟和安全，我们还做了基于 ARM 国产芯片的服务与推理优化，让大模型能在国产硬件上高效运行，实现算力自主可控。这里有三个核心优化方向：
第一是KV-Cache 优化 。我们搭建了 SSD/SRAM-DRAM/HBM 三级缓存，用异步读取的方式加速计算 ------ 就好比给模型建了 "快速存取的仓库"，让通信、算力的调度协调起来，形成巨大的计算加速收益；
第二是指令集优化。在CPU侧的特征计算和DNN计算上，我们跟合作伙伴深度优化后的鲲鹏 KDNN 算子，和开源的 oneDNN 比，通过向量化、软硬件预取等技术，在 Matmul（矩阵乘法）、Conv（卷积）这些核心计算上算子，较业内开源至少提升30%，几乎带来了1-2个芯片制程代际的领先。
第三是编译优化。我们做了高性能图编译、亲和图编译优化，还有指令级别的自动调优 ------ 让模型能更好地适配 ARM 芯片的指令特点，发挥硬件的最大性能，至少带来了10%以上的提升。
这一步的意义，不只是 "降成本"，更是让数据、算法、算力这三驾马车也将在未来持续助力京东在大模型时代的广告营销持续演进和变革，也为我们的广告主、消费者带来更高的效率、更优的体验、更极致的产品服务。
六、展望&结语
让广告主更省心、让消费者更开心！
从大模型在广告营销领域的 "通用到专用、理解到决策、算法到算力 " 3大发展方向，到广告投放智能体、召排一体体系，再到 GRAM 模型、AIGC 创意生成、超低延迟推理、ARM 国产芯片优化 ------ 我们做的所有事情，核心只有一个：让大模型真正服务于广告营销的 "价值" ，让广告主更省心、更高效，让用户看到更精准、更有价值的广告。
当然，大模型给广告营销的变革才刚刚开始，后面还有很多可能性等着我们一起探索。期待更多行业有志之士加入我们，共建大模型时代的广告营销新生态！
最后，今日所讲的内容，在公共区域也有专门的演示展台，欢迎各位前去体验，谢谢大家！