Multiple-Translation Arabic (MTA) Part 2数据集介绍,官网编号LDC2005T05

Multiple-Translation Arabic (MTA) Part 2(LDC2005T05)是 LDC 于 2005 年发布的现代标准阿拉伯语(MSA)多译文平行语料库,核心为法新社(AFP)阿拉伯语新闻文本 + 3 组独立人工英译,适配机器翻译评估、翻译质量自动度量与模型优化,是阿拉伯语 - 英语翻译评测的经典基准资源LDC。以下从核心信息、数据构成、标注与质控、应用与获取等方面展开:


一、核心基础信息

属性 详情
数据集名称 Multiple-Translation Arabic (MTA) Part 2
LDC 编号 LDC2005T05
开发 / 分发机构 University of Pennsylvania/LDC
发布时间 2005年
语言 现代标准阿拉伯语(MSA)→英语(多译文平行)
数据规模 约 10 万词(阿拉伯语源文本),3 组独立人工英译,覆盖政治、经济、军事等新闻领域
语料来源 法新社(AFP)阿拉伯语新闻专线文本
编码格式 UTF-8/ASCII(含 SGML 标注)
核心用途 机器翻译评估、翻译质量自动度量、阿英翻译模型优化、翻译多样性研究

二、数据采集与文件组织

  1. 采集背景:面向 DARPA 翻译评估项目,为阿拉伯语 - 英语翻译质量自动评估提供多参考标准语料,支撑 MT 系统评测与迭代优化LDC。
  2. 语料来源:法新社(AFP)阿拉伯语新闻文本,覆盖国际新闻多领域,适配通用新闻场景翻译任务。
  3. 文件组织:按新闻文档划分,以 SGML 标记结构化存储,含原文、3 组独立英译文本,提供句子级对齐文件,适配 MT 评估工具链输入需求LDC。
  4. 版本关联:与 MTA Part 1(LDC2002T03)同属系列资源,Part 2 扩充新闻语料规模与主题多样性,提升评估覆盖度与可靠性。

三、标注体系与质量控制

  1. 标注特征
    • 多译文平行:每篇阿拉伯语新闻对应 3 组独立人工英译,翻译团队无交叉、无资源共享,确保译文多样性与独立性LDC。
    • 结构化标注:SGML 标记文档边界、句子边界、翻译组标识,支持自动对齐与评估指标计算(如 BLEU/NIST)LDC。
    • 翻译质控:专业双语译者完成,经校对与一致性校验,确保译文符合新闻翻译规范与语言准确性LDC。
  2. 标注流程
    • 源文本筛选→独立团队翻译→译文校对→结构化标注→对齐验证,形成多参考黄金标准语料,适配翻译评估场景。
    • 标注指南公开,可用于复现标注规范与评估流程对齐。
  3. 数据特性:语料为高质量新闻文本,多译文设计适配翻译多样性与质量评估,标注结构化、对齐准确,适配工业级 MT 评测应用。

四、典型应用场景

  • 机器翻译评估:作为阿英翻译任务的标准测试集,用 3 组参考译文计算 BLEU/NIST 等指标,客观评估 MT 系统性能。
  • 翻译质量自动度量:训练 / 验证翻译质量评估(QE)模型,提升无参考场景下的质量预测准确性。
  • 阿英翻译模型优化:用于微调翻译模型,提升译文多样性与准确性,适配新闻领域翻译需求。
  • 翻译多样性研究:分析不同译者的翻译策略差异,支撑翻译理论与实践结合的研究。

NLP语料共享、LDC语料https://mp.weixin.qq.com/s/8GgZFh9XAr7FYwivQ_ajRg

相关推荐
向上的车轮1 小时前
AI音乐创作实战:用Workbuddy定制专属BGM并仿写《Star Sky》
人工智能·ai音乐·workbuddy
宸津-代码粉碎机6 小时前
OpenAI 连夜迎战 Grok Bot 和 Muse:AI 智能体从 “会聊天” 到 “能办事”,现在入场还来得及吗
java·大数据·人工智能·分布式·python
做萤石二次开发的哈哈7 小时前
视频解码器怎么对接?解码上墙、电视墙开窗与场景切换的ISAPI接入实战
人工智能·物联网·监控·视频编解码·大屏端·萤石开放平台·蓝海aiot一站式工作台
Leo.yuan7 小时前
2026年本地化Data Agent优质厂商盘点:哪些产品更适合企业生产环境
大数据·数据库·人工智能
长谷深风1117 小时前
Tool与Skill:AI能力设计的分水岭
java·人工智能·ai·大模型·aiagent
科技观察哨7 小时前
六足平台选型与纳米定位系统集成:HEB-640六自由度位移台在半导体光刻对准中的参数边界与国产替代评估
前端·人工智能
云上先途7 小时前
任务智能体可以自动完成哪些类型工作,是不是只能做简单重复操作?
大数据·人工智能
明志数科8 小时前
具身智能数据供给的分层:分布式采集与入厂采集的工程边界分析
人工智能·机器学习·机器人
像风一样自由20208 小时前
41.用FastAPI搭建一个RAG后端需要哪些接口
人工智能·大模型·fastapi·rag·智能体
小蒋观天下8 小时前
两轮车检测AI摄像头——2026行业竞争格局、商业模式与核心痛点
大数据·人工智能·安全·计算机视觉·ai大模型