GALE Phase 1 Chinese Broadcast News Parallel Text - Part 1数据集介绍,官网编号LDC2007T23

GALE Phase 1 Chinese Broadcast News Parallel Text - Part 1(LDC2007T23)是 LDC 于 2007 年面向 DARPA GALE 项目发布的中 - 英平行文本语料,核心为中文广播新闻转写文本及其人工英译对,适配机器翻译(MT)训练与评测,是 GALE Phase 1 中文广播新闻平行文本的首期子库。以下是详细介绍:


基本信息

项目 详情
发布机构 Linguistic Data Consortium(LDC)
发布时间 2007 年 6 月
语种 中文(普通话)、英语
编号 LDC2007T23
语料类型 中文广播新闻转写文本 + 人工英译平行对
数据规模 约 10 万词级平行句对,覆盖新闻播报、专题报道等广播场景
核心标注 句级对齐、人工翻译质量评分、转写文本时间戳与说话人标注
数据格式 UTF - 8 文本、XML 标注文件、句对齐索引表
适配项目 DARPA GALE Phase 1,用于 MT 系统训练与基准评测

数据内容与结构

  1. 核心语料
    • 源文本:中文广播新闻转写文本,来自 CCTV、凤凰卫视等主流华语媒体,含新闻播报、访谈、专题节目等,保留口语化表达与少量口语现象(如停顿、重复),贴近真实广播场景。
    • 平行英译:专业译员完成的人工英译,确保语义准确、表达自然,适配 MT 参考标准。
    • 句对齐数据:中 - 英句子级对齐结果,标注句对映射关系,支持 MT 模型训练与对齐任务。
  2. 标注与元数据
    • 翻译标注:含翻译质量评分(如流利度、准确度)、译员 ID、标注时间等,保障数据可靠性。
    • 转写元数据:广播节目 ID、频道、时间戳、说话人信息等,便于溯源与场景化应用。
    • 索引文件:句对 ID - 文本映射表、语料统计报告,支持快速检索与数据管理。
  3. 辅助资源
    • 标注规范:明确转写、翻译、对齐的流程与标准,统一标注口径。
    • 质量报告:标注一致性统计、错误案例分析,为数据使用提供参考。

下载方法:

1、关注LDC语料小助手,回复GALE Phase 1 Chinese Broadcast News Parallel Text - Part 1

NLP语料共享、LDC语料https://mp.weixin.qq.com/s/8GgZFh9XAr7FYwivQ_ajRg

相关推荐
To_OC6 小时前
大模型蒸馏是啥?说白了就是大厨带徒弟的学问
人工智能·llm·agent
新手来了@click6 小时前
JAVA+AI 简化开发操作|文章被 AI Agent 技术社区收录分享
人工智能
GuWenyue6 小时前
Cursor黑盒拆解!1套LangChain.js手写Mini编程Agent,自动生成React项目,效率提升60%
前端·数据库·人工智能
GuWenyue6 小时前
传统Agent工具两大痛点!300行代码落地MCP跨语言工具,彻底解耦LLM与工具
前端·人工智能·算法
老云讲算力市场7 小时前
WAIC首日观察:国产算力与机器人加速落地,奇点算力迎来产业新机遇
人工智能·科技
糖果店的幽灵7 小时前
【DeepAgents 从入门到精通】Context Management 上下文管理
java·人工智能·后端·spring·中间件·langgraph·deepagents
小林ixn7 小时前
大模型随机说话的秘密:Temperature 和 Top K 深度解析,LangChain 实战调优
人工智能·langchain
ALINX技术博客7 小时前
ALINX 亮相 2026 WAIC 世界人工智能大会,展示 AI 视觉 FPGA+GPU 异构计算与电子后视镜解决方案
人工智能·ai·fpga·世界人工智能大会·电子后视镜
程序员老猫8 小时前
当 AI 能写 80% 的代码时,后端工程师的核心价值还剩什么?
人工智能
想会飞的蒲公英8 小时前
计算机怎样读取中文文本:编码、清洗与标准化
人工智能·python·自然语言处理