2025.06.17【BUG】|多样品VCF文件合并技巧及注意事项(以bcftools为例)

### 文章目录

  • [@[toc]](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [一、合并VCF的常用命令](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [1.1 合并多个bgzip压缩的VCF文件](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [1.2 使用文件列表合并](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [二、合并前的准备与注意事项](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [2.1 文件格式要求](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [2.2 样本名唯一性](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [2.3 检查文件模式匹配](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [三、常见报错与解决方法](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [3.1 报错:`Error: Duplicate sample names (sample1), use --force-samples to proceed anyway.`](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [3.2 报错:`Could not retrieve index file for ...`](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [四、自动化脚本推荐](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [4.1 检查并转换VCF为bgzip格式](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [4.2 检查重复样本并生成唯一文件列表](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [4.3 合并并生成统计](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [五、合并后格式转换与统计](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [5.1 转换为TXT表格](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [5.2 统计每个样品的SNP数](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)
  • [六、总结](#文章目录 @[toc] 一、合并VCF的常用命令 1.1 合并多个bgzip压缩的VCF文件 1.2 使用文件列表合并 二、合并前的准备与注意事项 2.1 文件格式要求 2.2 样本名唯一性 2.3 检查文件模式匹配 三、常见报错与解决方法 3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway. 3.2 报错:Could not retrieve index file for ... 四、自动化脚本推荐 4.1 检查并转换VCF为bgzip格式 4.2 检查重复样本并生成唯一文件列表 4.3 合并并生成统计 五、合并后格式转换与统计 5.1 转换为TXT表格 5.2 统计每个样品的SNP数 六、总结)

在群体遗传学、RAD-seq等高通量测序分析中,常常需要将多个样品的VCF文件合并为一个群体VCF文件,便于后续的群体变异分析、PCA、GWAS等。本文以bcftools为例,详细介绍多样品VCF合并的标准流程、常见报错及解决方法,并附带自动化脚本工具。


一、合并VCF的常用命令

1.1 合并多个bgzip压缩的VCF文件

其实一般常见做法是使用gatk CombineGVCFs命令将g.vcf.gz格式的各个样品进行合并后再进行质控,过滤。但是实际情况是没有过滤的snp文件较大,再加上如果做群体遗传分析,样品较多,合并环节就相当耗费时间。因此,这里选择将过滤后的vcf.gz文件使用bcftools进行合并,可以大大缩短合并时间,提升分析效率。

bash 复制代码
bcftools merge -Oz -o merged_filtered_snps.vcf.gz sample1.vcf.gz sample2.vcf.gz sample3.vcf.gz
tabix -p vcf merged_filtered_snps.vcf.gz

1.2 使用文件列表合并

当样品较多时,推荐先生成一个文件列表:

bash 复制代码
ls aa*/aa*_filtered.vcf.gz > vcf_list.txt
bcftools merge -Oz -o merged_filtered_snps.vcf.gz -l vcf_list.txt
tabix -p vcf merged_filtered_snps.vcf.gz

二、合并前的准备与注意事项

2.1 文件格式要求

  • 必须为bgzip压缩格式.vcf.gz),且有.tbi索引文件。

  • 可用如下命令检查和转换:

    bash 复制代码
    bgzip sample.vcf
    tabix -p vcf sample.vcf.gz

2.2 样本名唯一性

  • 每个VCF文件的样本名必须唯一,不能有重复。

  • 可用如下命令检查样本名:

    bash 复制代码
    bcftools query -l sample1.vcf.gz

2.3 检查文件模式匹配

  • 避免通配符匹配到同一样本的多个文件(如sample1_filtered.vcf.gzsample1_tmp_filtered.vcf.gz)。
  • 推荐只保留每个样本的最终过滤文件。

三、常见报错与解决方法

3.1 报错:Error: Duplicate sample names (sample1), use --force-samples to proceed anyway.

原因:合并的VCF文件中有重复的样本名。

解决方法

  • 检查文件列表,确保每个样本只出现一次。
  • 可用如下脚本自动检查并生成唯一文件列表:
python 复制代码
# scripts/check_duplicate_samples.py
# 用法:python scripts/check_duplicate_samples.py 'aa*/aa*_filtered.vcf.gz' unique_vcf_list.txt
  • 合并时用唯一文件列表:

    bash 复制代码
    bcftools merge -Oz -o merged_filtered_snps.vcf.gz -l unique_vcf_list.txt

3.2 报错:Could not retrieve index file for ...

原因 :缺少.tbi索引文件。

解决方法

bash 复制代码
tabix -p vcf sample.vcf.gz

四、自动化脚本推荐

4.1 检查并转换VCF为bgzip格式

python 复制代码
# scripts/check_and_convert_vcf.py
# 用法:python scripts/check_and_convert_vcf.py 'aa*/aa*_filtered.vcf*'

4.2 检查重复样本并生成唯一文件列表

python 复制代码
# scripts/check_duplicate_samples.py
# 用法:python scripts/check_duplicate_samples.py 'aa*/aa*_filtered.vcf.gz' unique_vcf_list.txt

4.3 合并并生成统计

bash 复制代码
bcftools merge -Oz -o merged_filtered_snps.vcf.gz -l unique_vcf_list.txt
tabix -p vcf merged_filtered_snps.vcf.gz
bcftools stats merged_filtered_snps.vcf.gz > merged_stats.txt

五、合并后格式转换与统计

5.1 转换为TXT表格

python 复制代码
# scripts/vcf_to_txt.py
# 用法:python scripts/vcf_to_txt.py merged_filtered_snps.vcf.gz

5.2 统计每个样品的SNP数

python 复制代码
# scripts/count_snp_per_sample.py
# 用法:python scripts/count_snp_per_sample.py merged_filtered_snps.vcf.gz

六、总结

  • 合并VCF前请确保每个样品只保留一个最终VCF文件,且为bgzip格式并有索引。
  • 合并时推荐用文件列表,避免通配符误操作。
  • 遇到重复样本名、缺少索引等报错时,优先检查文件列表和文件格式。
  • 可用Python脚本自动化检查、转换和统计,提升效率。

如需脚本源码或Snakemake自动化流程,可私信或评论获取!


🌟 非常感谢您抽出宝贵的时间阅读我的文章。如果您觉得这篇文章对您有所帮助,或者激发了您对生物信息学的兴趣,我诚挚地邀请您:

👍 点赞这篇文章,让更多人看到我们共同的热爱和追求。

🔔 关注我的账号,不错过每一次知识的分享和探索的旅程。

📢 您的每一个点赞和关注都是对我最大的支持和鼓励,也是推动我继续创作优质内容的动力。

📚 我承诺,将持续为您带来深度与广度兼具的生物信息学内容,让我们一起在知识的海洋中遨游,发现更多未知的奇迹。

💌 如果您有任何问题或想要进一步交流,欢迎在评论区留言,我会尽快回复您。

相关推荐
ChoSeitaku1 天前
Git分支|创建分支|切换分支|合并分支|删除分支|合并冲突分支|分支策略|bug分支|强制删除分支
bug
Lxinccode2 天前
BUG(23) : node版claude code启动报错Failed to connect to api.anthropic.com: ETIMEDOUT
bug·claude·claude启动报错
buyulian2 天前
Bug防御体系:技术方案的优与劣
java·经验分享·bug·软件工程
川石课堂软件测试3 天前
接口测试需要注意的一些BUG
网络·数据库·python·单元测试·bug·压力测试·tornado
深念Y3 天前
记一个BUG:Trae里MongoDB和MySQL MCP不能共存
数据库·mysql·mongodb·ai·bug·agent·mcp
测试_AI_一辰4 天前
AI系统测试实践:Tool执行与状态管理(Agent系统最容易出Bug的地方)
人工智能·ai·自动化·bug·ai编程
飞Link5 天前
告别盲目找Bug:深度解析 TSTD 异常检测中的预测模型(Python 实战版)
开发语言·python·算法·bug
小同志006 天前
软件测试周期 与 BUG
java·软件测试·bug·软件测试周期·bug等级
Reisentyan6 天前
edge的神秘搜索栏 暗广 bug
bug
为搬砖记录7 天前
杰理AC695N soundbox 3.1.2打开ble宏的编译bug
c语言·开发语言·单片机·bug