鱼类跨物种 DNA 序列预测:AQUA-FAANG 数据下载与操作指南
日期:2026-11-09
内容:大西洋鲑(Atlantic salmon)与虹鳟(Rainbow trout)的 BodyMap 肝脏数据
适用环境:Linux / Ubuntu / Windows 的 WSL2;先用 CPU 跑通,无需 GPU。
本文给出一个独立设计的起步实验:从参考基因组提取 DNA,预测某一固定组织、性别和成熟阶段下的开放染色质区域,并进行鲑→鳟、鳟→鲑迁移测试。
阅读顺序
- 第 1--3 节:明确任务、找到下载地址。
- 第 4--6 节:建立环境,下载数据并核对格式。
- 从附录 A、B 生成两个 Python 脚本。
- 第 7--9 节:构建训练样本、运行基线、检查结果。
- 第 10--13 节:排查问题、接入预训练模型、完善正式研究。
1. 本次具体做什么
1.1 固定一个生物学条件
| 项目 | 本次设置 |
|---|---|
| 物种 A | 大西洋鲑,Salmo salar |
| 物种 B | 虹鳟,Oncorhynchus mykiss |
| 数据面板 | BodyMap |
| 组织 | Liver,肝脏 |
| 性别 | Female,雌性 |
| 成熟状态 | Immature,未成熟 |
| 序列长度 | 1024 bp,后续可对比其他长度 |
| 正样本 | 对应条件下的可靠 ATAC 峰附近序列 |
| 负样本 | 相同染色体上、不靠近该条件已检出峰的 GC 匹配背景序列 |
| 输出 | 该序列属于上述可靠 ATAC 峰集合的预测分数 |
bp 是碱基对(base pair),1024 bp 的双链 DNA 有 1024 个碱基对,每条链各有 1024 个碱基。参考基因组的 FASTA 用一条链表示这段 DNA,所以你实际提取出来的是一串 1024 个 A、C、G、T 字符。
1024 bp 是这篇笔记选定的窗口长度。 AQUA-FAANG 的峰文件记录的是基因组上的一段段区间,每个峰有自己的起点和终点,长度可以不同。笔记以峰顶为中心,从参考基因组截取一段固定长度的序列作为正样本。负样本也截取同样长的序列。这样,每个样本都包含同样多的碱基,正样本还能带上峰顶周围的序列。1024 bp 是这轮实验的起始设置,也可以用同样的方法比较其他窗口长度。
ATAC-seq 是一种用测序来判断细胞里哪些 DNA 区域更容易被接触的实验方法。 它测量的是染色质可及性。ATAC-seq 的全称是 Assay for Transposase-Accessible Chromatin using sequencing。细胞里的 DNA 缠绕在蛋白质上,形成染色质。有些区域比较容易接触,有些区域被包裹得更紧。ATAC-seq 利用这种差异,分三步测量:
- 给容易接触的 DNA 加标签。 把带有测序接头的 Tn5 转座酶加入细胞核。Tn5 更容易在可及的区域切开 DNA,同时给片段加上测序接头。
- 测序并定位。 读取这些 DNA 片段,再比对到参考基因组,找出它们来自哪条染色体的哪个位置。
- 找出信号富集的区域。 沿染色体画出信号,局部明显高于背景的一段区域可以被识别为一个 ATAC-seq 峰。峰的起点和终点就是峰坐标。
ATAC-seq 是测量方法,染色质可及性是它测量的指标。
ATAC-seq 检测染色质可及性,峰文件给出实验支持的开放区域。这里的负样本只是"该条件下未检出峰的背景"。该实验首先测试开放区域相对于背景的序列辨别能力。
该笔记中:一个样本是一段 DNA,不是一条鱼。
1.2 数据理解(DNA 测序的原理?它是如何测得 DNA 序列的?)
DNA 测序就是读出一段 DNA 上 A、C、G、T 的排列顺序。 以常见的 Illumina 测序为例,仪器通过观察一条新 DNA 链是怎样被逐个碱基合成的,来推知原来那条 DNA 链的序列。这叫边合成边测序。

1)先把单个 DNA 片段变成一个看得清的光点
DNA 被切成许多片段,两端接上已知序列的接头。接头能与测序流动池表面的短 DNA 配对,把片段固定在表面。图里写的「流式细胞仪」在这里应是流动池(flow cell)。
固定后的 DNA 弯成桥状,与附近的短 DNA 配对并被复制。多轮复制和解链后,同一个片段的许多拷贝聚在一起,形成一个簇。测序时,簇里的拷贝在同一轮加入同一种碱基,荧光叠加起来,仪器就能读清这个位置的信号。
2)每拍一次照,就读出一个碱基
- 加入碱基。 四种带有可识别荧光标记的核苷酸一起加入。DNA 聚合酶根据模板的下一个碱基,选中能配对的那个。模板是 A,就加 T。模板是 C,就加 G。
- 暂停并拍照。 新加上的核苷酸带有一个可移除的阻断基团,使每条链这一轮只延长一个碱基。仪器拍照,把每个簇的荧光信号判读成一个字母。
- 解除阻断,进入下一轮。 去掉荧光标记和阻断基团,再加下一个碱基。流动池上有许多簇,所以一轮拍照可以同时读取许多 DNA 片段。
以同一个簇为例,如果连续四轮读到 T、A、G、C,仪器输出的读段就是 5′-TAGC-3′。这条读段是新合成链的序列,与待测模板 3′-ATCG-5′ 互补。一张照片给每个簇读出一个字母,多轮照片给每个簇读出一条序列。
2. 数据入口与配套资源
| 资源 | 链接 | 用途 |
|---|---|---|
| 数据集说明 | Salmobase AQUA-FAANG README | 了解采样、参考版本、处理流程 |
| 完整目录 | AQUA-FAANG 下载目录 | 查看全部资源 |
| 大西洋鲑 BodyMap 可靠峰 | AtlanticSalmon/BodyMap | 选择对应条件的 .narrowPeak |
| 虹鳟 BodyMap 可靠峰 | RainbowTrout/BodyMap | 同上 |
| 黑名单区域 | blacklist | 排除容易出现技术伪影的区域 |
| 原处理流程结果 | nfcore | 查询原始峰、比对及质控结果 |
| 同源基因关系 | salmon-trout-orthologs | 后续关联基因或做同源分层分析 |
| 全基因组比对 | alignments | 后续坐标投射、同源区域分析 |
| 作者分析代码 | AQUA-FAANG-salmonids | 参考数据处理方法;其中生产流程含集群路径,需要适配 |
第一轮只需要参考 FASTA、两份峰文件、两份黑名单及质控信息。暂不下载全部 FASTQ、BAM、RNA-seq、ChIP-seq 或全基因组比对文件。
3. 本次使用的精确文件
3.1 参考基因组:固定 assembly
Assembly 在这里是名词,意思是基因组组装结果。可以把它理解成「拼好的基因组」。
测序得到的是许多 DNA 读段。根据这些读段的重叠等信息,把它们拼成更长的序列,这个过程叫组装,英文也叫 assembly。
在笔记第 3.1 节的表格里,Assembly 指的是组装结果的版本名。例如,Ssal_v3.1 就是大西洋鲑的一套基因组组装的名字。
| 物种 | Assembly | GenBank accession | 本指南固定的 Ensembl FASTA |
|---|---|---|---|
| 大西洋鲑 | Ssal_v3.1 | GCA_905237065.2 | Salmo_salar.Ssal_v3.1.dna_sm.toplevel.fa.gz |
| 虹鳟 | USDA_OmykA_1.1 | GCA_013265735.3 | Oncorhynchus_mykiss.USDA_OmykA_1.1.dna_sm.toplevel.fa.gz |
两个 assembly 与数据说明一致;FASTA 地址来自当前 Salmobase 基因组介绍页面,指南固定到 Ensembl release 116。
dna_sm 是软屏蔽序列,小写通常表示被屏蔽的重复序列。下面的起步脚本将碱基统一为大写;它没有进一步做重复比例匹配,这是正式实验需要补充的控制。
不要将上表基因组替换成另一套新版 assembly。即便物种名称相同,坐标也可能不同。NCBI 和 Ensembl 对同一 assembly 的染色体命名也可能不同;第一轮统一使用这里的 Ensembl FASTA。
3.2 峰文件和黑名单
| 本地保存名 | 直接下载地址 |
|---|---|
raw/peaks/salmon_liver.narrowPeak |
AtlanticSalmon_ATAC_Liver_Immature_Female.narrowPeak |
raw/peaks/trout_liver.narrowPeak |
RainbowTrout_ATAC_Liver_Immature_Female.narrowPeak |
raw/blacklist/salmon.bed |
AtlanticSalmon_blacklist.bed |
raw/blacklist/trout.bed |
RainbowTrout_blacklist.bed |
这里选择 robust_ATAC_peaks/annotated_peaks 下的文件。
3.3 如需追溯原始测序数据
| 物种 | BodyMap ATAC-seq 项目 |
|---|---|
| 大西洋鲑 | PRJEB47408 |
| 虹鳟 | PRJEB57190 |
4. 创建环境与目录
以下命令在终端执行。Windows 建议在 WSL2 的 Linux 目录中操作。预计先预留约 20 GB 磁盘;实际用量受下载、解压和后续特征缓存影响。
已安装 Conda 或 Miniforge 后,执行:
bash
conda create -n fish-xspecies --override-channels -c conda-forge -c bioconda python=3.11 samtools numpy scikit-learn curl -y
conda activate fish-xspecies
mkdir -p fish-xspecies
cd fish-xspecies
mkdir -p raw/genomes raw/peaks raw/blacklist processed scripts results provenance
python --version
samtools --version
conda env export --no-builds > provenance/environment.yml
项目目录用途:
| 目录 | 内容 |
|---|---|
raw/genomes |
下载的压缩 FASTA、解压 FASTA 和 .fai 索引 |
raw/peaks |
两物种固定条件的可靠峰 |
raw/blacklist |
黑名单 |
processed |
模型样本表及统计摘要 |
scripts |
下载、样本构建、基线脚本 |
results |
模型评估与预测分数 |
provenance |
环境、校验值和运行日志 |
5. 下载与索引
5.1 创建并运行下载脚本
将整个代码块复制到终端。下载中断后可以重新运行;先保存到 .part 文件,成功后再改为正式文件名。
bash
cat > scripts/download.sh <<'BASH'
#!/usr/bin/env bash
set -euo pipefail
fetch() {
local url="$1"
local output="$2"
if [[ -s "$output" ]]; then
echo "Already exists: $output"
return
fi
curl --fail --location --retry 3 --connect-timeout 30 \
--continue-at - --output "${output}.part" "$url"
mv "${output}.part" "$output"
}
base='https://salmobase.org/datafiles/datasets/Aqua-Faang'
fetch "${base}/robust_ATAC_peaks/annotated_peaks/AtlanticSalmon/BodyMap/AtlanticSalmon_ATAC_Liver_Immature_Female.narrowPeak" raw/peaks/salmon_liver.narrowPeak
fetch "${base}/robust_ATAC_peaks/annotated_peaks/RainbowTrout/BodyMap/RainbowTrout_ATAC_Liver_Immature_Female.narrowPeak" raw/peaks/trout_liver.narrowPeak
fetch "${base}/blacklist/AtlanticSalmon_blacklist.bed" raw/blacklist/salmon.bed
fetch "${base}/blacklist/RainbowTrout_blacklist.bed" raw/blacklist/trout.bed
fetch 'https://ftp.ensembl.org/pub/release-116/fasta/salmo_salar/dna/Salmo_salar.Ssal_v3.1.dna_sm.toplevel.fa.gz' raw/genomes/salmon.fa.gz
fetch 'https://ftp.ensembl.org/pub/release-116/fasta/oncorhynchus_mykiss/dna/Oncorhynchus_mykiss.USDA_OmykA_1.1.dna_sm.toplevel.fa.gz' raw/genomes/trout.fa.gz
BASH
bash scripts/download.sh
核查时,两份压缩 FASTA 的 HTTP 文件大小分别为 774,404,425 和 668,510,216 字节;这只是当前链接的传输大小,服务器以后可能重新压缩文件,不能仅靠字节数判定序列版本。
5.2 检查压缩包并建立索引
bash
gzip -t raw/genomes/salmon.fa.gz
gzip -t raw/genomes/trout.fa.gz
sha256sum raw/genomes/*.fa.gz raw/peaks/*.narrowPeak raw/blacklist/*.bed > provenance/downloads.sha256
gzip -dc raw/genomes/salmon.fa.gz > raw/genomes/salmon.fa
gzip -dc raw/genomes/trout.fa.gz > raw/genomes/trout.fa
samtools faidx raw/genomes/salmon.fa
samtools faidx raw/genomes/trout.fa
head -n 3 raw/genomes/salmon.fa.fai
head -n 3 raw/genomes/trout.fa.fai
head -n 3 raw/peaks/salmon_liver.narrowPeak
head -n 3 raw/peaks/trout_liver.narrowPeak
这里生成的 SHA256 用来记录你自己的下载版本;没有与服务器官方校验表比较时,不应称为"已通过官方校验"。
不要直接给下面的脚本输入普通 gzip 文件。它需要解压后的 .fa 和对应 .fa.fai。若重新替换 FASTA,应先删除旧索引,再执行 samtools faidx。
6. 读懂文件,先做质量检查
6.1 narrowPeak 的实际格式
本次检查到的两份文件片段均有 13 个 Tab 分隔字段。前 10 列以 narrowPeak 为基础,后面附加注释;功能名称和重复说明包含空格,因此不能使用普通空格拆分。
| 列号 | 含义或本数据中的内容 | 本流程如何使用 |
|---|---|---|
| 1 | 染色体名称,例如 1 |
与 FASTA 名称核对 |
| 2 | 起点,0-based | 提取序列 |
| 3 | 终点,不包含该位置 | 提取序列 |
| 4 | 本数据中是状态名称,例如 Active TSS |
仅作注释,不能输入模型 |
| 5 | score | 本流程不按该值筛选 |
| 6 | strand,常为 . |
本流程不依赖方向 |
| 7 | signalValue | 不直接作为模型输入或跨物种统一阈值 |
| 8、9 | pValue、qValue 字段 | 实际片段中为 -1;不能套用常见 q 值筛选规则 |
| 10 | 峰顶相对第 2 列的偏移 | 优先用作序列中心 |
| 11--13 | 重复支持、状态说明、颜色等附加注释 | 仅保留原文件,起步脚本不使用 |
标准 narrowPeak 的第 10 列是相对起点的偏移,-1 表示未提供峰顶。S4 本指南脚本对该值为 -1 的区域回退到区间中点,并在摘要中记录数量。
例如:start=1000, end=1600, summit_offset=250,则中心坐标为 1250。取 1024 bp 时得到 [738, 1762)。这是 0-based、左闭右开区间,长度为 1762-738=1024。不要把第 10 列直接当作绝对基因组坐标。
运行下面的简查:
bash
python - <<'PY'
from collections import Counter
from pathlib import Path
for p in Path('raw/peaks').glob('*.narrowPeak'):
counts = Counter()
n = 0
with p.open() as f:
for line in f:
if not line.strip() or line.startswith(('#', 'track', 'browser')):
continue
parts = line.rstrip('\n\r').split('\t')
counts[len(parts)] += 1
assert len(parts) >= 10, (p, n, 'too few columns')
assert 0 <= int(parts[1]) < int(parts[2])
n += 1
assert n > 0, f'Empty peak file: {p}'
print(p.name, 'regions=', n, 'column_counts=', dict(counts))
PY
如果列数或内容不同,先检查是否下载到了 HTML 错误页、其他条件文件或另一种文件格式,不要直接修改列号凑合运行。
6.2 质量检查不能只看文件存在
在 nfcore 目录 分别进入:
AtlanticSalmon/BodyMap/ATAC/Liver/RainbowTrout/BodyMap/ATAC/Liver/
查看 design.csv 和 results 下的 MultiQC 等质控输出。关注:样本是否确实为目标条件、比对与唯一比对情况、文库复杂度、线粒体比例、FRiP、TSS enrichment(如果报告提供)和重复一致性。没有提供的项目应记录为缺失,不要填入假定数值。
可重复峰提高了标签可靠性,但不意味着两个物种的实验灵敏度完全一致。正式研究应记录质量差异,必要时重新处理数据或更换匹配条件。
7. 构建机器学习样本
7.1 先生成配套脚本
在项目根目录执行附录 A 和 B 的代码块。它们会分别创建:
scripts/build_dataset.pyscripts/run_baseline.py
7.2 本指南的固定构建规则
| 项目 | 规则 |
|---|---|
| 染色体 | 第一轮仅保留名称为纯数字的核染色体,排除其他 scaffold 和线粒体 |
| 正样本 | 峰顶中心的 1024 bp;峰顶缺失时使用中点 |
| 区域过滤 | 超出边界、与黑名单有任意重叠、含非 A/C/G/T 字符的窗口均排除 |
| 正样本去重 | 排除重叠窗口,以及相同或反向互补的完全重复序列 |
| 负样本 | 与对应正样本位于同一染色体;GC 比例差不超过 0.02,即 2 个百分点 |
| 背景排除 | 不能与该条件全部输入峰的上下游 1000 bp 缓冲区、黑名单或已选窗口重叠 |
| 类别比例 | 每个成功配对保留 1 个正样本和 1 个负样本 |
| 匹配失败 | 达到尝试上限仍未找到负样本时,丢弃该正样本并记录 |
| 抽样上限 | 每物种最多 10,000 对,属于先跑通流程的试验规模 |
| 内部划分 | 以完整染色体为组,约 70%/15%/15% 染色体分为 train/val/test |
70%/15%/15% 是染色体数量的近似比例,窗口数量不一定按此比例分布。脚本在输出摘要中写出实际样本数。某个 split 为空时会停止,不会悄悄退回随机窗口划分。
这套规则不是最终的"高可信非开放区"定义:目前只排除可靠峰,没有利用全部低置信峰、信号覆盖、重复比例或定量可比对性轨迹来进一步筛选背景。它适合方法起步;正式结果需要增加这些敏感性分析。负样本也没有刻意排除其他组织的开放区域,因此不要把任务解释为"在所有组织中均无功能"。
7.3 分别构建两个物种的数据
bash
python scripts/build_dataset.py \
--species salmon \
--fasta raw/genomes/salmon.fa \
--peaks raw/peaks/salmon_liver.narrowPeak \
--blacklist raw/blacklist/salmon.bed \
--length 1024 \
--max-positive 10000 \
--seed 42 \
--out processed/salmon.tsv > provenance/build_salmon_seed42.log
python scripts/build_dataset.py \
--species trout \
--fasta raw/genomes/trout.fa \
--peaks raw/peaks/trout_liver.narrowPeak \
--blacklist raw/blacklist/trout.bed \
--length 1024 \
--max-positive 10000 \
--seed 42 \
--out processed/trout.tsv > provenance/build_trout_seed42.log
输出文件:
| 文件 | 内容 |
|---|---|
processed/salmon.tsv、processed/trout.tsv |
包含 DNA 与标签的样本表 |
processed/salmon.summary.json、processed/trout.summary.json |
过滤、匹配、染色体划分与样本数量统计 |
TSV 字段:
| 字段 | 用途 |
|---|---|
id、pair_id |
样本与配对标识 |
species、condition |
元数据 |
chrom、start、end |
位置追溯、划分及排查重叠 |
label |
1 为可靠 ATAC 峰窗口,0 为抽样背景 |
split |
该物种内部的 train/val/test |
gc |
检查匹配质量,非本基线的直接输入列 |
sequence |
真正输入模型的 DNA |
只有 sequence 用于特征计算;label 用于训练或评估。不要将状态名称、峰分数、坐标、物种编号等其余列一起传给分类器。
7.4 检查构建结果
bash
python -m json.tool processed/salmon.summary.json
python -m json.tool processed/trout.summary.json
python - <<'PY'
import csv
from collections import Counter
for species in ['salmon', 'trout']:
with open(f'processed/{species}.tsv') as f:
rows = list(csv.DictReader(f, delimiter='\t'))
assert {len(r['sequence']) for r in rows} == {1024}
assert all(set(r['sequence']) <= set('ACGT') for r in rows)
print(species, 'split/label=', Counter((r['split'], r['label']) for r in rows))
chrom_splits = {}
for r in rows:
chrom_splits.setdefault(r['chrom'], set()).add(r['split'])
assert all(len(v) == 1 for v in chrom_splits.values())
PY
重点查看匹配失败数量和各 split 样本数。上限是 10,000 对,不保证一定得到 10,000 对;不要为了凑数量不断根据目标物种预测结果放宽规则。
8. 运行无需 GPU 的基线
8.1 为什么先做这个基线
使用 2-mer、3-mer、4-mer 频率,反向互补等价的 k-mer 合并,共 178 个特征;先在源物种训练集拟合 StandardScaler,再训练逻辑回归。它用于验证数据构建、划分和迁移流程,不代表预训练模型的最终效果。
参数 C 只在源物种验证集上从 0.01、0.1、1.0 选择,分类阈值固定为 0.5。目标物种标签只用于最终指标计算。
8.2 大西洋鲑 → 虹鳟
bash
python scripts/run_baseline.py \
--source processed/salmon.tsv \
--target processed/trout.tsv \
--out results/salmon_to_trout_seed42 > provenance/salmon_to_trout_seed42.log
训练用鲑的 train;选参数用鲑的 val;同时报告鲑的内部 test。虹鳟所有窗口作为独立的目标物种测试集合,脚本忽略其内部 split 标记,不在其中训练或选参数。
脚本额外删除与源物种 train/val 序列完全相同、或互为反向互补的目标窗口,并报告删除数量。它没有进一步去除高相似度同源序列。
8.3 虹鳟 → 大西洋鲑
bash
python scripts/run_baseline.py \
--source processed/trout.tsv \
--target processed/salmon.tsv \
--out results/trout_to_salmon_seed42 > provenance/trout_to_salmon_seed42.log
这是另一个独立训练的模型,不是继续更新上一模型。两个方向均适合作为预先声明的探索实验;如果后续依据这些测试结果持续改模型,应增加一个真正留出的新物种或新测试数据,不能反复将同一集合称为完全未参与开发的最终测试集。
8.4 查看结果
bash
python -m json.tool results/salmon_to_trout_seed42/metrics.json
python -m json.tool results/trout_to_salmon_seed42/metrics.json
head -n 3 results/salmon_to_trout_seed42/target_predictions.tsv
每次运行输出:
| 文件 | 内容 |
|---|---|
metrics.json |
源物种验证、源物种内部测试、目标物种测试指标及去重数量 |
target_predictions.tsv |
目标样本坐标、真实标签、模型分数,供后续分析 |
脚本保留验证集选中的 train-fitted 模型进行评估,不额外用验证集重训,也没有导出模型权重。需要权重时应在模型方案固定后另行保存模型和特征配置。
9. 怎样判断实验是否有效
| 指标或对照 | 解释 |
|---|---|
| AUROC | 随机排序的期望约为 0.5;关注源物种与目标物种差距 |
| Average Precision(AP) | PR 曲线相关指标;本脚本使用 sklearn 的 average precision,不将其与梯形积分 PR-AUC 混称 |
| prevalence | 实际正类比例;AP 必须结合它解释 |
| F1、Accuracy、MCC | 基于固定 0.5 阈值的补充指标 |
| 内部测试 vs 跨物种测试 | 区分"源物种能学到信息"与"信息能迁移" |
本任务人为抽样成接近 1:1,AP 的随机基准约为正类比例。这些分数不直接代表全基因组扫描时的精确率;真实背景比例不同时需要重新评估。
若源物种内部表现较好而跨物种接近随机,先检查 assembly、条件匹配、负样本规则及质控差异,再考虑模型结构。若所有结果都异常高,应检查是否把注释列、峰信号或近重复序列输入了模型。
作为探索性稳定性检查,可以事先约定固定的 3 个随机种子,用不同输出文件名重新构建和训练,报告各次结果及范围,不挑最高一次。跨种子抽样会重叠,它们不是新的生物学重复,也不能仅据此给出严格的生物学置信区间。
10. 数据泄露与评估边界
- **先固定物种与染色体划分,再建模。**不要把两个物种混合后随机拆窗口,随后把测试结果称为未见物种泛化。
- **仅用源物种训练数据拟合标准化;仅用源物种验证数据选参数。**目标分数不能用于选层数、窗口长度、分类阈值或挑选最好的随机种子。
- **构建目标测试标签与借目标标签调模型是两件事。**用 B 的 ATAC 数据按预先固定规则构建测试集合是必要的;不能根据 B 的表现回头修改训练区域和模型设置。
- **不能先增强再划分。**正反向互补、位移窗口等增强应在划分后进行,且不得制造跨 split 的重复窗口。
- **染色体划分不等于完全消除了同源相似性。**鲑鳟及其各自基因组都存在重复和同源区域;本流程只控制坐标重叠与完全重复。后续需要额外报告低相似度区域或按同源簇留出的严格测试。
- **同源性存在不自动意味着泄露。**迁移到另一个物种的同源功能区域本身可以是合理目标;但若要声称能泛化到新的序列家族,需要更严格的同源簇划分。
- **记录预训练覆盖。**下游未使用目标物种标签,与预训练未见过目标物种基因组,是不同要求;使用通用预训练模型时核查并报告这一点。
11. 后续如何接入 Transformer / Mamba / Evo2
保留已经固定的样本表及划分,仅替换"特征提取器"。
- 从 TSV 读取
sequence。 - 使用所选预训练模型自带的 tokenizer;不要自行训练一套 BPE 后接到不匹配的预训练嵌入层。
- 在源物种验证集上比较少量候选隐藏层和池化方式,并固定配置。
- 冻结骨干提取特征,再训练逻辑回归或 LightGBM 等任务模型。
- 按第 8 节相同的训练、验证和目标测试规则评估;再考虑微调。
不同模型的最大长度、token 与 bp 的对应关系、输入方向和显存需求不同,不能把"1024 bp"直接写成"1024 tokens"。均值池化时应排除 padding。原植物论文选出的层数与窗口长度不能视为鱼类任务的最优解。
第一轮比较应使用相同序列、相同负样本、相同划分。若更换窗口长度,应重新构建整个受控对照,并仅用源验证集选配置,不能只扩展正样本而保持负样本长度不同。
12. 常见问题
| 问题 | 检查与处理 |
|---|---|
curl: (22) / 404 |
从第 2 节目录入口核查文件名;不要随手换成同物种其他 assembly |
| 续传报服务器不支持 Range | 将对应 .part 改名保留,去掉该次 --continue-at - 后从头下载 |
| 下载后开头是 HTML | 下载的是错误页;核对 URL,使用 curl --fail 并重新下载 |
gzip -t 失败 |
下载不完整或文件损坏;重新下载,不进入解压步骤 |
.fa.fai 不存在 |
对解压后的 FASTA 运行 samtools faidx |
names absent from FASTA |
assembly 或染色体命名不匹配;先核对版本与序列名称,不能只把 accession 强行替换为数字 |
Expected >=5 numeric chromosomes |
使用的 FASTA 命名与本指南不同;确认对应版本后显式修改染色体白名单,不要将所有 scaffold 自动当染色体 |
| 得到不足 10,000 对 | 查看过滤及 GC 匹配失败统计;10,000 是上限,不是承诺数量 |
| 峰文件包含空格,列号读错 | 按 Tab 分隔读取,不能使用不带参数的 split() |
| 输出已存在 | 脚本有意拒绝覆盖;使用新的数据文件名或实验目录 |
ModuleNotFoundError: sklearn |
先激活 fish-xspecies 环境,检查使用的 python |
| 阳性 AP 很高,但全基因组扫描误报很多 | 检查类别比例、背景难度及分数校准,不能把平衡测试集表现直接套到真实扫描 |
13. 完成标准与验证范围
第一轮完成应满足:
- 两个物种的 FASTA、峰、黑名单及版本有记录。
- 数据摘要可追溯,样本长度一致,内部染色体划分不重叠。
- 已完成两个方向的 CPU 基线,保存完整指标及每个目标区域的预测分数。
- 已明确区分开放区域分类、跨物种迁移和最终个体性状预测。
本指南的验证范围:已核对下载目录、两物种 FASTA 的 HTTP 状态与首条染色体标识,以及两物种真实峰文件片段的 13 列格式;已用小型合成基因组检查序列提取、配对与双向基线流程,并验证打乱目标标签不会改变模型选参和预测分数。没有下载两套完整基因组完成真实训练,因此本文不提供真实样本数量或跨物种准确率,也不承诺哪个条件质量最好。
后续正式研究应补充:重复比例和可比对性控制、更困难的负样本、多随机种子或合适的不确定性分析、同源相似度分层,以及第三物种测试。两个近缘物种的结果不足以代表全部鱼类。

