鱼类跨物种 DNA 序列预测:AQUA-FAANG 数据下载与操作指南

鱼类跨物种 DNA 序列预测:AQUA-FAANG 数据下载与操作指南

日期:2026-11-09

内容:大西洋鲑(Atlantic salmon)与虹鳟(Rainbow trout)的 BodyMap 肝脏数据

适用环境:Linux / Ubuntu / Windows 的 WSL2;先用 CPU 跑通,无需 GPU。

本文给出一个独立设计的起步实验:从参考基因组提取 DNA,预测某一固定组织、性别和成熟阶段下的开放染色质区域,并进行鲑→鳟、鳟→鲑迁移测试。

阅读顺序

  1. 第 1--3 节:明确任务、找到下载地址。
  2. 第 4--6 节:建立环境,下载数据并核对格式。
  3. 从附录 A、B 生成两个 Python 脚本。
  4. 第 7--9 节:构建训练样本、运行基线、检查结果。
  5. 第 10--13 节:排查问题、接入预训练模型、完善正式研究。

1. 本次具体做什么

1.1 固定一个生物学条件

项目 本次设置
物种 A 大西洋鲑,Salmo salar
物种 B 虹鳟,Oncorhynchus mykiss
数据面板 BodyMap
组织 Liver,肝脏
性别 Female,雌性
成熟状态 Immature,未成熟
序列长度 1024 bp,后续可对比其他长度
正样本 对应条件下的可靠 ATAC 峰附近序列
负样本 相同染色体上、不靠近该条件已检出峰的 GC 匹配背景序列
输出 该序列属于上述可靠 ATAC 峰集合的预测分数

bp 是碱基对(base pair),1024 bp 的双链 DNA 有 1024 个碱基对,每条链各有 1024 个碱基。参考基因组的 FASTA 用一条链表示这段 DNA,所以你实际提取出来的是一串 1024 个 A、C、G、T 字符。

1024 bp 是这篇笔记选定的窗口长度。 AQUA-FAANG 的峰文件记录的是基因组上的一段段区间,每个峰有自己的起点和终点,长度可以不同。笔记以峰顶为中心,从参考基因组截取一段固定长度的序列作为正样本。负样本也截取同样长的序列。这样,每个样本都包含同样多的碱基,正样本还能带上峰顶周围的序列。1024 bp 是这轮实验的起始设置,也可以用同样的方法比较其他窗口长度。
ATAC-seq 是一种用测序来判断细胞里哪些 DNA 区域更容易被接触的实验方法。 它测量的是染色质可及性。ATAC-seq 的全称是 Assay for Transposase-Accessible Chromatin using sequencing。

细胞里的 DNA 缠绕在蛋白质上,形成染色质。有些区域比较容易接触,有些区域被包裹得更紧。ATAC-seq 利用这种差异,分三步测量:

  1. 给容易接触的 DNA 加标签。 把带有测序接头的 Tn5 转座酶加入细胞核。Tn5 更容易在可及的区域切开 DNA,同时给片段加上测序接头。
  2. 测序并定位。 读取这些 DNA 片段,再比对到参考基因组,找出它们来自哪条染色体的哪个位置。
  3. 找出信号富集的区域。 沿染色体画出信号,局部明显高于背景的一段区域可以被识别为一个 ATAC-seq 峰。峰的起点和终点就是峰坐标。
    ATAC-seq 是测量方法,染色质可及性是它测量的指标。

ATAC-seq 检测染色质可及性,峰文件给出实验支持的开放区域。这里的负样本只是"该条件下未检出峰的背景"。该实验首先测试开放区域相对于背景的序列辨别能力。

该笔记中:一个样本是一段 DNA,不是一条鱼。

1.2 数据理解(DNA 测序的原理?它是如何测得 DNA 序列的?)

DNA 测序就是读出一段 DNA 上 A、C、G、T 的排列顺序。 以常见的 Illumina 测序为例,仪器通过观察一条新 DNA 链是怎样被逐个碱基合成的,来推知原来那条 DNA 链的序列。这叫边合成边测序。

1)先把单个 DNA 片段变成一个看得清的光点

DNA 被切成许多片段,两端接上已知序列的接头。接头能与测序流动池表面的短 DNA 配对,把片段固定在表面。图里写的「流式细胞仪」在这里应是流动池(flow cell)。

固定后的 DNA 弯成桥状,与附近的短 DNA 配对并被复制。多轮复制和解链后,同一个片段的许多拷贝聚在一起,形成一个簇。测序时,簇里的拷贝在同一轮加入同一种碱基,荧光叠加起来,仪器就能读清这个位置的信号。

2)每拍一次照,就读出一个碱基

  1. 加入碱基。 四种带有可识别荧光标记的核苷酸一起加入。DNA 聚合酶根据模板的下一个碱基,选中能配对的那个。模板是 A,就加 T。模板是 C,就加 G。
  2. 暂停并拍照。 新加上的核苷酸带有一个可移除的阻断基团,使每条链这一轮只延长一个碱基。仪器拍照,把每个簇的荧光信号判读成一个字母。
  3. 解除阻断,进入下一轮。 去掉荧光标记和阻断基团,再加下一个碱基。流动池上有许多簇,所以一轮拍照可以同时读取许多 DNA 片段。
    以同一个簇为例,如果连续四轮读到 T、A、G、C,仪器输出的读段就是 5′-TAGC-3′。这条读段是新合成链的序列,与待测模板 3′-ATCG-5′ 互补。一张照片给每个簇读出一个字母,多轮照片给每个簇读出一条序列。

2. 数据入口与配套资源

资源 链接 用途
数据集说明 Salmobase AQUA-FAANG README 了解采样、参考版本、处理流程
完整目录 AQUA-FAANG 下载目录 查看全部资源
大西洋鲑 BodyMap 可靠峰 AtlanticSalmon/BodyMap 选择对应条件的 .narrowPeak
虹鳟 BodyMap 可靠峰 RainbowTrout/BodyMap 同上
黑名单区域 blacklist 排除容易出现技术伪影的区域
原处理流程结果 nfcore 查询原始峰、比对及质控结果
同源基因关系 salmon-trout-orthologs 后续关联基因或做同源分层分析
全基因组比对 alignments 后续坐标投射、同源区域分析
作者分析代码 AQUA-FAANG-salmonids 参考数据处理方法;其中生产流程含集群路径,需要适配

第一轮只需要参考 FASTA、两份峰文件、两份黑名单及质控信息。暂不下载全部 FASTQ、BAM、RNA-seq、ChIP-seq 或全基因组比对文件。

3. 本次使用的精确文件

3.1 参考基因组:固定 assembly

Assembly 在这里是名词,意思是基因组组装结果。可以把它理解成「拼好的基因组」。

测序得到的是许多 DNA 读段。根据这些读段的重叠等信息,把它们拼成更长的序列,这个过程叫组装,英文也叫 assembly。

在笔记第 3.1 节的表格里,Assembly 指的是组装结果的版本名。例如,Ssal_v3.1 就是大西洋鲑的一套基因组组装的名字。

物种 Assembly GenBank accession 本指南固定的 Ensembl FASTA
大西洋鲑 Ssal_v3.1 GCA_905237065.2 Salmo_salar.Ssal_v3.1.dna_sm.toplevel.fa.gz
虹鳟 USDA_OmykA_1.1 GCA_013265735.3 Oncorhynchus_mykiss.USDA_OmykA_1.1.dna_sm.toplevel.fa.gz

两个 assembly 与数据说明一致;FASTA 地址来自当前 Salmobase 基因组介绍页面,指南固定到 Ensembl release 116。

dna_sm 是软屏蔽序列,小写通常表示被屏蔽的重复序列。下面的起步脚本将碱基统一为大写;它没有进一步做重复比例匹配,这是正式实验需要补充的控制。

不要将上表基因组替换成另一套新版 assembly。即便物种名称相同,坐标也可能不同。NCBI 和 Ensembl 对同一 assembly 的染色体命名也可能不同;第一轮统一使用这里的 Ensembl FASTA。

3.2 峰文件和黑名单

本地保存名 直接下载地址
raw/peaks/salmon_liver.narrowPeak AtlanticSalmon_ATAC_Liver_Immature_Female.narrowPeak
raw/peaks/trout_liver.narrowPeak RainbowTrout_ATAC_Liver_Immature_Female.narrowPeak
raw/blacklist/salmon.bed AtlanticSalmon_blacklist.bed
raw/blacklist/trout.bed RainbowTrout_blacklist.bed

这里选择 robust_ATAC_peaks/annotated_peaks 下的文件。

3.3 如需追溯原始测序数据

物种 BodyMap ATAC-seq 项目
大西洋鲑 PRJEB47408
虹鳟 PRJEB57190

4. 创建环境与目录

以下命令在终端执行。Windows 建议在 WSL2 的 Linux 目录中操作。预计先预留约 20 GB 磁盘;实际用量受下载、解压和后续特征缓存影响。

已安装 Conda 或 Miniforge 后,执行:

bash 复制代码
conda create -n fish-xspecies --override-channels -c conda-forge -c bioconda python=3.11 samtools numpy scikit-learn curl -y
conda activate fish-xspecies

mkdir -p fish-xspecies
cd fish-xspecies
mkdir -p raw/genomes raw/peaks raw/blacklist processed scripts results provenance

python --version
samtools --version
conda env export --no-builds > provenance/environment.yml

项目目录用途:

目录 内容
raw/genomes 下载的压缩 FASTA、解压 FASTA 和 .fai 索引
raw/peaks 两物种固定条件的可靠峰
raw/blacklist 黑名单
processed 模型样本表及统计摘要
scripts 下载、样本构建、基线脚本
results 模型评估与预测分数
provenance 环境、校验值和运行日志

5. 下载与索引

5.1 创建并运行下载脚本

将整个代码块复制到终端。下载中断后可以重新运行;先保存到 .part 文件,成功后再改为正式文件名。

bash 复制代码
cat > scripts/download.sh <<'BASH'
#!/usr/bin/env bash
set -euo pipefail

fetch() {
    local url="$1"
    local output="$2"
    if [[ -s "$output" ]]; then
        echo "Already exists: $output"
        return
    fi
    curl --fail --location --retry 3 --connect-timeout 30 \
        --continue-at - --output "${output}.part" "$url"
    mv "${output}.part" "$output"
}

base='https://salmobase.org/datafiles/datasets/Aqua-Faang'

fetch "${base}/robust_ATAC_peaks/annotated_peaks/AtlanticSalmon/BodyMap/AtlanticSalmon_ATAC_Liver_Immature_Female.narrowPeak" raw/peaks/salmon_liver.narrowPeak
fetch "${base}/robust_ATAC_peaks/annotated_peaks/RainbowTrout/BodyMap/RainbowTrout_ATAC_Liver_Immature_Female.narrowPeak" raw/peaks/trout_liver.narrowPeak
fetch "${base}/blacklist/AtlanticSalmon_blacklist.bed" raw/blacklist/salmon.bed
fetch "${base}/blacklist/RainbowTrout_blacklist.bed" raw/blacklist/trout.bed

fetch 'https://ftp.ensembl.org/pub/release-116/fasta/salmo_salar/dna/Salmo_salar.Ssal_v3.1.dna_sm.toplevel.fa.gz' raw/genomes/salmon.fa.gz
fetch 'https://ftp.ensembl.org/pub/release-116/fasta/oncorhynchus_mykiss/dna/Oncorhynchus_mykiss.USDA_OmykA_1.1.dna_sm.toplevel.fa.gz' raw/genomes/trout.fa.gz
BASH

bash scripts/download.sh

核查时,两份压缩 FASTA 的 HTTP 文件大小分别为 774,404,425 和 668,510,216 字节;这只是当前链接的传输大小,服务器以后可能重新压缩文件,不能仅靠字节数判定序列版本。

5.2 检查压缩包并建立索引

bash 复制代码
gzip -t raw/genomes/salmon.fa.gz
gzip -t raw/genomes/trout.fa.gz

sha256sum raw/genomes/*.fa.gz raw/peaks/*.narrowPeak raw/blacklist/*.bed > provenance/downloads.sha256

gzip -dc raw/genomes/salmon.fa.gz > raw/genomes/salmon.fa
gzip -dc raw/genomes/trout.fa.gz > raw/genomes/trout.fa

samtools faidx raw/genomes/salmon.fa
samtools faidx raw/genomes/trout.fa

head -n 3 raw/genomes/salmon.fa.fai
head -n 3 raw/genomes/trout.fa.fai
head -n 3 raw/peaks/salmon_liver.narrowPeak
head -n 3 raw/peaks/trout_liver.narrowPeak

这里生成的 SHA256 用来记录你自己的下载版本;没有与服务器官方校验表比较时,不应称为"已通过官方校验"。

不要直接给下面的脚本输入普通 gzip 文件。它需要解压后的 .fa 和对应 .fa.fai。若重新替换 FASTA,应先删除旧索引,再执行 samtools faidx。

6. 读懂文件,先做质量检查

6.1 narrowPeak 的实际格式

本次检查到的两份文件片段均有 13 个 Tab 分隔字段。前 10 列以 narrowPeak 为基础,后面附加注释;功能名称和重复说明包含空格,因此不能使用普通空格拆分。

列号 含义或本数据中的内容 本流程如何使用
1 染色体名称,例如 1 与 FASTA 名称核对
2 起点,0-based 提取序列
3 终点,不包含该位置 提取序列
4 本数据中是状态名称,例如 Active TSS 仅作注释,不能输入模型
5 score 本流程不按该值筛选
6 strand,常为 . 本流程不依赖方向
7 signalValue 不直接作为模型输入或跨物种统一阈值
8、9 pValue、qValue 字段 实际片段中为 -1;不能套用常见 q 值筛选规则
10 峰顶相对第 2 列的偏移 优先用作序列中心
11--13 重复支持、状态说明、颜色等附加注释 仅保留原文件,起步脚本不使用

标准 narrowPeak 的第 10 列是相对起点的偏移,-1 表示未提供峰顶。S4 本指南脚本对该值为 -1 的区域回退到区间中点,并在摘要中记录数量。

例如:start=1000, end=1600, summit_offset=250,则中心坐标为 1250。取 1024 bp 时得到 [738, 1762)。这是 0-based、左闭右开区间,长度为 1762-738=1024。不要把第 10 列直接当作绝对基因组坐标。

运行下面的简查:

bash 复制代码
python - <<'PY'
from collections import Counter
from pathlib import Path
for p in Path('raw/peaks').glob('*.narrowPeak'):
    counts = Counter()
    n = 0
    with p.open() as f:
        for line in f:
            if not line.strip() or line.startswith(('#', 'track', 'browser')):
                continue
            parts = line.rstrip('\n\r').split('\t')
            counts[len(parts)] += 1
            assert len(parts) >= 10, (p, n, 'too few columns')
            assert 0 <= int(parts[1]) < int(parts[2])
            n += 1
    assert n > 0, f'Empty peak file: {p}'
    print(p.name, 'regions=', n, 'column_counts=', dict(counts))
PY

如果列数或内容不同,先检查是否下载到了 HTML 错误页、其他条件文件或另一种文件格式,不要直接修改列号凑合运行。

6.2 质量检查不能只看文件存在

在 nfcore 目录 分别进入:

  • AtlanticSalmon/BodyMap/ATAC/Liver/
  • RainbowTrout/BodyMap/ATAC/Liver/

查看 design.csv 和 results 下的 MultiQC 等质控输出。关注:样本是否确实为目标条件、比对与唯一比对情况、文库复杂度、线粒体比例、FRiP、TSS enrichment(如果报告提供)和重复一致性。没有提供的项目应记录为缺失,不要填入假定数值。

可重复峰提高了标签可靠性,但不意味着两个物种的实验灵敏度完全一致。正式研究应记录质量差异,必要时重新处理数据或更换匹配条件。

7. 构建机器学习样本

7.1 先生成配套脚本

在项目根目录执行附录 A 和 B 的代码块。它们会分别创建:

  • scripts/build_dataset.py
  • scripts/run_baseline.py

7.2 本指南的固定构建规则

项目 规则
染色体 第一轮仅保留名称为纯数字的核染色体,排除其他 scaffold 和线粒体
正样本 峰顶中心的 1024 bp;峰顶缺失时使用中点
区域过滤 超出边界、与黑名单有任意重叠、含非 A/C/G/T 字符的窗口均排除
正样本去重 排除重叠窗口,以及相同或反向互补的完全重复序列
负样本 与对应正样本位于同一染色体;GC 比例差不超过 0.02,即 2 个百分点
背景排除 不能与该条件全部输入峰的上下游 1000 bp 缓冲区、黑名单或已选窗口重叠
类别比例 每个成功配对保留 1 个正样本和 1 个负样本
匹配失败 达到尝试上限仍未找到负样本时,丢弃该正样本并记录
抽样上限 每物种最多 10,000 对,属于先跑通流程的试验规模
内部划分 以完整染色体为组,约 70%/15%/15% 染色体分为 train/val/test

70%/15%/15% 是染色体数量的近似比例,窗口数量不一定按此比例分布。脚本在输出摘要中写出实际样本数。某个 split 为空时会停止,不会悄悄退回随机窗口划分。

这套规则不是最终的"高可信非开放区"定义:目前只排除可靠峰,没有利用全部低置信峰、信号覆盖、重复比例或定量可比对性轨迹来进一步筛选背景。它适合方法起步;正式结果需要增加这些敏感性分析。负样本也没有刻意排除其他组织的开放区域,因此不要把任务解释为"在所有组织中均无功能"。

7.3 分别构建两个物种的数据

bash 复制代码
python scripts/build_dataset.py \
  --species salmon \
  --fasta raw/genomes/salmon.fa \
  --peaks raw/peaks/salmon_liver.narrowPeak \
  --blacklist raw/blacklist/salmon.bed \
  --length 1024 \
  --max-positive 10000 \
  --seed 42 \
  --out processed/salmon.tsv > provenance/build_salmon_seed42.log

python scripts/build_dataset.py \
  --species trout \
  --fasta raw/genomes/trout.fa \
  --peaks raw/peaks/trout_liver.narrowPeak \
  --blacklist raw/blacklist/trout.bed \
  --length 1024 \
  --max-positive 10000 \
  --seed 42 \
  --out processed/trout.tsv > provenance/build_trout_seed42.log

输出文件:

文件 内容
processed/salmon.tsv、processed/trout.tsv 包含 DNA 与标签的样本表
processed/salmon.summary.json、processed/trout.summary.json 过滤、匹配、染色体划分与样本数量统计

TSV 字段:

字段 用途
id、pair_id 样本与配对标识
species、condition 元数据
chrom、start、end 位置追溯、划分及排查重叠
label 1 为可靠 ATAC 峰窗口,0 为抽样背景
split 该物种内部的 train/val/test
gc 检查匹配质量,非本基线的直接输入列
sequence 真正输入模型的 DNA

只有 sequence 用于特征计算;label 用于训练或评估。不要将状态名称、峰分数、坐标、物种编号等其余列一起传给分类器。

7.4 检查构建结果

bash 复制代码
python -m json.tool processed/salmon.summary.json
python -m json.tool processed/trout.summary.json

python - <<'PY'
import csv
from collections import Counter
for species in ['salmon', 'trout']:
    with open(f'processed/{species}.tsv') as f:
        rows = list(csv.DictReader(f, delimiter='\t'))
    assert {len(r['sequence']) for r in rows} == {1024}
    assert all(set(r['sequence']) <= set('ACGT') for r in rows)
    print(species, 'split/label=', Counter((r['split'], r['label']) for r in rows))
    chrom_splits = {}
    for r in rows:
        chrom_splits.setdefault(r['chrom'], set()).add(r['split'])
    assert all(len(v) == 1 for v in chrom_splits.values())
PY

重点查看匹配失败数量和各 split 样本数。上限是 10,000 对,不保证一定得到 10,000 对;不要为了凑数量不断根据目标物种预测结果放宽规则。

8. 运行无需 GPU 的基线

8.1 为什么先做这个基线

使用 2-mer、3-mer、4-mer 频率,反向互补等价的 k-mer 合并,共 178 个特征;先在源物种训练集拟合 StandardScaler,再训练逻辑回归。它用于验证数据构建、划分和迁移流程,不代表预训练模型的最终效果。

参数 C 只在源物种验证集上从 0.01、0.1、1.0 选择,分类阈值固定为 0.5。目标物种标签只用于最终指标计算。

8.2 大西洋鲑 → 虹鳟

bash 复制代码
python scripts/run_baseline.py \
  --source processed/salmon.tsv \
  --target processed/trout.tsv \
  --out results/salmon_to_trout_seed42 > provenance/salmon_to_trout_seed42.log

训练用鲑的 train;选参数用鲑的 val;同时报告鲑的内部 test。虹鳟所有窗口作为独立的目标物种测试集合,脚本忽略其内部 split 标记,不在其中训练或选参数。

脚本额外删除与源物种 train/val 序列完全相同、或互为反向互补的目标窗口,并报告删除数量。它没有进一步去除高相似度同源序列。

8.3 虹鳟 → 大西洋鲑

bash 复制代码
python scripts/run_baseline.py \
  --source processed/trout.tsv \
  --target processed/salmon.tsv \
  --out results/trout_to_salmon_seed42 > provenance/trout_to_salmon_seed42.log

这是另一个独立训练的模型,不是继续更新上一模型。两个方向均适合作为预先声明的探索实验;如果后续依据这些测试结果持续改模型,应增加一个真正留出的新物种或新测试数据,不能反复将同一集合称为完全未参与开发的最终测试集。

8.4 查看结果

bash 复制代码
python -m json.tool results/salmon_to_trout_seed42/metrics.json
python -m json.tool results/trout_to_salmon_seed42/metrics.json
head -n 3 results/salmon_to_trout_seed42/target_predictions.tsv

每次运行输出:

文件 内容
metrics.json 源物种验证、源物种内部测试、目标物种测试指标及去重数量
target_predictions.tsv 目标样本坐标、真实标签、模型分数,供后续分析

脚本保留验证集选中的 train-fitted 模型进行评估,不额外用验证集重训,也没有导出模型权重。需要权重时应在模型方案固定后另行保存模型和特征配置。

9. 怎样判断实验是否有效

指标或对照 解释
AUROC 随机排序的期望约为 0.5;关注源物种与目标物种差距
Average Precision(AP) PR 曲线相关指标;本脚本使用 sklearn 的 average precision,不将其与梯形积分 PR-AUC 混称
prevalence 实际正类比例;AP 必须结合它解释
F1、Accuracy、MCC 基于固定 0.5 阈值的补充指标
内部测试 vs 跨物种测试 区分"源物种能学到信息"与"信息能迁移"

本任务人为抽样成接近 1:1,AP 的随机基准约为正类比例。这些分数不直接代表全基因组扫描时的精确率;真实背景比例不同时需要重新评估。

若源物种内部表现较好而跨物种接近随机,先检查 assembly、条件匹配、负样本规则及质控差异,再考虑模型结构。若所有结果都异常高,应检查是否把注释列、峰信号或近重复序列输入了模型。

作为探索性稳定性检查,可以事先约定固定的 3 个随机种子,用不同输出文件名重新构建和训练,报告各次结果及范围,不挑最高一次。跨种子抽样会重叠,它们不是新的生物学重复,也不能仅据此给出严格的生物学置信区间。

10. 数据泄露与评估边界

  1. **先固定物种与染色体划分,再建模。**不要把两个物种混合后随机拆窗口,随后把测试结果称为未见物种泛化。
  2. **仅用源物种训练数据拟合标准化;仅用源物种验证数据选参数。**目标分数不能用于选层数、窗口长度、分类阈值或挑选最好的随机种子。
  3. **构建目标测试标签与借目标标签调模型是两件事。**用 B 的 ATAC 数据按预先固定规则构建测试集合是必要的;不能根据 B 的表现回头修改训练区域和模型设置。
  4. **不能先增强再划分。**正反向互补、位移窗口等增强应在划分后进行,且不得制造跨 split 的重复窗口。
  5. **染色体划分不等于完全消除了同源相似性。**鲑鳟及其各自基因组都存在重复和同源区域;本流程只控制坐标重叠与完全重复。后续需要额外报告低相似度区域或按同源簇留出的严格测试。
  6. **同源性存在不自动意味着泄露。**迁移到另一个物种的同源功能区域本身可以是合理目标;但若要声称能泛化到新的序列家族,需要更严格的同源簇划分。
  7. **记录预训练覆盖。**下游未使用目标物种标签,与预训练未见过目标物种基因组,是不同要求;使用通用预训练模型时核查并报告这一点。

11. 后续如何接入 Transformer / Mamba / Evo2

保留已经固定的样本表及划分,仅替换"特征提取器"。

  1. 从 TSV 读取 sequence。
  2. 使用所选预训练模型自带的 tokenizer;不要自行训练一套 BPE 后接到不匹配的预训练嵌入层。
  3. 在源物种验证集上比较少量候选隐藏层和池化方式,并固定配置。
  4. 冻结骨干提取特征,再训练逻辑回归或 LightGBM 等任务模型。
  5. 按第 8 节相同的训练、验证和目标测试规则评估;再考虑微调。

不同模型的最大长度、token 与 bp 的对应关系、输入方向和显存需求不同,不能把"1024 bp"直接写成"1024 tokens"。均值池化时应排除 padding。原植物论文选出的层数与窗口长度不能视为鱼类任务的最优解。

第一轮比较应使用相同序列、相同负样本、相同划分。若更换窗口长度,应重新构建整个受控对照,并仅用源验证集选配置,不能只扩展正样本而保持负样本长度不同。

12. 常见问题

问题 检查与处理
curl: (22) / 404 从第 2 节目录入口核查文件名;不要随手换成同物种其他 assembly
续传报服务器不支持 Range 将对应 .part 改名保留,去掉该次 --continue-at - 后从头下载
下载后开头是 HTML 下载的是错误页;核对 URL,使用 curl --fail 并重新下载
gzip -t 失败 下载不完整或文件损坏;重新下载,不进入解压步骤
.fa.fai 不存在 对解压后的 FASTA 运行 samtools faidx
names absent from FASTA assembly 或染色体命名不匹配;先核对版本与序列名称,不能只把 accession 强行替换为数字
Expected >=5 numeric chromosomes 使用的 FASTA 命名与本指南不同;确认对应版本后显式修改染色体白名单,不要将所有 scaffold 自动当染色体
得到不足 10,000 对 查看过滤及 GC 匹配失败统计;10,000 是上限,不是承诺数量
峰文件包含空格,列号读错 按 Tab 分隔读取,不能使用不带参数的 split()
输出已存在 脚本有意拒绝覆盖;使用新的数据文件名或实验目录
ModuleNotFoundError: sklearn 先激活 fish-xspecies 环境,检查使用的 python
阳性 AP 很高,但全基因组扫描误报很多 检查类别比例、背景难度及分数校准,不能把平衡测试集表现直接套到真实扫描

13. 完成标准与验证范围

第一轮完成应满足:

  • 两个物种的 FASTA、峰、黑名单及版本有记录。
  • 数据摘要可追溯,样本长度一致,内部染色体划分不重叠。
  • 已完成两个方向的 CPU 基线,保存完整指标及每个目标区域的预测分数。
  • 已明确区分开放区域分类、跨物种迁移和最终个体性状预测。

本指南的验证范围:已核对下载目录、两物种 FASTA 的 HTTP 状态与首条染色体标识,以及两物种真实峰文件片段的 13 列格式;已用小型合成基因组检查序列提取、配对与双向基线流程,并验证打乱目标标签不会改变模型选参和预测分数。没有下载两套完整基因组完成真实训练,因此本文不提供真实样本数量或跨物种准确率,也不承诺哪个条件质量最好。

后续正式研究应补充:重复比例和可比对性控制、更困难的负样本、多随机种子或合适的不确定性分析、同源相似度分层,以及第三物种测试。两个近缘物种的结果不足以代表全部鱼类。

相关推荐
GrowingIO技术社区8 小时前
事件与属性怎么设计?一份埋点需求表的填写示例
数据分析
benchmark_cc1 天前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
AllData公司负责人1 天前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
GrowingIO技术社区1 天前
埋点方案怎么写?从业务问题到事件设计与验收
数据分析
效率工作实验室2 天前
企业智能数据分析工具选购攻略:从需求梳理到方案落地的完整指南
数据分析·agent·选型·企业数据分析工具怎么选·数据分析工具选购指南
wang_yb2 天前
时间序列数据,先拆规律还是先查异常
数据分析·databook
databook2 天前
时间序列数据,先拆规律还是先查异常
python·数据挖掘·数据分析
楚山之石3 天前
【Nat Biomed Eng】Connectome 2.0 超高梯度扫描仪:500 mT/m 与 600 T/m/s 把活体人脑微观结构分辨推进到亚微米级
图像处理·学习·数据分析·mri
yuyuxun13 天前
协同过滤的校园二手物品智能推荐系统的设计与实现 毕业设计-附源码40082
javascript·vue.js·spring boot·python·数据分析·django·课程设计