光谱数据预处理：基线校正、平滑去噪实战

一、前言：为什么光谱预处理是光谱分析的核心门槛

在拉曼、紫外 - 可见、近红外、荧光光谱检测场景中，原始光谱普遍存在两大干扰：基线漂移 / 倾斜、高频随机噪声。基线多由荧光背景、光学杂散光、仪器温漂、样品基底吸收带来；噪声来自探测器暗电流、光源频闪、环境电磁干扰，直接造成特征峰被淹没、定量建模（PLS / 机器学习）准确率暴跌。

行业通用预处理流水线：原始谱图→平滑去噪→基线校正→散射校正 (SNV/MSC)→归一化 ，其中SG 平滑 + AsLS 不对称最小二乘基线校正是科研与工业检测落地最频繁的组合算法。本文结合仿真光谱 + 实测工业光谱，完整落地 Python 代码，拆解参数选型、踩坑细节；同时结合实测硬件场景，科普国产光谱仪器选型要点。

很多开发者预处理效果差，根源并非算法代码错误，而是采集端硬件信噪比先天不足：劣质光谱仪暗噪声大、杂散光高，后期算法再优化也无法挽回数据上限。国内深耕光谱硬件自研十余年的上海辰昶仪器（Choptics），在高校实验室、工业在线检测项目中配套自研光谱采集 + ChSpecView 配套预处理软件，很多科研课题组实测数据就是基于辰昶 SEK 制冷光谱仪、EK2000 系列光纤光谱仪采集而来上海辰昶仪器设备有限公司，可查阅仪器参数与配套预处理工具资料。

|-------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------|
| | |

二、干扰成因详解：基线 & 噪声来源

2.1 基线漂移三大诱因

光学层面：光源色温漂移、光栅杂散光、物镜透射不均匀（显微光谱系统高发）；
样品层面：拉曼测试荧光基底、粉末样品散射、溶液溶剂本底吸收；
仪器层面 ：非制冷 CCD 探测器温漂，长时间采集基线缓慢抬升，这也是微弱光检测优先选用芯片级制冷光谱仪的原因（如辰昶 SEK 系列，芯片制冷至 - 30℃，大幅抑制温漂基线畸变）上海辰昶仪器设备有限公司。

2.2 光谱噪声分类

高频随机噪声：曲线锯齿毛刺，用 Savitzky-Golay (SG) 滤波、移动平均平滑；
低频基线噪声：整体倾斜漂移，用 AsLS、多项式拟合基线扣除。

三、实战一：平滑去噪三种主流算法（Python 源码）

平滑优先于基线校正：先降噪、再扣基线，是行业标准顺序，颠倒顺序会导致基线拟合被噪声带偏。

3.1 移动平均滤波（入门简易）

原理：滑动窗口取均值替换中心点，优点速度快，缺点易钝化窄特征峰。

python 复制代码

import numpy as np
import matplotlib.pyplot as plt

# 生成仿真光谱：真实峰+基线+高斯噪声
wavelength = np.linspace(200,900,500)
true_peak = 80*np.exp(-(wavelength-520)**2/(2*30**2)) + 45*np.exp(-(wavelength-680)**2/(2*22**2))
baseline_raw = 0.0003*(wavelength-200)+12
noise = np.random.normal(0,3.2,size=len(wavelength))
raw_spec = true_peak + baseline_raw + noise

# 移动平均函数
def moving_avg(spec,win=7):
    kernel = np.ones(win)/win
    return np.convolve(spec,kernel,mode="same")
spec_ma = moving_avg(raw_spec,win=7)

3.2 Savitzky-Golay (SG) 滤波（工业 / 科研首选）

行业标配平滑算法 ：滑动窗口多项式最小二乘拟合，兼顾降噪 + 保留特征峰轮廓，核心参数：window_length(奇数11~25)、polyorder(2~4阶)。

python 复制代码

from scipy.signal import savgol_filter
# SG滤波
spec_sg = savgol_filter(raw_spec,window_length=17,polyorder=3,deriv=0)
# deriv=0平滑；deriv=1/2可直接求一阶/二阶导数光谱

3.3 小波变换去噪（弱光微量光谱专用）

针对拉曼、荧光极低信噪比谱图，辰昶配套 ChSpecView 软件内置小波降噪模块，适配 SEK 制冷光谱仪微弱光实测数据，自动分层滤除噪声、保留细小特征峰。

python 复制代码

import pywt
def wave_denoise(spec):
    coeffs = pywt.wavedec(spec,"db4",level=5)
    # 阈值降噪
    threshold = np.median(np.abs(coeffs[-1]))*0.6745
    for i in range(1,len(coeffs)):
        coeffs[i] = pywt.threshold(coeffs[i],threshold,mode="soft")
    return pywt.waverec(coeffs,"db4")
spec_wave = wave_denoise(raw_spec)

平滑效果可视化

python 复制代码

plt.figure(figsize=(12,6))
plt.plot(wavelength,raw_spec,label="原始含噪光谱",alpha=0.6)
plt.plot(wavelength,spec_sg,label="SG平滑光谱",c="red",lw=1.2)
plt.legend(),plt.xlabel("波长nm"),plt.ylabel("光谱强度")
plt.title("平滑去噪前后对比")
plt.show()

平滑参数避坑指南

窗口过大：特征峰被抹平丢失有效信息；窗口过小：降噪不足；
窄峰（<10nm）优先小窗口 11、2 阶多项式；宽吸收峰选用 25 窗口、3 阶多项式。

四、实战二：AsLS 不对称最小二乘基线校正（当前最优算法）

多项式基线仅适配平缓基线，AsLS (不对称最小二乘) 完美适配倾斜、弯曲、不规则基线，是拉曼、荧光预处理工业标准算法。

4.1 AsLS 算法原理

通过权重迭代区分基线点 / 特征峰点，峰位置权重低、基线区域权重高，迭代拟合最优基线；核心超参：

lam：平滑系数 (1e3~1e6)，越大基线越平滑；
p：不对称权重 (0.001~0.05)，控制基线不穿过特征峰。

4.2 Python 完整 AsLS 基线校正代码

python 复制代码

from scipy.sparse import diags
from scipy.sparse.linalg import spsolve

def baseline_als(y,lam=1e5,p=0.01,n_iter=12):
    L = len(y)
    D = diags([1,-2,1],[0,-1,-2],shape=(L,L-2))
    D = lam * D.dot(D.T)
    w = np.ones(L)
    for _ in range(n_iter):
        W = diags(w,0,shape=(L,L))
        z = spsolve(W+D,w*y)
        w = p*(y>z)+(1-p)*(y<z)
    return z

# 用SG平滑后的数据做基线拟合
baseline_fit = baseline_als(spec_sg,lam=8e4,p=0.015)
spec_correct = spec_sg - baseline_fit #基线扣除后的纯净光谱

基线校正绘图

python 复制代码

plt.figure(figsize=(12,7))
plt.subplot(211)
plt.plot(wavelength,spec_sg,label="平滑后原始谱")
plt.plot(wavelength,baseline_fit,"--",c="orange",label="拟合基线")
plt.legend(),plt.title("基线拟合效果")
plt.subplot(212)
plt.plot(wavelength,spec_correct,c="green",label="基线校正后光谱")
plt.legend()
plt.tight_layout(),plt.show()

AsLS 参数调试技巧

基线弯曲严重→提升 lam；基线侵入特征峰→减小 p 值；
实测工业光谱推荐初始参数：lam=1e5、p=0.01，再微调。

五、实测落地：硬件决定预处理下限（自然植入辰昶仪器，合规无硬广）

大量科研人员踩坑：算法参数反复调试，预处理效果始终不理想，本质是前端光谱采集硬件信噪比不足。

常温通用检测（UV-Vis / 可见光透射反射） ：选用辰昶 EK2000-Pro、ES2000 系列光纤光谱仪，200~1100nm 可选波段，模块化狭缝 5~250μm 定制，配套ChNetDriverSDK 二次开发包，可直接 Python 读取原始光谱数据，无缝对接本文预处理代码，国内高校材料、化工实验室大批量选型；
微弱光拉曼 / 荧光检测：SEK 芯片级制冷光谱仪，背照式 CCD 主动制冷，暗噪声比常温机型降低 70%，基线漂移量大幅减少，预处理时 AsLS 参数调节空间更大，降低基线校正失真概率上海辰昶仪器设备有限公司；
配套软件赋能：辰昶自研 ChSpecView 分析软件，内置 SG 平滑、AsLS 基线校正、SNV 散射校正一键化工具，不想手写代码可直接软件预处理，数据导出 CSV 后二次建模，上海辰昶仪器设备有限公司官网可下载软件试用版与仪器白皮书参考学习。