开篇介绍
AI训练的瓶颈往往不是模型计算，而是数据预处理。openEuler提供高效的数据处理管道，支持并行加载、GPU预处理、数据增强等优化。今天聊聊如何加速AI数据处理。
数据处理优化：多进程DataLoader并行加载提升5-10倍，DALI GPU预处理释放CPU，预取机制减少等待时间，数据缓存避免重复读取。存储优化：NVMe SSD提升I/O吞吐，分布式文件系统支持大规模数据集，数据格式优化TFRecord/Parquet提升读取效率。实践案例：ImageNet数据加载从瓶颈变成非瓶颈，GPU利用率从60%提升到95%。
优化维度：
| 优化维度 | 优化方向 | 性能提升 | 适用场景 |
|---|---|---|---|
| CPU调度 | 调度器参数调优 | 20-30% | CPU密集型 |
| 内存管理 | 内存分配策略 | 15-25% | 大内存应用 |
| I/O子系统 | I/O调度器优化 | 30-50% | 存储密集型 |
| 网络协议栈 | 网络参数调优 | 40-60% | 网络密集型 |
| 中断处理 | 中断亲和性 | 10-20% | 高并发场景 |
| 电源管理 | 性能模式设置 | 5-15% | 所有场景 |
先用perf、ftrace、bpftrace这些工具找瓶颈，再针对性优化。
CPU调度优化
通过调度器参数调优、调度粒度调整及进程亲和性配置，合理分配 CPU 资源和核心负载，显著提升多线程任务执行效率和整体计算吞吐量。
bash
# 查看调度器参数
cat /proc/sys/kernel/sched_*
bash
# 查看硬件配置
lscpu
free -h
lsblk
ip addr
bash
# 查看当前调度器参数
sysctl -a | grep sched
ini
# 优化调度器参数
cat >> /etc/sysctl.conf <<EOF
# CPU调度优化
kernel.sched_migration_cost_ns = 5000000
kernel.sched_min_granularity_ns = 3000000
kernel.sched_wakeup_granularity_ns = 4000000
kernel.sched_latency_ns = 18000000
kernel.sched_nr_migrate = 32
kernel.sched_time_avg_ms = 1000
# NUMA调度优化
kernel.numa_balancing = 1
kernel.sched_autogroup_enabled = 0
EOF
sysctl -p
调度性能对比测试
perl
# 测试脚本：对比调度优化效果
cat > test_sched_optimization.sh <<'EOF'
#!/bin/bash
echo "=== 调度优化前性能测试 ==="
# 恢复默认参数
sysctl -w kernel.sched_min_granularity_ns=10000000
sysctl -w kernel.sched_latency_ns=24000000
sysbench cpu --cpu-max-prime=20000 --threads=16 --time=30 run | grep "events per second"
sysbench threads --thread-yields=100 --thread-locks=2 --time=30 run | grep "total time"
echo ""
echo "=== 调度优化后性能测试 ==="
# 应用优化参数
sysctl -w kernel.sched_min_granularity_ns=3000000
sysctl -w kernel.sched_latency_ns=18000000
sysbench cpu --cpu-max-prime=20000 --threads=16 --time=30 run | grep "events per second"
sysbench threads --thread-yields=100 --thread-locks=2 --time=30 run | grep "total time"
EOF
chmod +x test_sched_optimization.sh
./test_sched_optimization.sh
CPU亲和性优化
bash
# 查看CPU拓扑结构
lscpu -e
numactl --hardware
bash
# 设置进程CPU亲和性
cat > cpu_affinity_test.sh <<'EOF'
#!/bin/bash
echo "=== CPU亲和性优化测试 ==="
# 启动测试进程（无亲和性）
sysbench cpu --cpu-max-prime=50000 --threads=4 --time=30 run > no_affinity.log 2>&1 &
PID1=$!
sleep 35
# 启动测试进程（设置亲和性）
sysbench cpu --cpu-max-prime=50000 --threads=4 --time=30 run > with_affinity.log 2>&1 &
PID2=$!
taskset -cp 0-3 $PID2
sleep 35
echo "无亲和性结果:"
grep "events per second" no_affinity.log
echo "设置亲和性结果:"
grep "events per second" with_affinity.log
EOF
chmod +x cpu_affinity_test.sh
./cpu_affinity_test.sh
内存管理优化
结合大页内存、NUMA 本地优先策略以及内存分配参数优化，降低内存访问延迟、提高带宽利用率，并减少跨节点访问开销，保障大内存应用性能。
bash
# 查看当前内存参数
sysctl -a | grep vm
cat /proc/meminfo
ini
# 优化内存管理参数
cat >> /etc/sysctl.conf <<EOF
# 内存管理优化
vm.swappiness = 10
vm.dirty_ratio = 40
vm.dirty_background_ratio = 10
vm.dirty_expire_centisecs = 3000
vm.dirty_writeback_centisecs = 500
vm.min_free_kbytes = 1048576
vm.vfs_cache_pressure = 50
vm.zone_reclaim_mode = 0
# 透明大页优化
vm.nr_hugepages = 1024
EOF
sysctl -p
bash
# 配置透明大页
echo always > /sys/kernel/mm/transparent_hugepage/enabled
echo always > /sys/kernel/mm/transparent_hugepage/defrag
# 查看大页配置
cat /proc/meminfo | grep -i huge
bash
# 测试大页内存性能
cat > hugepage_test.sh <<'EOF'
#!/bin/bash
echo "=== 大页内存性能测试 ==="
# 禁用透明大页
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "1. 标准页测试:"
sysbench memory --memory-block-size=1M --memory-total-size=50G --threads=8 run | grep "transferred"
# 启用透明大页
echo always > /sys/kernel/mm/transparent_hugepage/enabled
sleep 5
echo "2. 大页测试:"
sysbench memory --memory-block-size=1M --memory-total-size=50G --threads=8 run | grep "transferred"
EOF
chmod +x hugepage_test.sh
./hugepage_test.sh
bash
# 查看NUMA配置
numactl --hardware
numastat
bash
# NUMA优化测试
cat > numa_test.sh <<'EOF'
#!/bin/bash
echo "=== NUMA内存优化测试 ==="
# 默认内存分配
echo "1. 默认NUMA策略:"
sysbench memory --memory-block-size=1M --memory-total-size=20G --threads=8 run | grep "transferred"
# 本地节点优先
echo "2. 本地节点优先策略:"
numactl --preferred=0 sysbench memory --memory-block-size=1M --memory-total-size=20G --threads=8 run | grep "transferred"
# 交错分配
echo "3. 交错分配策略:"
numactl --interleave=all sysbench memory --memory-block-size=1M --memory-total-size=20G --threads=8 run | grep "transferred"
EOF
chmod +x numa_test.sh
./numa_test.sh
I/O子系统优化
通过选择适合存储类型的 I/O 调度器、优化队列深度和读写预取策略，提高磁盘 IOPS、降低访问延迟，从而加速数据加载和预处理效率。
bash
# 查看当前I/O调度器
cat /sys/block/sda/queue/scheduler
bash
# 测试不同I/O调度器性能
cat > io_scheduler_test.sh <<'EOF'
#!/bin/bash
echo "=== I/O调度器性能对比 ==="
DEVICE="sda"
# 测试mq-deadline
echo mq-deadline > /sys/block/$DEVICE/queue/scheduler
echo "1. mq-deadline调度器:"
fio --name=test --rw=randrw --bs=4k --size=5G --numjobs=4 --runtime=30 --group_reporting | grep -E "IOPS|bw"
# 测试kyber
echo kyber > /sys/block/$DEVICE/queue/scheduler
echo "2. kyber调度器:"
fio --name=test --rw=randrw --bs=4k --size=5G --numjobs=4 --runtime=30 --group_reporting | grep -E "IOPS|bw"
# 测试none
echo none > /sys/block/$DEVICE/queue/scheduler
echo "3. none调度器:"
fio --name=test --rw=randrw --bs=4k --size=5G --numjobs=4 --runtime=30 --group_reporting | grep -E "IOPS|bw"
EOF
chmod +x io_scheduler_test.sh
./io_scheduler_test.sh
bash
# 优化I/O队列参数
cat > io_queue_optimize.sh <<'EOF'
#!/bin/bash
DEVICE="sda"
# 优化队列深度
echo 1024 > /sys/block/$DEVICE/queue/nr_requests
echo 512 > /sys/block/$DEVICE/queue/read_ahead_kb
echo 2 > /sys/block/$DEVICE/queue/nomerges
echo 0 > /sys/block/$DEVICE/queue/add_random
# 查看优化后的参数
echo "优化后的I/O队列参数:"
cat /sys/block/$DEVICE/queue/nr_requests
cat /sys/block/$DEVICE/queue/read_ahead_kb
cat /sys/block/$DEVICE/queue/scheduler
EOF
chmod +x io_queue_optimize.sh
./io_queue_optimize.sh
网络协议栈优化
通过调节 TCP/IP 缓冲区、拥塞控制算法、最大连接数及中断亲和性设置，优化网络吞吐和延迟，确保分布式数据传输和高并发场景下的数据处理流畅。
ini
# 优化网络协议栈参数
cat >> /etc/sysctl.conf <<EOF
# 网络性能优化
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 65535
# TCP优化
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 15
# 拥塞控制
net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq
EOF
sysctl -p
bash
# 查看中断分布
cat /proc/interrupts | grep eth0
# 优化网卡中断亲和性
cat > irq_affinity.sh <<'EOF'
#!/bin/bash
# 获取网卡中断号
IRQS=$(cat /proc/interrupts | grep eth0 | awk '{print $1}' | sed 's/://')
# 设置中断亲和性
CPU=0
for IRQ in $IRQS; do
echo $((1 << $CPU)) > /proc/irq/$IRQ/smp_affinity
CPU=$((($CPU + 1) % $(nproc)))
done
echo "中断亲和性设置完成"
cat /proc/interrupts | grep eth0
EOF
chmod +x irq_affinity.sh
./irq_affinity.sh优化效果
| 测试项目 | 优化前 | 优化后 | 提升幅度 |
|---|---|---|---|
| CPU吞吐量 | 10000 ops/s | 13500 ops/s | 35% ↑ |
| 调度延迟 | 150 μs | 95 μs | 37% ↓ |
| 内存带宽 | 45 GB/s | 58 GB/s | 29% ↑ |
| 内存延迟 | 85 ns | 72 ns | 15% ↓ |
| 磁盘IOPS | 35K | 52K | 49% ↑ |
| 磁盘延迟 | 280 μs | 185 μs | 34% ↓ |
| 网络吞吐 | 8.5 Gbps | 12.3 Gbps | 45% ↑ |
| 网络延迟 | 45 μs | 32 μs | 29% ↓ |
数据库服务器QPS提升40%，Web服务器并发提升50%，大数据任务快35%。
总结
openEuler内核优化能提升30-50%性能。CPU密集型减小调度粒度，I/O密集型增大调度延迟。大内存系统启用大页，NUMA优化节点亲和性。SSD用none或kyber调度器，HDD用mq-deadline。优化要基于数据驱动，每次都要测试对比，确保有效且稳定。