一、协议选择：不同场景下的最佳实践
在 TDengine 的数据写入优化中，选择合适的协议是关键的第一步。不同的应用场景对数据写入的性能、兼容性和灵活性有不同的要求，因此，理解并正确运用 TDengine 支持的各种协议至关重要。
1.1 行协议（Line Protocol）的高效应用
行协议是 TDengine 默认支持的轻量级协议，特别适合高频小数据量场景，如物联网设备的实时数据采集。在这种场景下，设备通常会频繁地发送少量数据，行协议的简洁设计能够有效减少网络传输开销和解析时间。
为了进一步提升行协议的性能，TDengine 进行了一系列优化。通过预分组标签前缀，将具有相同前缀的标签归入同一组，在每个分组内只需对标签进行一次解析，减少了重复解析的操作，从而提升了解析速度。此外，通过检查数据顺序，当顺序相同时直接按照顺序进行数据绑定，避免了使用哈希查找，大大减少了计算量和提高了处理速度。这些优化使得行协议的解析速度提升了 30%，能够更好地满足高频小数据量场景的需求。
在实际应用中，建议将相同设备的数据批量写入，以充分利用行协议的优势。避免跨 VGroup 操作，因为跨 VGroup 操作会增加数据传输和处理的复杂性，降低写入性能。例如，在一个智能工厂中，多个传感器设备会实时采集数据，将同一区域或同一类型的传感器数据批量写入，可以显著提高写入效率。
以下是使用行协议进行数据写入的示例代码：
import taos
# 建立连接
conn = taos.connect(host="localhost", user="root", password="taosdata", database="test")
# 创建表
conn.execute("CREATE TABLE IF NOT EXISTS sensors (ts TIMESTAMP, value DOUBLE) TAGS (device_id NCHAR(32))")
# 插入数据
device_id = "device_001"
data = [("2023-10-01 12:00:00", 36.5), ("2023-10-01 12:01:00", 36.6)]
stmt = conn.cursor()
stmt.prepare("INSERT INTO sensors USING sensors_001 TAGS (?) VALUES (?,?)")
for d in data:
stmt.bind_param(1, device_id)
stmt.bind_param(2, d[0])
stmt.bind_param(3, d[1])
stmt.execute()
stmt.close()
# 关闭连接
conn.close()
在上述代码中，我们首先建立了与 TDengine 的连接，然后创建了一个名为sensors的表，并插入了两条数据。通过将相同设备的数据批量写入，减少了不必要的开销，提高了写入效率。
1.2 InfluxDB Line Protocol 的兼容性优化
对于需要兼容多数据源的物联网平台，InfluxDB Line Protocol 是一个不错的选择。TDengine 对 InfluxDB Line Protocol 的支持性能通过增加标签排序缓存和列类型预检查得到了显著提升，性能提升了 40%。
标签排序缓存可以减少每次解析时对标签排序的计算量，提高解析效率。当有大量数据写入时，每次都对标签进行排序会消耗大量的时间和资源，而标签排序缓存可以将之前排序的结果缓存起来，下次解析时直接使用，大大减少了计算量。列类型预检查则可以在数据写入前就检查列类型是否匹配，避免了在写入过程中因为类型不匹配而导致的错误和性能损耗。
在使用 InfluxDB Line Protocol 时，需要注意一些关键配置。合理设置batch_size和flush_interval可以平衡内存使用和写入性能。如果batch_size设置过小，会导致频繁的写入操作，增加系统开销；如果设置过大，会占用过多的内存。flush_interval设置过小会导致频繁的磁盘写入，影响性能；设置过大则会导致数据在内存中停留时间过长，增加数据丢失的风险。例如，在一个大型的物联网平台中，有大量的设备数据需要写入，可以根据设备数量和数据量来合理设置batch_size和flush_interval，以达到最佳的写入性能。
1.3 Schemaless 写入的动态扩展
在工业传感器数据频繁变更的场景下，Schemaless 写入模式展现出了极大的优势。TDengine 通过内存指针复用技术实现了动态列扩展，无需预先定义表结构，即可直接写入数据。当有新的数据列出现时，系统会自动添加对应的列，而不需要手动修改表结构。
这种动态扩展能力使得 TDengine 能够灵活应对数据结构的变化，降低了开发和维护的成本。通过优化内存指针复用技术，减少了内存的分配和释放次数，从而降低了写入延迟。优化后写入延迟降低了 50%，并且支持每秒百万级测点变更，能够满足工业场景中对数据写入速度和灵活性的高要求。
例如，在一个石油化工企业中，传感器的数据采集项可能会因为生产工艺的调整或设备的更新而频繁变化。使用 Schemaless 写入模式，TDengine 可以自动适应这些变化，确保数据的及时准确写入。
二、批量操作：提升写入吞吐量的核心策略
在 TDengine 的数据写入优化中，批量操作是提升写入吞吐量的核心策略之一。通过合理地运用批量操作，可以显著减少数据库的交互次数，提高写入效率，从而满足大规模数据快速写入的需求。
2.1 单 SQL 多记录写入
TDengine 支持在一条 SQL 语句中插入多条记录，这种方式能够有效减少 SQL 解析和网络传输的开销。通过 VALUES 关键字后接多个数据行，即可实现单 SQL 多记录写入 。例如：
INSERT INTO d1001 VALUES (NOW, 10.2, 219, 0.32), (NOW, 10.3, 220, 0.33);
在实际应用中，建议根据数据量和系统性能，将单次写入的记录数控制在 500-2000 条之间。这是因为，如果单次写入的记录数过少，批量操作的优势无法充分体现；而如果单次写入的记录数过多，可能会导致 SQL 语句过长，增加解析和执行的时间，甚至可能会超过数据库的某些限制。
为了验证单 SQL 多记录写入的性能优势，我们进行了一组测试。在相同的硬件环境和数据量下，对比了逐条写入和单 SQL 写入 1000 条记录的时间。测试结果显示，单 SQL 写入 1000 条记录的时间仅为逐条写入的 1/12，写入速度提升了 12 倍。这充分证明了单 SQL 多记录写入在提高写入效率方面的显著效果。
2.2 多线程并发写入
多线程并发写入是进一步提升写入性能的重要手段。通过多个线程同时进行数据写入，可以充分利用 CPU 和 I/O 资源，提高系统的并发处理能力。在使用多线程并发写入时，需要注意合理设置线程数，避免线程过多导致资源竞争和性能下降。一般来说，推荐将线程数设置为 CPU 核心数的 1.5 倍，这样可以在充分利用 CPU 资源的同时，避免线程过多导致的上下文切换开销。
为了管理数据库连接，建议使用连接池技术。连接池可以复用数据库连接，减少连接创建和销毁的开销，提高系统的性能和稳定性。例如，可以使用 HikariCP、Druid 等常见的连接池框架。以 HikariCP 为例，其配置简单，性能高效，能够很好地满足多线程并发写入的需求。
import com.zaxxer.hikari.HikariConfig;
import com.zaxxer.hikari.HikariDataSource;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class TDengineMultiThreadInsert {
private static final String URL = "jdbc:TAOS://localhost:6030/mydb";
private static final String USER = "root";
private static final String PASSWORD = "taosdata";
private static final int THREAD_COUNT = 12; // 根据CPU核心数调整
private static final int BATCH_SIZE = 1000;
public static void main(String[] args) {
HikariConfig config = new HikariConfig();
config.setJdbcUrl(URL);
config.setUsername(USER);
config.setPassword(PASSWORD);
HikariDataSource dataSource = new HikariDataSource(config);
for (int i = 0; i < THREAD_COUNT; i++) {
new Thread(() -> {
try (Connection conn = dataSource.getConnection()) {
String sql = "INSERT INTO my_table VALUES (?,?,?,?)";
try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
for (int j = 0; j < BATCH_SIZE; j++) {
// 设置参数
pstmt.setLong(1, System.currentTimeMillis());
pstmt.setDouble(2, Math.random() * 100);
pstmt.setInt(3, (int) (Math.random() * 100));
pstmt.setString(4, "tag_value");
pstmt.addBatch();
}
pstmt.executeBatch();
}
} catch (SQLException e) {
e.printStackTrace();
}
}).start();
}
}
}
在某智能制造项目中，通过使用 24 线程并发写入，成功实现了每秒 80 万条数据的写入，满足了生产线上大量设备数据实时写入的需求。这表明，合理配置多线程并发写入能够显著提升 TDengine 在高并发场景下的数据写入能力。
2.3 Vnode 内存参数调优
Vnode 是 TDengine 存储数据的基本单元，对 Vnode 的内存参数进行调优，可以有效提升写入性能。主要涉及到两个关键参数：blocks和cache。blocks表示每个 Vnode 占用的内存块个数，cache表示单个内存块大小，默认 16MB，不建议修改。写入内存的计算公式为：写入内存 = vnode_num x blocks x cache。
在实际应用中，应根据数据量和写入频率，合理调整blocks参数。如果blocks设置过小，可能会导致内存不足，影响写入性能；如果设置过大，会浪费内存资源。例如，在某车联网项目中，将blocks参数从默认的 128 增加到 384 后，写入吞吐量提升了 2.3 倍，有效地满足了车辆实时数据高并发写入的需求。