记录一次线上oom问题排查

在这里插入图片描述

1. 获取 PID：

jps

2. 查看线程状态（是否有死锁、卡顿）：

jstack <PID>

3. 通过查看线程状态发现mongoDb阻塞：

```bash
主线程状态：RUNNABLE 在 java.net.SocketInputStream.socketRead0
MongoDB操作：执行 FindOperation 时卡住

4. 查看mogodb发现在建前台索引：

@CompoundIndexes({
@CompoundIndex(
   def = "{'group_name':1, 'bag_name':1, 'topic_name':1, 'timestamp':1}",
   unique = true, background = true)})
background = true改为后台索引

5. 分析dump文件：

1. 当前对象集：byte[] 的 171,181 个实例

• 实例数量 ：有 171,181 个 byte[] 实例。
• 浅层大小（Shallow Size）：总共 4,710 MB。
• 保留大小（Retained Size）：未显示具体值，但可以通过进一步分析得到。

2. 传入引用（Incoming references）

截图中列出了多个 byte[] 实例，每个实例的保留大小和浅层大小均为 83,894 kB（约 82 MB）。这些 byte[] 实例被 org.apache.tomcat.util.buf.ByteChunk 类的 buff 字段引用。

3. 内存泄漏的可能原因

3.1 大量的 byte[] 实例

• 数量巨大 ：171,181 个 byte[] 实例占用 4,710 MB 内存，这表明存在大量的字节数组实例。
• 单个实例大小 ：每个 byte[] 实例大小为 83,894 kB，这通常表示每个数组的长度非常大（大约 82 MB）。

3.2 ByteChunk 的引用

• ByteChunk 类：这是 Tomcat 中用于处理字节数据的类，常见于 HTTP 请求和响应的处理。
• buff 字段 ：每个 ByteChunk 实例都有一个 buff 字段引用一个 byte[] 实例。

3.3 潜在问题

1. 未释放的 ByteChunk 实例：

   • 如果 ByteChunk 实例在使用后没有被正确释放，会导致其引用的 byte[] 实例也无法被垃圾回收，从而造成内存泄漏。

2. 过度使用 ByteChunk：

   • 如果应用频繁创建 ByteChunk 实例且没有有效管理其生命周期，会导致内存占用不断增加。

3. 大数组的频繁创建：

   • 每个 byte[] 实例大小为 82 MB，如果频繁创建这样的大数组，会导致内存迅速耗尽。

4. 解决方案

4.1 检查 ByteChunk 的使用

• 代码审查 ：检查应用中 ByteChunk 实例的创建和释放逻辑，确保在使用完毕后及时释放。
• 复用 ByteChunk ：考虑复用 ByteChunk 实例，而不是每次都需要创建新的实例。

4.2 优化大数组的使用

• 按需分配 ：根据实际需要分配 byte[] 的大小，避免一次性分配过大的数组。
• 分段处理：对于大文件或数据流，可以采用分段处理的方式，每次只处理一小部分数据。

4.3 内存监控和分析

• 定期分析：定期使用内存分析工具（如 MAT）进行内存分析，及时发现和解决问题。
• 性能监控：使用性能监控工具（如 JMX、Prometheus 等）监控应用的内存使用情况，及时发现异常。

5. 总结

截图显示的内存使用情况表明，存在大量的 byte[] 实例被 ByteChunk 引用，且每个实例的大小都非常大。这可能是由于 ByteChunk 实例未被正确释放或过度使用导致的。通过检查 ByteChunk 的使用逻辑、优化大数组的分配和使用、以及定期进行内存分析，可以有效解决该问题。

如果你有更多具体的代码或应用场景信息，可以进一步分析具体原因并提供更详细的解决方案。

在MongoDB中，前台索引和后台索引是两种不同的索引构建方式，它们在性能影响和可用性方面有显著区别。

前台索引 (Foreground Index)

特点：

// 前台索引创建（默认）
db.brakeCollection.createIndex({ "status": 1, "createTime": -1 })

// 或者显式指定
db.brakeCollection.createIndex(
  { "status": 1, "createTime": -1 },
  { background: false }  // 默认就是false
)

优势：

• 构建速度更快 - 通常比后台索引快2-3倍
• 索引更紧凑 - 索引结构更优化
• 立即生效 - 构建完成后立即可用

劣势：

• 阻塞操作 - 在索引构建期间：
  • 集合被锁定，无法执行写操作
  • 读操作可能被阻塞
  • 可能导致应用超时和连接中断

后台索引 (Background Index)

特点：

// 后台索引创建
db.brakeCollection.createIndex(
  { "status": 1, "createTime": -1 },
  { background: true }  // 关键参数
)

优势：

• 非阻塞 - 在索引构建期间：
  • 集合可以正常执行读写操作
  • 应用不会中断
• 生产环境友好 - 适合7x24运行的系统

劣势：

• 构建速度慢 - 比前台索引慢2-3倍
• 资源消耗大 - 可能影响系统整体性能
• 索引效率稍低 - 索引结构可能不如前台索引紧凑

在您当前情况下的选择建议

1. 紧急情况 - 使用后台索引

// 立即执行 - 不会阻塞您的应用
db.brakeCollection.createIndex(
  { "status": 1, "createTime": -1 },
  { 
    background: true,
    name: "status_createtime_idx"
  }
)

db.brakeCollection.createIndex(
  { "status": 1 },
  { 
    background: true,
    name: "status_idx" 
  }
)

db.brakeCollection.createIndex(
  { "createTime": -1 },
  { 
    background: true,
    name: "createtime_idx" 
  }
)

2. 在Spring Data MongoDB中配置

@CompoundIndexes({
    @CompoundIndex(
        def = "{'group_name':1, 'bag_name':1, 'topic_name':1, 'timestamp':1}",
        unique = true
    ),
    @CompoundIndex(
        def = "{'status':1, 'createTime':-1}",
        name = "status_createtime_idx",
        background = true  // 关键配置
    ),
    @CompoundIndex(
        def = "{'status':1}",
        name = "status_idx",
        background = true
    )
})
public class Brake {
    // 实体字段
}

3. 编程方式创建后台索引

@Component
public class MongoIndexCreator {
    
    @Autowired
    private MongoTemplate mongoTemplate;
    
    @EventListener(ApplicationReadyEvent.class)
    public void createBackgroundIndexes() {
        try {
            // 创建后台索引 - 不会阻塞应用启动
            mongoTemplate.indexOps(Brake.class).ensureIndex(
                new Index().on("status", Sort.Direction.ASC)
                          .on("createTime", Sort.Direction.DESC)
                          .named("status_createtime_idx")
                          .background()
            );
            
            mongoTemplate.indexOps(Brake.class).ensureIndex(
                new Index().on("status", Sort.Direction.ASC)
                          .named("status_idx")
                          .background()
            );
            
            mongoTemplate.indexOps(Brake.class).ensureIndex(
                new Index().on("createTime", Sort.Direction.DESC)
                          .named("createtime_idx")
                          .background()
            );
            
            logger.info("Background indexes creation initiated");
        } catch (Exception e) {
            logger.warn("Background index creation failed, but application continues", e);
        }
    }
}

监控索引构建进度

查看正在构建的索引

// 查看当前操作
db.currentOp(
  { 
    "active": true, 
    "ns": "your_database.brakeCollection",
    "op": "command",
    "command.createIndexes": { "$exists": true }
  }
)

检查索引状态

// 查看索引构建状态
db.brakeCollection.getIndexes()

// 查看索引构建进度
db.brakeCollection.aggregate([{ $indexStats: {} }])

// 等待索引构建完成（用于脚本）
while (db.brakeCollection.currentOp().inprog.filter(op => 
  op.ns === 'your_database.brakeCollection' && 
  op.command && 
  op.command.createIndexes).length > 0) {
  sleep(1000);
}
print("Index build completed");

针对您当前问题的具体建议

立即执行步骤：

1. 首先让应用启动 - 临时禁用初始化
2. 创建后台索引 - 使用上面的MongoDB命令
3. 验证索引生效 - 检查索引状态
4. 逐步恢复功能 - 重新启用初始化

推荐的后台索引创建命令：

use your_database_name

// 创建查询需要的后台索引
db.brakeCollection.createIndex(
  { "status": 1, "createTime": -1 },
  { 
    background: true,
    name: "status_createtime_idx" 
  }
)

// 创建单字段索引作为备用
db.brakeCollection.createIndex(
  { "status": 1 },
  { 
    background: true,
    name: "status_idx" 
  }
)

db.brakeCollection.createIndex(
  { "createTime": -1 },
  { 
    background: true,
    name: "createtime_idx" 
  }
)

总结 ：在您当前的生产环境问题中，强烈建议使用后台索引，因为它不会阻塞您的应用运行，可以让系统在索引构建期间继续提供服务。