MongoDB（93）如何使用变更流跟踪数据变化？

使用 MongoDB 的变更流（Change Streams）功能可以实时跟踪数据变化。这项功能允许你订阅 MongoDB 中的插入、更新、删除事件，并在这些事件发生时立即收到通知。下面是关于如何使用变更流跟踪数据变化的详细步骤和示例代码。

一、环境准备

MongoDB 副本集：变更流依赖于 MongoDB 的副本集（replica set），因此你需要确保 MongoDB 以副本集模式运行。
Node.js 环境：我们将使用 Node.js 和 MongoDB 官方驱动程序来实现这一功能。

二、安装 MongoDB 驱动

首先，确保你有一个 Node.js 项目，并安装 MongoDB 驱动：

bash 复制代码

npm install mongodb

三、连接到 MongoDB

使用 MongoDB 驱动程序连接到你的 MongoDB 副本集：

javascript 复制代码

const { MongoClient } = require('mongodb');

const uri = 'mongodb://localhost:27017';
const client = new MongoClient(uri, { useNewUrlParser: true, useUnifiedTopology: true });

async function run() {
    try {
        await client.connect();
        console.log('Connected to MongoDB');
        const database = client.db('mydatabase');
        const collection = database.collection('mycollection');

        // 开始监听变更流
        const changeStream = collection.watch();

        changeStream.on('change', (change) => {
            console.log('Change detected:', change);
        });

        // 插入测试数据
        setInterval(() => {
            collection.insertOne({ name: 'Test', timestamp: new Date() });
        }, 5000); // 每隔5秒插入一条数据

    } catch (err) {
        console.error(err);
    }
}

run().catch(console.dir);

四、详细解析变更流事件

变更流事件中包含的信息非常丰富，以下是对常见事件类型的详细解析：

1. 插入事件（insert）

当一个文档被插入时，会触发插入事件。你可以通过 fullDocument 字段访问插入的文档。

javascript 复制代码

changeStream.on('change', (change) => {
    if (change.operationType === 'insert') {
        console.log('Document inserted:', change.fullDocument);
    }
});

事件示例：

json 复制代码

{
    "operationType": "insert",
    "fullDocument": {
        "_id": "612b1f024a4f1e6b1c9c5b9f",
        "name": "Test",
        "timestamp": "2021-08-29T14:45:54.123Z"
    },
    "ns": {
        "db": "mydatabase",
        "coll": "mycollection"
    },
    "documentKey": {
        "_id": "612b1f024a4f1e6b1c9c5b9f"
    }
}

2. 更新事件（update）

当一个文档被更新时，会触发更新事件。updateDescription 字段包含了更新的详细信息。

javascript 复制代码

changeStream.on('change', (change) => {
    if (change.operationType === 'update') {
        console.log('Document updated:', change.updateDescription);
    }
});

事件示例：

json 复制代码

{
    "operationType": "update",
    "updateDescription": {
        "updatedFields": {
            "name": "Updated Test"
        },
        "removedFields": []
    },
    "ns": {
        "db": "mydatabase",
        "coll": "mycollection"
    },
    "documentKey": {
        "_id": "612b1f024a4f1e6b1c9c5b9f"
    }
}

3. 删除事件（delete）

当一个文档被删除时，会触发删除事件。documentKey 字段包含被删除文档的 _id。

javascript 复制代码

changeStream.on('change', (change) => {
    if (change.operationType === 'delete') {
        console.log('Document deleted:', change.documentKey._id);
    }
});

事件示例：

json 复制代码

{
    "operationType": "delete",
    "ns": {
        "db": "mydatabase",
        "coll": "mycollection"
    },
    "documentKey": {
        "_id": "612b1f024a4f1e6b1c9c5b9f"
    }
}

五、过滤变更流事件

你可以使用管道（pipeline）来过滤变更流事件，只接收感兴趣的事件。例如，只接收插入事件：

javascript 复制代码

const pipeline = [
    { $match: { operationType: 'insert' } }
];

const changeStream = collection.watch(pipeline);

changeStream.on('change', (change) => {
    console.log('Change detected:', change);
});

六、变更流选项

变更流支持多种选项来更好地控制事件流：

fullDocument：指定是否在更新事件中返回更新后的完整文档。
resumeAfter：从特定的 resume token 开始恢复变更流。
startAtOperationTime：从特定的操作时间开始监听变更流。
startAfter：从特定的 resume token 之后开始监听变更流。

javascript 复制代码

const changeStream = collection.watch([], { fullDocument: 'updateLookup' });

changeStream.on('change', (change) => {
    console.log('Change detected:', change);
});

七、处理 Resume Token

Resume Token 是用于恢复变更流会话的标识符，当变更流中断时，可以使用 Resume Token 来继续监听之前的事件。

javascript 复制代码

changeStream.on('change', (change) => {
    console.log('Change detected:', change);
    const resumeToken = change._id;
    // 可以将 resumeToken 存储起来，以便在变更流中断时恢复
});

changeStream.on('error', (error) => {
    console.error('Error in change stream:', error);
    if (error.resumeToken) {
        // 使用 resume token 恢复变更流
        const resumedStream = collection.watch([], { resumeAfter: error.resumeToken });
        resumedStream.on('change', (change) => {
            console.log('Resumed change detected:', change);
        });
    }
});

八、错误处理

在使用变更流时，需要处理可能的错误和异常情况，比如网络中断、服务器宕机等。

javascript 复制代码

changeStream.on('error', (error) => {
    console.error('Error in change stream:', error);
});

changeStream.on('end', () => {
    console.log('Change stream ended');
});

九、实际应用场景

实时通知系统：用户操作（如评论、点赞等）可以通过变更流实时通知客户端。
数据同步：在多个数据库实例之间同步数据变化。
审计日志：记录数据库操作日志，进行审计和监控。
缓存更新：在缓存系统中使用变更流实时更新缓存数据。

总结

通过变更流，MongoDB 为开发者提供了一种强大的工具，可以实时订阅数据库的变化。无论是构建实时应用、事件驱动系统，还是实现数据同步和审计日志，变更流都可以显著简化开发工作，提高系统的实时性和可靠性。上述示例和详细解析展示了如何使用变更流跟踪数据变化，在实际项目中，你可以根据需要进一步扩展和优化这些功能。