UnQLite:多语言支持的嵌入式NoSQL数据库深入解析

文章目录

    • [1. 引言](#1. 引言)
    • [2. Key/Value 存储接口](#2. Key/Value 存储接口)
      • [2.1 关键函数](#2.1 关键函数)
      • [2.2 使用示例](#2.2 使用示例)
      • [2.3 高级操作:批量文件存储](#2.3 高级操作:批量文件存储)
    • [3. 游标的使用](#3. 游标的使用)
    • [4. UnQLite-Python使用示例](#4. UnQLite-Python使用示例)
    • [4. UnQLite数据库引擎架构](#4. UnQLite数据库引擎架构)
      • [5.1 Key/Value存储层](#5.1 Key/Value存储层)
      • [5.2 文档存储层](#5.2 文档存储层)
      • [5.3 可插拔的存储引擎](#5.3 可插拔的存储引擎)
      • [5.4 事务管理器与分页模块](#5.4 事务管理器与分页模块)
      • [5.5 虚拟文件系统](#5.5 虚拟文件系统)
    • [6. UNQlite VS SQLite](#6. UNQlite VS SQLite)
    • [7. 总结](#7. 总结)

1. 引言

UnQLite 是一个嵌入式的NoSQL数据库引擎,提供一个无需编写复杂SQL语句的方案,支持任意形式的数据存储。对于需要频繁操作JSON数据的应用来说,UnQLite提供的JSON文档存储和读取特别方便,使得数据操作直观和高效,适合于各种嵌入式应用程序。

核心特性

  • Key/Value存储:灵活的键值存储,类似于Berkeley DB和LevelDB。
  • 事务支持:完整的ACID事务支持,确保数据一致性。
  • 多语言支持:支持C/C++、Python、Go、Perl和Lua等语言。

可以通过以下链接下载:UnQLite 下载页面

2. Key/Value 存储接口

UnQLite的Key/Value存储接口适合存储原始数据。键和值都被视为字节数组,可以存储任意类型的数据,如字符串、二进制对象等。

2.1 关键函数

  • unqlite_kv_store(): 存储键值对。
  • unqlite_kv_append(): 追加数据到现有的键值对。
  • unqlite_kv_fetch_callback(): 通过回调函数获取数据。
  • unqlite_kv_delete(): 删除指定键的记录。

2.2 使用示例

以下代码介绍如何使用UnQLite的Key/Value存储接口执行基本操作:

c 复制代码
#include <unqlite.h>

int main(void) {
  unqlite *pDb;
  int rc;

  /* 打开数据库 */
  rc = unqlite_open(&pDb, "test.db", UNQLITE_OPEN_CREATE);
  if (rc != UNQLITE_OK) {
    return 1; /* 非0返回值表示错误 */
  }

  /* 存储记录 */
  rc = unqlite_kv_store(pDb, "test", -1, "Hello World", 11U);
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb); /* 关闭数据库 */
    return 1;
  }

  /* 追加数据 */
  rc = unqlite_kv_append(pDb, "msg", -1, "Hello, ", 7U);
  if (rc == UNQLITE_OK) {
    rc = unqlite_kv_append_fmt(pDb, "msg", -1, "%d:%d:%d", 10, 16, 53);
  }
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb); /* 关闭数据库 */
    return 1;
  }

  /* 删除记录 */
  rc = unqlite_kv_delete(pDb, "test", -1);
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb); /* 关闭数据库 */
    return 1;
  }

  /* 关闭数据库 */
  rc = unqlite_close(pDb);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  return 0; /* 0表示成功 */
}

2.3 高级操作:批量文件存储

可以将外部文件(如XML、音频文件等)直接存储到UnQLite数据库中,并在需要时通过简单的查询提取。

c 复制代码
#include <unqlite.h>

int store_files_in_db(int argc, char *argv[]) {
  unqlite *pDb;
  void *pMap;
  unqlite_int64 iSize;
  int rc;
  int i;

  /* 检查参数数量 */
  if (argc <= 1) {
    return 1; /* 错误:没有文件参数 */
  }

  rc = unqlite_open(&pDb, "test.db", UNQLITE_OPEN_CREATE);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  for (i = 1; i < argc; ++i) {
    const char *zName = argv[i];
    rc = unqlite_util_load_mmaped_file(zName, &pMap, &iSize);
    if (rc != UNQLITE_OK) {
      unqlite_close(pDb);
      return 1;
    }

    rc = unqlite_kv_store(pDb, zName, -1, pMap, (unsigned int)iSize);
    unqlite_util_release_mmaped_file(pMap, iSize);
    if (rc != UNQLITE_OK) {
      unqlite_close(pDb);
      return 1;
    }
  }

  rc = unqlite_close(pDb);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  return 0;
}

3. 游标的使用

游标允许遍历整个数据库的记录,适用于需要顺序访问或修改记录的场景。

游标操作示例

c 复制代码
#include <unqlite.h>

/* 假设DataConsumerCallback函数已定义 */

int traverse_records(void) {
  unqlite *pDb;
  unqlite_kv_cursor *pCursor;
  unqlite_int64 iData;
  int rc;

  rc = unqlite_open(&pDb, "test.db", UNQLITE_OPEN_CREATE);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  rc = unqlite_kv_cursor_init(pDb, &pCursor);
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb);
    return 1;
  }

  rc = unqlite_kv_cursor_last_entry(pCursor);
  if (rc != UNQLITE_OK) {
    unqlite_kv_cursor_release(pDb, pCursor);
    unqlite_close(pDb);
    return 1;
  }

  while (unqlite_kv_cursor_valid_entry(pCursor)) {
    /* Consume the key */
    rc = unqlite_kv_cursor_key_callback(pCursor, DataConsumerCallback, 0);
    if (rc != UNQLITE_OK) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }

    /* Extract data length */
    rc = unqlite_kv_cursor_data(pCursor, NULL, &iData);
    if (rc != UNQLITE_OK) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }

    /* Consume the data */
    rc = unqlite_kv_cursor_data_callback(pCursor, DataConsumerCallback, 0);
    if (rc != UNQLITE_OK) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }

    /* Move to the previous record */
    rc = unqlite_kv_cursor_prev_entry(pCursor);
    if (rc != UNQLITE_OK && rc != UNQLITE_DONE) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }
  }

  unqlite_kv_cursor_release(pDb, pCursor);
  rc = unqlite_close(pDb);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  return 0;
}

4. UnQLite-Python使用示例

下面是如何在 Python 中使用 UnQLite 的简要介绍,并展示了基本的操作示例。

可以通过pip3 install unqlite安装Python组件。

py 复制代码
import unqlite  

def main():  
    try:  
        # 打开数据库  
        with unqlite.UnQLite('test.db', unqlite.OPEN_CREATE) as db:  

            # 存储记录  
            db['test'] = 'Hello World'  
            print("Stored record: 'Hello World'")  

            # 追加数据  
            db['msg'] = db.get('msg', '') + 'Hello, '  
            db['msg'] += f"{10}:{16}:{53}"  
            print("Appended to 'msg':", db['msg'])  

            # 删除记录  
            if 'test' in db:  
                del db['test']  
                print("Deleted record: 'test'")  
            else:  
                print("Record 'test' not found.")  

            # 检查 'test' 是否已经删除  
            if 'test' in db:  
                print("Failed to delete record 'test'.")  
            else:  
                print("Record 'test' successfully deleted.")  

    except Exception as e:  
        print(f"Error: {e}")  

if __name__ == "__main__":  
    main()

4. UnQLite数据库引擎架构

UnQLite采用分层架构设计,主要由以下几个关键组件构成:

5.1 Key/Value存储层

UnQLite的核心是一个标准的键/值存储层,类似于BerkeleyDB和LevelDB。它支持ACID事务和并发读取,键和值均为字节数组,能存储各种类型的数据(如ASCII字符串、二进制数据)。该层通过一组接口与主机应用程序交互,接口包括unqlite_kv_store()unqlite_kv_append()unqlite_kv_fetch_callback()等。

5.2 文档存储层

文档存储层用于存储JSON文档,由Jx9编程语言驱动。Jx9是一种嵌入式脚本语言,具备图灵完备性和动态类型特性,语法类似于C和JavaScript。作为扩展语言,Jx9允许在数据库层直接操作JSON格式的数据,提供了强大的文档处理能力。

5.3 可插拔的存储引擎

UnQLite支持多种可插拔的存储引擎,如Hash、B+树、R+树、LSM等。内置的存储引擎包括用于持久化数据库的虚拟线性哈希(VLH)引擎和用于内存数据库的哈希表或红黑树引擎。这种设计使得UnQLite可以根据不同应用场景选择最合适的存储引擎。

5.4 事务管理器与分页模块

分页模块负责从磁盘读写固定大小的块(默认为4096字节),并管理缓存。它还提供回滚和原子提交的功能,确保数据操作的安全性和效率。存储引擎通过页面缓存与分页模块进行交互,处理数据的修改、提交或回滚请求。

5.5 虚拟文件系统

为了实现跨平台兼容性,UnQLite设计了一个抽象的虚拟文件系统(VFS),用于不同操作系统间的移植。每个操作系统都有其专属的VFS实现,这确保了UnQLite可以在POSIX和Win32/64等系统上运行。

6. UNQlite VS SQLite

  • 缓存机制

    • UnQLite首次查询较慢,涉及磁盘访问和数据预处理(如FastJSON解码)。
    • 后续查询利用内存中的缓存,速度更快。
  • 性能测试结果

    • UnQLite内存中
      • 存储:901.9毫秒
      • 查询:2586毫秒
    • UnQLite本地磁盘上
      • 存储:15223.3毫秒
      • 查询:114.2毫秒
    • SQLite内存中
      • 存储:9507毫秒
      • 查询:105毫秒
  • 性能比较

    • 内存中,UnQLite存储速度比SQLite快,但查询速度较慢。
    • 本地磁盘上,UnQLite查询速度比SQLite快,但存储速度较慢。

7. 总结

UnQLite采用分层设计和灵活架构,能够满足多种嵌入式数据库需求。它支持多种编程语言,使用简单,易于上手。除了键值存储外,UnQLite还具备强大的文档存储和跨平台功能。通过结合文档存储、游标和键值接口,也可以开发出复杂的嵌入式数据库应用。

相关推荐
网易独家音乐人Mike Zhou27 分钟前
【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现(Kalman Filter)
c语言·python·单片机·物联网·算法·嵌入式·iot
工业甲酰苯胺1 小时前
Redis性能优化的18招
数据库·redis·性能优化
没书读了2 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring
i道i3 小时前
MySQL win安装 和 pymysql使用示例
数据库·mysql
小怪兽ysl3 小时前
【PostgreSQL使用pg_filedump工具解析数据文件以恢复数据】
数据库·postgresql
wqq_9922502773 小时前
springboot基于微信小程序的食堂预约点餐系统
数据库·微信小程序·小程序
爱上口袋的天空3 小时前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse
聂 可 以5 小时前
Windows环境安装MongoDB
数据库·mongodb
web前端神器5 小时前
mongodb多表查询,五个表查询
数据库·mongodb
门牙咬脆骨5 小时前
【Redis】redis缓存击穿,缓存雪崩,缓存穿透
数据库·redis·缓存