Clace和sqlite-fs：使用SQLite替代文件系统

Clace和sqlite-fs都利用 SQLite 提供取代传统文件系统的创新解决方案，每种解决方案都适用于不同的用例。

Clace 概述

Clace 是一个专为内部工具设计的 Web 应用部署平台，允许开发人员在一台机器上安全地托管多个应用程序。主要功能包括：

Clace 的特点

使用 SQLite 提供文件服务

对于 Clace，决定使用SQLite来存储应用文件，而不是使用文件系统。这样做的主要原因是为了能够进行原子版本更改。在更新应用时，由于可能会更新大量文件，因此使用数据库将允许在事务中原子地完成所有更改。这将防止在版本更改期间提供损坏的网页。

Clace 在应用程序创建和更新期间将所有文件上传到 SQLite 数据库。文件从 GitHub 或本地磁盘上传。仅在开发模式下，才使用本地文件系统。

使用 SQLite 的好处

决定使用 SQLite 进行文件存储提供了许多额外的好处（有些是意料之外的）。

事务更新：这是主要的好处。可以在一个事务中更新多个文件。隔离可确保更新期间不会出现任何损坏的 Web 应用程序。

部署回滚：事务的另一个好处是能够在出现错误时回滚部署。如果要更新多个应用程序，则可以一次性回滚所有应用程序。回滚数据库事务比清理文件系统上的文件要容易得多。

跨版本文件重复数据删除：Clace 自动对所有更新进行版本控制。这可能会导致大量重复文件。文件数据存储在具有以下架构的表中

CREATE TABLE files (sha text, compression_type text, content blob, create_time datetime, PRIMARY KEY(sha));

未压缩内容的 SHA256 哈希用作存储文件数据的主键。这意味着即使应用程序的多个版本具有相同的文件，文件内容也只会存储一次。

跨应用程序去重复：Clace 中的每个生产应用程序都有一个暂存应用程序。应用程序可以有多个预览应用程序。这会导致大量文件重复。使用数据库有助于避免所有重复。即使在不同的应用程序中，也会有内容相同的文件。跨应用程序的文件也会被去重。

轻松备份：使用 SQLite 意味着备份非常简单。使用 Litestream 等 SQLite 备份工具，可以轻松备份整个系统、元数据和文件的状态。

内容加密：为了在浏览器上实现内容缓存，网络服务器会返回一个 ETag 标头。使用文件数据库可以在上传文件时轻松保存一次 SHA 内容，而无需稍后重新计算。

压缩：文件内容经 Brotli 压缩后保存在 SQLite 表中。数据库方法的优点是可以轻松地以多种格式保存内容。只需在文件表中添加一列，即可添加 GZip 压缩数据和未压缩数据。

性能

对于 Clace 来说，SQLite 数据库方法提供了出色的性能。没有使用文件系统的等效实现可供比较，因此没有进行直接基准测试。根据SQLite 团队进行的基准测试，对于某些工作负载，SQLite 的性能可能比直接使用文件系统更好。

多节点支持

Clace 目前在单个节点上运行。当稍后添加多节点支持时，计划使用共享 Postgres 数据库，而不是使用本地 SQLite 来存储元数据和文件数据。这将带来延迟问题。计划使用本地 SQLite 数据库作为文件缓存，以避免访问 Postgres 时出现延迟。

为什么这种方法不那么普遍？

大多数 Web 服务器使用文件系统的原因之一是方便。可以使用任何文件系统工具进行文件更新：rsync、tar 等可用于复制文件。另一个原因可能是历史原因：在出现良好的进程内关系数据库之前，人们使用的是文件系统。使用数据库意味着需要某种 API 接口来上传文件，但这并不总是可行的。

sqlite-fs 概述

另一方面，sqlite-fs 是一款允许用户在 Linux 和 macOS 上将 SQLite 数据库挂载为传统文件系统的工具。该项目对于想要直接在数据库环境中管理文件的用户特别有用。

sqlite-fs 的功能

示例用法

要将 SQLite 数据库挂载为文件系统，用户可以执行：

sqlite-fs ~/mount ~/filesystem.sqlite &

echo "Hello world!" > ~/mount/hello.txt

cat ~/mount/hello.txt

此示例演示了如何轻松地在已挂载的 SQLite 数据库中创建和访问文件