Go 语言数据库迁移工具:支持多种数据库 | 开源日报 No.268

golang-migrate/migrate

Stars: 14.2k License: NOASSERTION

migrate 是一个用 Go 语言编写的数据库迁移工具,可作为命令行工具或库导入使用。它从不同来源读取迁移,并按正确顺序应用到数据库中。 该项目的主要功能和优势包括:

  • 支持多种数据库驱动
  • 使用 URL 指定数据库连接字符串
  • 支持各种迁移源,如文件系统、GitHub 等
  • 提供简单易用的 CLI 接口和稳定的 API
  • 内部使用 io.Reader 流以降低内存开销
  • 线程安全且无 goroutine 泄漏

openai/tiktoken

Stars: 10.5k License: MIT

tiktoken 是一个用于 OpenAI 模型的快速 BPE(字节对编码)分词器。 BPE 是一种将文本转换为标记的方法,具有以下几个优点:

  • 可逆且无损,可以将标记重新转换回原始文本。
  • 适用于任意文本,即使不在分词器的训练数据中。
  • 压缩了文本:标记序列比原始文本对应的字节数更短。实际上,每个标记平均相当于约 4 个字节。
  • 尝试让模型看到常见子单词。例如,在英语中,"ing" 是一个常见子单词,因此 BPE 编码通常会将 "encoding" 拆分为 "encod" 和 "ing",而不是例如 "enc" 和 "oding"。因为模型会在不同上下文中反复看到 "ing" 标记, 这有助于模型泛化并更好地理解语法。

tiktoken 提供了快速、高效、可扩展的 BPE 分词功能,并且性能比其他类似开源工具提升 3 至 6 倍之间。

khoj-ai/khoj

Stars: 5.4k License: AGPL-3.0

khoj 是一个个人 AI 助手,可以帮助你获取问题的答案,无论是来自你自己的笔记还是互联网。它使用强大的在线(例如 gpt4)或私有的本地(例如 mistral)LLMs。

  • 创建个人 AI 代理
  • 可分享笔记和文件
  • 访问实时信息
  • 多种访问方式
  • 快速准确语义搜索功能
  • 可以在本地托管或使用 SaaS Web 应用程序
  • 可以从 Obsidian、Emacs、桌面应用程序、Web 或 Whatsapp 访问

myshell-ai/MeloTTS

Stars: 3.8k License: MIT

MeloTTS 是 MyShell.ai 开发的高质量多语言文本转语音库。

  • 支持英语、西班牙语、法语、中文、日本和韩国等多种语言。
  • 中文发音支持混合中英文。
  • 足够快速以进行 CPU 实时推断。

obsidianmd/jsoncanvas

Stars: 2.3k License: MIT

jsoncanvas 是一个用于无限画布数据的开放文件格式。

  • 提供长期性、可读性、互操作性和可扩展性。
  • 易于解析,让用户拥有对其数据的所有权。
  • 可作为任何应用程序或工具的导入、导出和存储格式自由实现。
相关推荐
Rain的Java大神之路18 分钟前
如何快速上传10G文件
java·spring boot·redis·后端·mysql·spring cloud·面试
十二同学啊36 分钟前
向量数据库:从核心原理到 RAG 与 Java 实战
数据库
ZStack开发者社区41 分钟前
ZSvirt 开源月报第 1 期 · Around the World
开源·云计算·vmware·虚拟化
冬奇Lab1 小时前
一天一个开源项目(第224篇):ARTEMIS —— 谷歌开源的移动端 AI 自动化框架,让 AI 助手像人一样操作手机
人工智能·开源·测试
蓝速科技1 小时前
会议室门牌公告通知发布选型与落地指南丨蓝速科技
大数据·运维·数据库·人工智能·科技
码事漫谈2 小时前
别再跟AI说“请”了,它根本不 care——但有个东西它超在意
后端
caoerzhong3 小时前
JeeWMS 开源仓库管理系统全景解读:一套 Java WMS 如何把 WMS/OMS/BMS/TMS 装进同一个系统
java·开源
郑州光合科技余经理3 小时前
同城外卖小程序开发:下单成功后,后台导出能不能对上用户端状态
开发语言·前端·git·后端·uni-app·php·ai编程
IT_陈寒4 小时前
Vue的响应式让我熬到凌晨三点,原来漏了这个小细节
前端·人工智能·后端
一 乐4 小时前
二手交易平台|基于springboot + vue二手交易平台(源码+数据库+文档)
java·数据库·vue.js·spring boot·小程序