技术栈
数据库
Data_Journal
5 小时前
大数据
·
开发语言
·
数据库
·
python
·
scrapy
用于网页抓取的 Node-unblocker
在本指南中,我将带你了解 Node Unblocker——它是什么、为什么有用,以及如何在你的 Node.js 项目中设置它。读完后,你将清楚地知道如何使用 Node Unblocker 将你的网页抓取项目提升到新的水平。
涤生大数据
5 小时前
大数据
·
数据库
·
人工智能
·
状态模式
一次“没有运行日志”的DolphinScheduler任务失败排查
引子:失败了,却没有一行运行日志生产调度中最让人困惑的场景之一,是任务页面明确显示“失败”,告警也已经生成,但任务的开始时间、执行主机、执行目录和日志路径全部为空。没有Worker日志,没有YARN Application ID,更没有Spark Driver、Executor或MapReduce Container日志。
专注API从业者
5 小时前
大数据
·
运维
·
数据库
·
数据分析
·
自动化
告别人工盯品!借助 Open Claw 搭建电商商品自动化监控与数据分析系统(完整可运行源码)
做电商运营或者竞品调研,相信很多人都有这样的痛点:想要持续跟踪多款商品的价格变动、库存、规格信息,每天手动打开网页复制粘贴数据到 Excel 表格。不仅重复劳动耗时间,大促节点的临时降价、库存清仓往往转瞬即逝,人工很难第一时间捕捉变化。
allforgood
3 天前
数据库
·
mysql
Mysql数据库2
事务、行锁 / 表锁、MVCC、索引实现、数据读写、崩溃恢复、外键约束、缓存、数据存储格式。SQL 解析优化属于上层,由 Server 层实现。
viskaz
6 小时前
数据库
数据库迁移流程学习
除了 MySQL,无论是哪种关系型数据库(如 PostgreSQL, Oracle, SQL Server)或非关系型数据库(如 MongoDB, Redis),如果是要在**不中断核心业务(零停机 / 平滑迁移)**的前提下进行大规模数据迁移,其底层逻辑和通用流程是一致的。
auspicious航
6 小时前
数据库
·
postgresql
PostgreSQL写入慢全攻略:原因排查与性能调优实战
在日常运维中,我们往往更关注查询慢的问题,而忽略了写入慢。事实上,写入性能问题同样令人头疼:PostgreSQL的写入慢问题往往比查询慢更隐蔽、原因更复杂。本文将从事务提交、WAL机制、MVCC、检查点、索引开销等多个维度,系统性地剖析写入慢的根源,并提供可落地的调优方案。
IvorySQL
7 小时前
数据库
·
postgresql
PostgreSQL 日报|逻辑复制行过滤致数据丢失(8 月 21 日)
这篇 AWS 博客由 Ken Zhang 撰写,重点讲解将多语言全文搜索(FTS)从 SQL Server 迁移到 Aurora PostgreSQL 或 Amazon RDS for PostgreSQL 时可能出现的结果差异。SQL Server 通过列语言、停用词列表和重音敏感设置来统一管理排序规则与 FTS,而 PostgreSQL 将 colla…
重生之我是Java开发战士
7 小时前
数据库
·
java-ee
【Java EE】事务与事务的传播机制
事务是一组数据库操作的集合,不可分割。这一组操作要么全部成功提交,要么全部失败回滚。数据库原生事务三条指令:
润乾软件
7 小时前
数据库
·
sql
Trae+SQLazy 编写复杂 SQL 实践
AI辅助数据开发正在改变传统 SQL 的编写方式。目前主流方案大致分为两类:一类是直接生成原生 SQL 的 "端到端" 模式,另一类是生成结构化中间脚本再编译的 "分层" 模式。前者上手快但难以驾驭复杂业务,后者多了一层抽象但换来了可审计、可调试、可回放的工程化保障。
会编程的吕洞宾
7 小时前
数据库
·
redis
·
bootstrap
Redis大Key拖垮线上?排查定位与治理实战
凌晨两点,运维电话打来:Redis 主从切换失败,QPS 从 8000 掉到 800。登上服务器一看,redis-cli --bigkeys 扫出来一个 800 万元素的 Hash——这就是典型的大 Key(Big Key)事故。本文用 Spring Boot 4.1 实战讲解:大 Key 怎么定义、为什么它能把单线程的 Redis 卡死、怎么用 SCAN 无阻塞扫描定位、以及拆分与异步删除的完整治理方案。
ltl
7 小时前
数据库
WiredTiger History Store:文档库里的第三种 MVCC
原文发布于 quant67.com,转载请保留出处。本篇是 WiredTiger 内核系列 第 08 篇。先修:第 06 篇 Reconciliation、第 07 篇 Timestamps;续读:第 09 篇 Checkpoint、第 11 篇 Rollback to Stable。阅读路径见 系列索引。
码农阿豪
7 小时前
数据库
·
redis
·
bootstrap
若依启动突然报 Redis MISCONF?一次从应用报错到磁盘爆满的完整排查记录
最近在启动一个若依后台项目时,遇到了一个看起来像 Spring Bean 注入失败的问题。项目使用的是 RuoYi 3.9.0、Spring Boot 2.5.15 和 Java 17,数据库连接正常,sys_config 表也能成功查询,但应用启动到一半便自动退出。
ltl
8 小时前
数据库
SQLite 查询计划器:没有 ANALYZE 时靠什么猜
原文发布于 quant67.com,转载请保留出处。前十篇拆完了一次 SELECT 如何被编译成字节码(第 5、6 篇)、页面如何在 B-Tree 里被访问(第 4 篇)、日志与锁如何保证写路径正确(第 7–10 篇)。但还没回答一个更早发生的问题:同一条 SQL,sqlite3_prepare_v2 凭什么决定走哪条访问路径——用哪个索引、要不要建临时索引、连接顺序先跑哪张表。这一层是查询计划器(query planner),官方专门有 Query Planning 与 EXPLAIN QUERY PL
ltl
8 小时前
数据库
Redis maxmemory 策略:近似 LRU/LFU 与 MEMORY DOCTOR
原文发布于 quant67.com,转载请保留出处。第 7 篇 讲的是已过期 key 如何被清扫;本篇讲仍有效 key 在内存触顶时如何被踢出。maxmemory 与 maxmemory-policy 是缓存角色 Redis 的核心旋钮,但源码实现的不是操作系统课本里的真 LRU,而是用固定内存的采样 + 淘汰池近似——理解这一层,才能解释「明明开了 LRU 却淘汰了热 key」类故障。
leisoo8097
8 小时前
开发语言
·
jvm
·
数据库
·
python
·
json
ig50数据落盘ClickHousevsTimescaleDBvsDuckDB实测对比 IG50免费开源股票数据API接口
股票数据落盘选什么存储?这是量化系统里最常见的问题之一。我用 ig50 的本地数据做了 3 种主流方案的实测对比:ClickHouse、TimescaleDB、DuckDB。这篇把测试结果完整分享出来,帮你少走弯路。
倔强的石头106
9 小时前
数据库
数据库迁移工具从单机作业走向云端协同
我头一回把数据库迁移工具用在这种大型替换项目里的时候,我第一个感觉到的不是它转换得有多快。而是什么呢?是“信息怎么老在丢”。评估的人呢,在一张表里记对象数量。采集的人呢,把脚本全扔在自己电脑上。开发的人,就在群聊里面发那些转换失败的 SQL。DBA 呢,只能等到了晚上再一块儿来回答问题。你看,每个人都在干活,但是项目里面就是没有形成一条能追得下去的链路。这是一个问题。那为什么会这样呢?原因就在于大家各干各的,没串起来。
FfHUCisI
9 小时前
android
·
数据库
·
golang
Golang 数据库连接池深度调优
在 Go 里写 db.Query("SELECT ...") 看起来简单,但每次查询背后都要经历:如果不复用连接,一个 100 QPS 的服务就要每秒握手 100 次——这还没算上 TIME_WAIT 状态的端口耗尽问题。
我不会插花弄玉
9 小时前
数据库
·
mysql
2.库的操作【由浅入深-MySQL】
MySQL关键字大小写不敏感;列名通常不区分大小写;数据库名、表名大小写敏感性受操作系统文件系统影响(Linux通常敏感,Windows通常不敏感)。
viskaz
10 小时前
数据库
·
embedding
1-向量数据库概览
典型工作流(RAG - 检索增强生成):关键功能:
这个DBA有点耶
11 小时前
数据库
·
数据挖掘
·
dba
实时数据集成工具选型2026:从CDC到数据同步的完整指南
大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!你有没有遇到过这种情况:业务方想看实时大屏,数据却要等T+1才能看到;老板要实时报表,你只能回答“明早9点出”;两个系统之间的数据需要同步,但每隔几小时才能同步一次——等你看到数据的时候,业务已经变了。