技术栈
海量数据
Thanks_ks
3 天前
redis
·
高并发
·
缓存穿透
·
架构设计
·
布隆过滤器
·
分布式系统
·
海量数据
穿透海量数据的迷雾:深入理解布隆过滤器的架构哲学与工程权衡
在大型分布式系统的架构设计中,我们经常会面临这样的灵魂拷问:如何在一个包含数十亿甚至上百亿元素的超大集合中,以极低的延迟快速判断某个特定元素是否存在?
JCGKS
1 个月前
golang
·
数据结构与算法
·
海量数据
·
搜索引起
·
倒排查找
海量文档单词计数算法方案分析
倒排索引(Inverted Index)是搜索引擎的核心数据结构,与传统的"文档→词项"正排索引相反,它是"词项→文档"的映射。
友莘居士
7 个月前
数据库
·
中间件
·
excel
·
csv
·
海量数据
·
入库
高效处理 Excel 海量数据入库:编程脚本、CSV 中间件、图形工具优化全攻略
处理 Excel 大量数据导入数据库是一个常见的需求。直接使用 Excel 或 Navicat 等工具的图形界面导入,在数据量很大(例如几十万行以上)时,很容易出现超时、内存溢出、卡死等问题。下面提供几种从“简单”到“专业”的完整解决方案,您可以根据数据量、技术能力和频率来选择。
Jesslili
1 年前
面试
·
海量数据
·
场景题
如何高效的处理海量数据?
何谓海量,就是数据量太大,要么是无法在较短时间内迅速解决,要么是数据太大,导致无法一次性装入内存。本质上还是分而治之的思想,重在“分”的技巧上。因为元素范围很大,不能利用直接寻址表,所以通过多次划分,逐步确定范围,然后最后在一个可以接受的范围内进行。
猿与禅
2 年前
数据库
·
mysql
·
高并发
·
数据库设计
·
高级
·
海量数据
·
应用案例
Mysql-高级实战案例
在千万级用户场景下的运营系统中,SQL 调优是一项关键任务,以确保数据库的性能、响应时间和资源使用效率。以下是一些 SQL 调优的策略和技巧,适用于处理大规模数据集和高并发请求的场景:
来自宇宙的曹先生
2 年前
elk
·
海量数据
ELK技术栈介绍及简单使用实例
在当今数据驱动的世界里,有效地管理和分析大量日志数据变得至关重要。这里我们将深入探讨ELK技术栈,这是一种流行的日志管理解决方案,它结合了三个开源项目:Elasticsearch、Logstash和Kibana。ELK技术栈因其高效、灵活且易于扩展的特性而受到广泛赞誉。
我是有底线的