数据密集型应用系统设计--其一

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

作者水平有限,一切以作者的理解为主


一、twitter经典例子

峰值是12K QPS,作者讲述了两种方式,第一种是关系型数据库,我们叫他web模式;第二种是数据流,我们叫他大数据模式。web模式的好处是在用户刷新时才加载新的帖子,如果用户不访问就可以省下一次资源,大数据模式是实时推送缓存,不管用户刷新不刷新都是一次或多次缓存写入,也不太能保证顺序性。作者引出,如果粉丝量大或者只是达到平均75,写入压力都会比较大,不能解决大量粉丝的问题,对于这个twitter的办法是退回方法一,可能是加载一个窗口的排序好的数据。我其实有一个疑问,作者感觉一直在介绍大数据系统的好处,我不太了解其用意,后来我猜测,猜错了,想了一些没用的。

示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。

二、使用步骤


总结

相关推荐
珠***格4 小时前
Ⅱ型边缘网关|易部署、易扩容、易改造
大数据·人工智能·分布式·能源·边缘计算
无心水4 小时前
17、本地多模态|Qwen-VL离线私有化提取敏感PDF完全指南
人工智能·分布式·架构·openclaw·hermes
Solis程序员5 小时前
分布式 SingleFlight:从单机请求合并到集群级远程调用去重
分布式
填满你的记忆6 小时前
Kafka 面试题 Top40
分布式·kafka
oqX0Cazj26 小时前
Go-Zero数据库事务实战:本地事务+失败自动回滚+生产避坑+简单分布式事务方案
数据库·分布式·golang
团象科技6 小时前
出海技术团队分布式落地调研 海外云团队协作开发实操记录
分布式
段一凡-华北理工大学6 小时前
工业领域的Hadoop架构学习~系列文章22:Hadoop生态展望 - 面向未来的技术演进
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
snow@li7 小时前
RabbitMQ:详解(2026版)/ 基于 AMQP 协议的消息中间件
分布式·rabbitmq
北京阿尔泰科技厂家7 小时前
长距离分布式采集的新选择——NET9770系列以太网同步数据采集卡技术应用解析
分布式·以太网·传感器·信号采集·数据采集卡·自动化控制·工业测试测量