爬取链家二手房房价数据存入mongodb并进行分析

感谢您的关注!需要完整源码评论区获取~
【实验目的】

  1. 使用 python 将爬虫数据存入 mongodb;
  2. 使用 python 读取 mongodb 数据并进行可视化分析。
    【实验原理】
    MongoDB 是文档数据库,采用 BSON 的结构来存储数据。在文档中可嵌套其他文档
    类型,使得 MongoDB 具有很强的数据描述能力。本节案例使用的数据为链家的租房信
    息,源数据来自于链家网站,所以首先要获取网页数据并解析出本案例所需要的房源信
    息,然后将解析后的数据存储到 MongoDB 中,最后基于这些数据进行城市租房信息的
    查询和聚合分析等。
    【实验环境】
    OS:Ubuntu16.04
    Python3
    MongoDB:v3.6
    【实验步骤】
    一:使用 python 将爬虫数据存入 mongodb
    分析租房信息首先要获取原始的房源数据,本例使用 python 爬虫技术获取链家网页
    的新房楼盘信息。如图所示,对房源信息进行分析需要获取房源所在区域、小区名、房
    型、面积、具体位置、价格等信息。




分析数据:

执行loupanAnaly.py文件:

mongo shell终端 数据分析:

(1)求每个区域的平均房价和最高房价:

(2)查找所有住宅区域的平均房价:

(3)查看某个特定区域的所有房价信息

(4)查找某个区域的最大房价:

(5)按区域统计房源数量

(6)找出最贵的房源信息

(7)区域房价的分布(价格区间统计)


(8)按楼盘开发商统计房源均价

(9)统计每个区域的房价标准差

相关推荐
zzc9211 分钟前
MATLAB仿真生成无线通信网络拓扑推理数据集
开发语言·网络·数据库·人工智能·python·深度学习·matlab
点赋科技2 分钟前
沙市区举办资本市场赋能培训会 点赋科技分享智能消费新实践
大数据·人工智能
编程有点难16 分钟前
Python训练打卡Day43
开发语言·python·深度学习
2301_8050545622 分钟前
Python训练营打卡Day48(2025.6.8)
pytorch·python·深度学习
YSGZJJ22 分钟前
股指期货技术分析与短线操作方法介绍
大数据·人工智能
Doker 多克28 分钟前
Flink CDC —部署模式
大数据·flink
LjQ204030 分钟前
网络爬虫一课一得
开发语言·数据库·python·网络爬虫
Guheyunyi32 分钟前
监测预警系统重塑隧道安全新范式
大数据·运维·人工智能·科技·安全
哆啦A梦的口袋呀1 小时前
基于Python学习《Head First设计模式》第九章 迭代器和组合模式
python·学习·设计模式
xiangyong581 小时前
ubuntu系统文件误删(/lib/x86_64-linux-gnu/libc.so.6)修复方案 [成功解决]
linux·ubuntu·gnu