爬取链家二手房房价数据存入mongodb并进行分析

感谢您的关注!需要完整源码评论区获取~
【实验目的】

  1. 使用 python 将爬虫数据存入 mongodb;
  2. 使用 python 读取 mongodb 数据并进行可视化分析。
    【实验原理】
    MongoDB 是文档数据库,采用 BSON 的结构来存储数据。在文档中可嵌套其他文档
    类型,使得 MongoDB 具有很强的数据描述能力。本节案例使用的数据为链家的租房信
    息,源数据来自于链家网站,所以首先要获取网页数据并解析出本案例所需要的房源信
    息,然后将解析后的数据存储到 MongoDB 中,最后基于这些数据进行城市租房信息的
    查询和聚合分析等。
    【实验环境】
    OS:Ubuntu16.04
    Python3
    MongoDB:v3.6
    【实验步骤】
    一:使用 python 将爬虫数据存入 mongodb
    分析租房信息首先要获取原始的房源数据,本例使用 python 爬虫技术获取链家网页
    的新房楼盘信息。如图所示,对房源信息进行分析需要获取房源所在区域、小区名、房
    型、面积、具体位置、价格等信息。




分析数据:

执行loupanAnaly.py文件:

mongo shell终端 数据分析:

(1)求每个区域的平均房价和最高房价:

(2)查找所有住宅区域的平均房价:

(3)查看某个特定区域的所有房价信息

(4)查找某个区域的最大房价:

(5)按区域统计房源数量

(6)找出最贵的房源信息

(7)区域房价的分布(价格区间统计)


(8)按楼盘开发商统计房源均价

(9)统计每个区域的房价标准差

相关推荐
又幸福了哥18 分钟前
Python入门到高级(知识点六)
python
维克兜率天21 分钟前
【维克】动量指标家族:RSI、ROC、CCI、Momentum全面解析
python·算法
躺柒23 分钟前
读数据可视化19层次数据
信息可视化·数据挖掘·数据分析·数据可视化·层次数据·层次结构
2601_9620748135 分钟前
大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL
大数据·数据库·mysql
2601_962073811 小时前
大数据-240 离线数仓 - 广告业务 测试 ADS层数据加载 DataX数据导出到 MySQL
大数据·数据库·mysql
不会写代码的女程序猿1 小时前
养生馆采购 AI 四诊仪,5000 元预算怎么选?
大数据·人工智能·科技·ai·健康医疗
XZ-0700011 小时前
week2-1-可视化
开发语言·python
Java后端的Ai之路1 小时前
14、Python - 责任链模式
服务器·开发语言·人工智能·python·责任链模式
张人玉2 小时前
基于 Python 机器学习 与 PyQt5 桌面框架开发的可视化分析系统——基于大数据的网上购物消费行为分析可视化大屏
python·qt·机器学习·echarts·three.js
一位正在转型AI全栈的前端工程师2 小时前
AI 全栈学习之旅 -Week 5:RAG 知识库问答系统:从零到生产级部署的全栈实践总结
前端·python