爬取链家二手房房价数据存入mongodb并进行分析

感谢您的关注!需要完整源码评论区获取~
【实验目的】

  1. 使用 python 将爬虫数据存入 mongodb;
  2. 使用 python 读取 mongodb 数据并进行可视化分析。
    【实验原理】
    MongoDB 是文档数据库,采用 BSON 的结构来存储数据。在文档中可嵌套其他文档
    类型,使得 MongoDB 具有很强的数据描述能力。本节案例使用的数据为链家的租房信
    息,源数据来自于链家网站,所以首先要获取网页数据并解析出本案例所需要的房源信
    息,然后将解析后的数据存储到 MongoDB 中,最后基于这些数据进行城市租房信息的
    查询和聚合分析等。
    【实验环境】
    OS:Ubuntu16.04
    Python3
    MongoDB:v3.6
    【实验步骤】
    一:使用 python 将爬虫数据存入 mongodb
    分析租房信息首先要获取原始的房源数据,本例使用 python 爬虫技术获取链家网页
    的新房楼盘信息。如图所示,对房源信息进行分析需要获取房源所在区域、小区名、房
    型、面积、具体位置、价格等信息。




分析数据:

执行loupanAnaly.py文件:

mongo shell终端 数据分析:

(1)求每个区域的平均房价和最高房价:

(2)查找所有住宅区域的平均房价:

(3)查看某个特定区域的所有房价信息

(4)查找某个区域的最大房价:

(5)按区域统计房源数量

(6)找出最贵的房源信息

(7)区域房价的分布(价格区间统计)


(8)按楼盘开发商统计房源均价

(9)统计每个区域的房价标准差

相关推荐
大大大大晴天️25 分钟前
Flink Resource Providers 深度解析:机制原理、部署模式与最佳实践
大数据·flink
天天进步201527 分钟前
Python全栈项目--基于机器学习的异常检测系统
开发语言·python·机器学习
ejinxian1 小时前
PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等数据库
数据库·mysql·mongodb
xxie1237948 小时前
return与print
开发语言·python
秋98 小时前
从 Python 后端工程师转型 AI Engineer(AI 工程化)的完整补课清单(2026实战版)
开发语言·人工智能·python
听你说329 小时前
科技护航极限征程 三诺生物助力雄关330长城越野赛
大数据·科技·健康医疗
慕木沐9 小时前
Google ADK Java 1.0版本 核心机制与实战 Demo
java·开发语言·python
电商API_180079052479 小时前
bilibili关键字搜索视频列表|获取视频详情API调用示例
大数据·数据挖掘·网络爬虫·音视频
Tbisnic9 小时前
AI大模型学习第十一天:技术选型、安全防护与金融实战
python·学习·ai·大模型·提示词工程
hboot9 小时前
AI工程师第一课 - Python
前端·后端·python