django基于Python的房价预测系统+爬虫+大屏可视化分析

欢迎大家点赞、收藏、关注、评论

文章目录

前言
一、项目介绍
二、开发环境
三、功能需求分析
- [1 数据采集功能设计](#1 数据采集功能设计)
- 2数据管理功能设计
- 3爬虫功能需求分析
- [4 数据可视化功能需求分析](#4 数据可视化功能需求分析)
- 数据库表的设计
四、核心代码
五、效果图
六、文章目录

前言

房价是一个国家经济水平的重要体现，也是反映居民生活质量和水平的最直接的指标。目前我国住房制度以租售并举形式出现，房屋所有权人通过出售、出租房屋获得租金收入。但是由于房价波动较大，不能及时反映房价变化趋势，需要预测房价来指导市场。研究房产价格走势，可以为房地产价格的调控提供参考依据。本系统通过对网络爬虫的分析，研究58同城网房屋数据，尝试使用Python技术进行开发，将58同城网房产信息和房屋数据尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于Python的房价预测系统旨在提高数据挖掘的效率，便于科学的管理和分析房屋数据。

本文先分析基于Python的房价预测系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了房产的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对房价预测结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。

[关键词] 爬虫，python，58同城网，关键字，房价预测

一、项目介绍

在技术上，本文利用Python技术进行数据爬取，这种简洁快速，类库丰富的编程语言可以轻松的实现爬虫方法。先分析目标网站的网页信息，然后进行数据处理，完成抓取后进行数据存储，最后完成数据的可视化呈现。数据存储使用的是MySQL数据库，这种数据库轻巧而功能强大，可以有效的满足系统的开发。

在业务上，本系统利用用户无法在海量的58同城网中查找到有效的房屋数据，因此设计了本系统对房产价格进行存储，然后整理房屋数据，并通过可视化的方式展现出来。在后台也可以对这些房屋数据进行整理，为用户提供更加精确的房屋数据信息。

二、开发环境

开发语言：Python

框架：flask

Python版本：python3.7.7

数据库：mysql 5.7（一定要5.7版本）

数据库工具：Navicat11

开发软件：PyCharm

浏览器：谷歌浏览器

三、功能需求分析

在数据采集中，通过python进行爬虫设计，完成商品销售数据、价格数据的采集处理。数据采集主要包括了分析目标网站、目标网站的数据爬取、数据清洗处理、数据存储。其中，数据采集阶段的功能模块如图4.2所示。

1 数据采集功能设计

图4.2 数据采集功能模块图

本系统使用58同城网作为目标网站，先分析该网站的结构，然后对网页的数据进行爬取，在爬取过程中会遇到一些重复的商品销售数据，需要对数据进行清洗，通过数据处理获取到相对完整的房产价格，并把处理后的数据存储在对象中，通过循环对象来构造数据存储的插入语句，再进行数据存储，将数据保存在MySQL数据库中

2数据管理功能设计

完成数据采集后，数据存储在MySQL中，基于Python的房价预测系统可以对爬取的数据进行管理，管理员登录数据库，可以查看每一条房产价格的内容以及爬取的目标网址，也可以对单条的房产价格进行删除。此外，管理还具有系统管理、用户管理等功能。前台用户具有注册登录，信息查看等功能，其中大屏数据包括房屋名称统计、价格趋势统计、房型统计、类型统计、区域统计。其中，基于Python的房价预测系统的数据管理功能模块如图4.3所示。

图4.3 数据管理功能模块图

在系统前台，所有的用户都可以通过浏览器访问基于Python的房价预测系统，查看所有大屏数据。在系统后台，管理员对数据进行管理。

其中普通用户功能如下：

（1）登录注册

（2）查看系统简介信息。

（3）查看房屋资讯信息。

（4）房产楼盘信息查看，包括楼盘名称、价格区间、开盘日期、地址、楼盘图片。

（5）房屋信息查看，包括房屋名称、户型、楼层、小区、面积、价格等。

（6）房产信息评论（查看其他会员的评论信息，登录后发布房产评论）。

（7）对各不同的房产数据进行点赞、踩、收藏。

（8）个人中心，修改个人信息，修改个人密码。查看个人收藏的房屋数据，移除收藏。

（9）信息反馈，发布反馈信息给管理员，给出系统建设意见和建议。

系统后台的管理员功能如下：

（1）管理所有爬取的数据信息：更新房产、房屋数据信息。包括爬取的网址、房产标题、图片、名称、标签、价格、开盘日期、交房日期、户型、地址。

（2）管理用户信息：用户信息的添加，删除。

（3）管理房屋类型信息：房屋类型信息的添加，删除。

（4）管理区域信息：区域信息的添加，删除。

（5）系统管理：管理系统轮播图广告信息，自定义图片内容。

（6）数据可视化大屏：通过大屏展示所有的房屋统计、价格趋势统计、热销户型统计、热销区域等。

（7）留言反馈管理，查看会员反馈的信息，及时处理。

（8）系统简介管理，修改系统简介信息。

3爬虫功能需求分析

在目前计算机信息化快速发展过程中，房产销售和租赁逐渐转移到网络中来，本题目来源于房地产价格研发项目的子项目，该项目主要完成一个房价预测系统的设计和开发，该系统用于收集当前地方房价信息，然后通过爬取、清理、存储、统计房价信息，并进行房价预测，是现代化房地产不可缺少的部分，为房价的发展趋势提供便捷的预测模式。本文旨在对58同城网上的房产信息、销售情况、价格信息进行爬取，收集各种类型的房产价格信息。然后对房产价格的评分、内容进行分析，整理房产价格信息。本系统首先分析58同城网站的网站结构，查看网站网页的排版，然后读取其包含的房产信息。具体分为以下几个步骤，指定58同城网url，爬取网页信息，获取特定的58同城网url存入队列中，提取房产价格的信息，将信息存入数据库，然后对价格和评分进行分析，得出房产价格的可视化视图。

图3-1所示数据清洗和加工用例。

图3-1 数据清洗和加工用例

在本需求分析阶段，不需要关注如何爬取，只需要关注爬取什么样的信息，进行怎样的操作即可，所以先分析58同城网网站的数据，确定满足系统要求后，然后查看目标网站，将58同城网内的有关房产价格进行提取，最后将信息存储到数据库。

4 数据可视化功能需求分析

爬取完房产销售、房产价格后，需要对数据进行分析，根据评分和K-means聚类算法分析出房产价格趋势，并可视化查询处理。本系统使用Python进行编程，通过HTML、JS等方法显示数据。具体包括：房产价格数据展示、房屋数据分类、用户注册登录、用户管理和爬虫数据管理。其中可视化功能用例图如图3-2所示。

图3-2 数据分析展示用例

基于Python的房价预测系统用户登录，先验证信息、成功启动系统后进行登录。登录验证成功后，获取到登录权限，跳转到系统首页。

进入到基于Python的房价预测系统大屏界面，通过图形化显示出房屋名称统计、价格趋势统计、房型统计、类型统计、区域统计。如果查询失败，返回基于Python的房价预测系统的错误页面。

数据库表的设计

部分数据库展示

（1）4.1表: 房屋数据信息表

（2）4.4表: 价格信息表

四、核心代码

部分代码：

c 复制代码

def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)