基于新浪微博海量用户行为数据、博文数据数据分析:包括综合指数、移动指数、PC指数三个指数

基于新浪微博海量用户行为数据、博文数据数据分析:包括综合指数、移动指数、PC指数三个指数

  • 项目介绍

    1. 微指数是基于海量用户行为数据、博文数据,采用科学计算方法统计得出的反映不同事件领域发展状况的指数产品。
    2. 微指数对于收录的关键词,在指数方面提供微博数据层面的指数数据,包括综合指数、移动指数、PC指数三个指数。
  • 项目举例

    以'中兴'这一关键词为例,要求获取中兴的三个指数数据。微指数的数据收录时间有范围,范围表现在:

    1)整体趋势:2013-03-01-至今

    2)移动趋势:2014-01-06-至今

    3)PC趋势:2014-01-06-至今

    本例子设定start_date = '2016-05-29',end_date = '2018-05-29', 原始结果如下:

1.原始综合指数

2. 原始移动/pc指数

  • 实现流程

    复制代码
    '''主函数'''
      def index_main(self, word, start_date, end_date):
          # 打开数据页面
          print('step1, open page....')3
          driver = self.search_index(word)
          # 构造请求,获取指数json数据
          print('step2, get data....')
          data = self.get_data(driver, start_date, end_date)
          # 判断数据返回类型,若微博没有收录改词,则退出,显示退出信息
          if data['zt']:
              print('step3, save data ...')
              self.output_data(word, data)
              print('finished....')
          else:
              print('not be record...')
          #关闭浏览器对象
          driver.close()
  • 执行

    def demo():
    start_date = '2016-05-29'
    end_date = '2018-05-29'
    sina = SinaIndex()
    search_word = '中兴'
    sina.index_main(search_word, start_date, end_date)
    demo()

3.效果展示

将得到的数据文件,进行本地可视化,效果如下:

3.1 综合指数

3.2 移动指数

3.3 PC指数

3.4指数对比

5.总结

1、微指数的采集难度介于百度指数与阿里指数之间,两个特点:1)指数有js动态请求而成,可以通过构造请求,解析获得。2)无需用户登录。

2、微指数收录的日期比阿里指数要广,较百度指数要窄,但基于微博这一层面得到的数据,对于相关研究还是有一定新意的。

项目码源见文章顶部or文末

https://download.csdn.net/download/sinat_39620217/88000970

相关推荐
在所不辞兄1 小时前
【零基础学智能仿真-53】多智能体协作——有限元自动化实战从工程需求到可审核的仿真报告
人工智能·深度学习·神经网络·机器学习·有限元
wno7042 小时前
postgresSQL压缩版安装与基本命令
数据库·postgresql
聚美智数4 小时前
智能结构化识别-图片结构解析-图像结构化解析-照片结构化解析
android·java·数据库
瀚高PG实验室4 小时前
瀚高数据库常用系统表查询入门指南(附常用SQL)
数据库·sql·postgresql·瀚高数据库
硅谷秋水4 小时前
面向机器人的上下文学习:方法与应用
深度学习·机器学习·语言模型·机器人
ben9518chen4 小时前
mysql数据库基本操作
数据库·mysql
2603_965148114 小时前
电商选品调研:通过关键词搜索API获取市场热销商品,结合商品详情API分析竞品卖点与定价
开发语言·数据库·人工智能·python·信息可视化
土豆.exe5 小时前
nf_tables 的 verdict 被读了两次:一个十年未闭合的位域错配
java·数据库·网络安全·缓存
缓慢更新5 小时前
表单引擎的存储建模:宽表与文档库的取舍
运维·服务器·网络·数据库·低代码·oracle·适配器模式
Web3&Basketball7 小时前
实测Gemini4Argon:ERQA 87%登顶长程任务榜
数据库·python·大模型·多模态·gemini·长上下文·推理优化