搭建自己的金融数据源和量化分析平台(七):定时更新上市公司所属行业门类及大类

0x00 前言

由于此前从深交所下载的股票信息中只有行业门类信息,没有行业大类信息,导致后续解析三大报表和量化选股的时候无法进行:

可以看到深交所的股票是没有大类信息的。

再看看上交所的保险股:

因此需要将深交所股票的所属大类信息也添加上。

这里可以直接使用中国上市公司协会每隔一段时间发布的《上市公司行业分类结果》。

目前最新版本是《2023年下半年上市公司行业分类结果》

具体的解析逻辑不再赘述,分析一下HTML的格式就能把最新的pdf拿到手来解析。

直接上爬虫代码:

python 复制代码
import os

import pdfplumber
import requests
from lxml import etree


'''中国上市公司协会的爬虫,读取和解析最新上市公司行业分类结果 返回格式为:股票代码:[一级行业代码,二级行业代码]。举例如下
{
    "stock_code1":[industry,industry_2],
    "stock_code2":[industry,industry_2]
}
'''
def get_A_industry_list():
    basic_url = 'https://www.capco.org.cn/pub/zgssgsxh/xhgg/hyfl/hyfljg/index.html'
    mid_url = 'https://www.capco.org.cn/pub/zgssgsxh/xhgg/hyfl/hyfljg/'
    cache_file_path = "./corporation_category.pdf"
    response = requests.get(basic_url)
    response.encoding = 'UTF-8'
    href_cut = etree.HTML(response.text).xpath(".//div[@class='fr listCon']/h3/a")
    response.close()
    href_mid = etree.tostring(element_or_tree=href_cut[0], encoding='utf-8').decode('utf-8')
    latest_result = href_mid.split("<a href=\"")[1].split("\">")[0].split("./")[1]
    response = requests.get(mid_url+latest_result)
    response.encoding = 'UTF-8'
    href_cut = etree.HTML(response.text).xpath(".//a[@style='font-size:12px; color:#0066cc;']")
    response.close()
    pdf_url_mid = etree.tostring(element_or_tree=href_cut[0], encoding='utf-8').decode('utf-8')
    pdf_url = pdf_url_mid.split("href=\"")[1].split("\" title=\"")[0]
    response = requests.get(pdf_url)
    open(cache_file_path, "wb").write(response.content)
    response.close()
    result = {}
    with pdfplumber.open(cache_file_path) as pdf:
        for page in pdf.pages:
            tables = page.extract_tables()
            for table in tables:
                for line in table:
                    if line[0].find("上市公司") < 0:
                        result[line[0]] = [line[2], line[2]+line[6]]
    os.remove(cache_file_path)
    return result

然后控制器那边这样写:

python 复制代码
# 更新上市公司所属行业门类及大类
def update_A_corporation_category():
    database = "stock_a"
    select_sql = "SELECT stock_code,industry,industry_2 FROM stock_list"
    update_sql = "update stock_list set industry=%s,industry_2=%s where stock_code=%s"
    update_rows = []
    category = get_A_industry_list()
    select_result = ExecSelect(database, select_sql)  # 读取查询结果
    for stock in select_result:
        if stock[2] is None:
            try:
                update_rows.append((category[stock[0]][0], category[stock[0]][1], stock[0]))
            except KeyError:
                print(stock[0], "暂无大类分类结果")
                continue
    # 更新数据库中存在的股票信息
    if len(update_rows) > 0:
        result = ExecInsert(database, update_sql, update_rows)
        if result == 'success':
            print("更新上市公司行业分类成功.")
        else:
            raise CustomException("更新上市公司行业分类时发生数据库异常:" + result)
    print("上市公司行业分类更新结束.")

然后深交所的行业就可以补齐了:

相关推荐
Jolie_Liang18 小时前
金融大模型应用现状及未来趋势研究:国内外对比分析
金融·大模型
beawan011 天前
存储芯片核心产业链主营产品:兆易创新、北京君正、澜起科技、江波龙、长电科技、佰维存储,6家龙头公司主营产品深度数据
科技·金融
皇族崛起1 天前
【金融】- findpapers:论文搜索与下载工具
金融·论文·paper·findpaper
Love__Tay2 天前
【数据分析与可视化】2025年一季度金融业主要行业资产、负债、权益结构与增速对比
金融·excel·pandas·matplotlib
皇族崛起2 天前
金融 - 搭建 图谱挖掘工作流 调研
金融·llm·知识图谱·neo4j·多智能体·findpaper
寰宇视讯3 天前
产业资源+金融赋能!沃飞长空与金石租赁开启深度合作
金融
zzywxc7873 天前
AI 在金融、医疗、教育、制造业等领域都有广泛且深入的应用,以下是这些领域的一些落地案例
人工智能·金融·自动化·prompt·ai编程·xcode
YangYang9YangYan4 天前
金融分析师技能提升路径与学习资源指南
金融·数据分析
weixin_525936334 天前
金融大数据处理与分析
hadoop·python·hdfs·金融·数据分析·spark·matplotlib
皇族崛起4 天前
金融 - neo4j、Graph Data Science 安装
金融·知识图谱·neo4j·信息差·ai赋能