Python爬虫实战系列1：博客园cnblogs热门新闻采集
 Python爬虫实战系列2：虎嗅网24小时热门新闻采集
 Python爬虫实战系列3：今日BBNews编程新闻采集
 Python爬虫实战系列4：天眼查公司工商信息采集

一、分析页面

打开天眼查网址 https://www.tianyancha.com/ ，随便搜索一个公司【比亚迪】

查看地址栏URL变化，由https://www.tianyancha.com变成https://www.tianyancha.com/search?key=比亚迪&sessionNo=1710895900.05751652

然后分析cookie情况，当不登陆，直接访问首页https://www.tianyancha.com时，网站会自动生成一堆cookie

接下来查看公司详情页面，每个公司详情页都会有天眼查自己的公司id拼接出来的URL

例如：https://www.tianyancha.com/company/11807506

这个详情页面就是我们真正需要数据的页面

1.1、分析请求

开始分析请求，F12打开开发者模式，点击Network，然后刷新页面

由于公司详情页都是新标签页打开的，所以请求地址也就是当前页面地址https://www.tianyancha.com/company/11807506并且该请求Response的是HTML源码，我们只需要分析该HTML代码解析处理数据即可。

右键请求=》copy curl=》

curl代码如下

bash 复制代码

curl 'https://www.tianyancha.com/company/11807506' \
  -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8' \
  -H 'Accept-Language: zh-CN,zh;q=0.5' \
  -H 'Cache-Control: max-age=0' \
  -H 'Connection: keep-alive' \
  -H 'Cookie: HWWAFSESID=887e67d267788860d6c; HWWAFSESTIME=1710896046122; csrfToken=lvLMtLSm9xmfByFFdDTlcT4s; TYCID=5d1c2130e65411ee9a9db554e7c53ded; CUID=5c33b832f027276cc2e6ab5cee5b1d8b; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2218e5959f4c817-057ed755c136264-1d525637-855961-18e5959f4c913dd%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%7D%2C%22identities%22%3A%22eyIkaWRlbnRpdHlfY29va2llX2lkIjoiMThlNTk1OWY0YzgxNy0wNTdlZDc1NWMxMzYyNjQtMWQ1MjU2MzctODU1OTYxLTE4ZTU5NTlmNGM5MTNkZCJ9%22%2C%22history_login_id%22%3A%7B%22name%22%3A%22%22%2C%22value%22%3A%22%22%7D%2C%22%24device_id%22%3A%2218e5959f4c817-057ed755c136264-1d525637-855961-18e5959f4c913dd%22%7D; sajssdk_2015_cross_new_user=1; bannerFlag=true; searchSessionId=1710896089.33230042' \
  -H 'Referer: https://www.tianyancha.com/search?key=%E6%AF%94%E4%BA%9A%E8%BF%AA&sessionNo=1710896089.33230042' \
  -H 'Sec-Fetch-Dest: document' \
  -H 'Sec-Fetch-Mode: navigate' \
  -H 'Sec-Fetch-Site: same-origin' \
  -H 'Sec-Fetch-User: ?1' \
  -H 'Sec-GPC: 1' \
  -H 'Upgrade-Insecure-Requests: 1' \
  -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36' \
  -H 'sec-ch-ua: "Chromium";v="122", "Not(A:Brand";v="24", "Brave";v="122"' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'sec-ch-ua-platform: "macOS"'

然后逐个测试哪些是请求必要参数

大部分情况下，一个请求必要参数是如下这些

User-Agent：标识发送请求的客户端
Content-Type：内容类型
cookie或者Authorization

所以可以删除不必要参数进行测试，经过测试，其他不重要参数可以删除，但是删除cookie不可行，说明接口需要cookie信息

但是这个cookie怎么来的呢？

还记得上面说过，我们观察得到当我们访问首页时会自动注入一些cookie吗？

我们截止目前也没有登录，所以直接对比首页cookie和详情页cookie是否有区别即可。

分析结论：

详情页面请求需要cookie信息，但是该cookie可以从首页获取到
详情页面有反爬策略，同ip多次访问会提示需要登录，但是一个ip第一次请求时无需登录也可以请求到结果

二、代码实现

分析完请求后，我们开始代码实现，由于需要先从访问一次首页后拿到cookie才能再请求详情页

所以我们采用Python的requests的session功能，利用该session发起get和post请求，这样每次session发起请求时都会携带cookie，那我们只需要在获取session前先请求一次首页即可。

python 复制代码

def new_session():
    """
    获取session
    :return:
    """
    session = requests.session()
    while True:
        try:
            session.get(url='https://www.tianyancha.com', headers=headers, timeout=(2, 2), proxies=proxies)
            return session
        except Exception as e:
            Print.print("异常，重试...", e)
            update_proxies()

注意这里我演示使用了代理proxies，当出现异常无法访问时需要更新一下代理update_proxies()

拿到session后就可以请求详情页面了

python 复制代码

def get_co_detail(url):
    """
    公司详情
    :param url:
    :return:
    """
    session = new_session()
    response = session.get(url=url, headers=headers, timeout=(2, 2), proxies=proxies)
    restext = response.content.decode('utf-8', errors='ignore')

    tree = etree.HTML(restext)
    title = str(tree.xpath('//title/text()'))
    # 公司名称
    coName = tree.xpath("//h1[@class='index_company-name__LqKlo']/text()")

注意详情页面这里是先获取session，然后get请求时同样增加代理

本次学习演示只获取页面中的公司名称信息，如需请求信息可自行分析页面源码然后xpath获取

总结

分析请求时多注意cookie信息，分析cookie是后端生成还是前端js生成
如遇需要携带cookie请求时，可以采用requests.session()创建一个session来请求

本文章代码只做学习交流使用，作者不负责任何由此引起的任何法律责任。

由于信息安全问题，这里不放源码。

各位看官，如对你有帮助欢迎点赞，收藏，转发，关注公众号【Python魔法师】获取更多Python魔法~