爬虫入门练习（文字数据的爬取）

爬取csdn用户的用户简介

学习一下 BeautifulSoup方法

复制代码

from bs4 import BeautifulSoup
html_content = """
<html>
<head>
    <title>示例网页</title>
</head>
<body>
    <h1 class="main-title">欢迎学习BeautifulSoup</h1>
    <div id="content">
        <p class="intro">这是第一段文字</p>
        <p>这是第二段文字，包含一个<a href="https://example.com">链接</a></p>
        <ul class="list">
            <li>项目一</li>
            <li>项目二</li>
            <li>项目三</li>
        </ul>
    </div>
    <div class="footer">
        <p>页脚信息 © 2023</p>
    </div>
</body>
</html>
"""

xml_contnet=BeautifulSoup(html_content,"lxml")  #把 数据转为 xml的形式
xml_title=xml_contnet.title   #可以根据上面内容的标头进行数据的提取
print(xml_title)
#输出文本内容
print(xml_title.text)

他其实就是根据Css选择器进行跟踪相应文本内容的所在地

request库需要去菜鸟教程中学习

现在先创建一个url的真人模拟发包

复制代码

import requests
from bs4 import BeautifulSoup
url="https://blog.csdn.net/2301_81155391?ops_request_misc=%7B%22request%5Fid%22%3A%2267d363df7a1c85e6c3caac2be0291626%22%2C%22scm%22%3A%2220140713.130064515..%22%7D&request_id=67d363df7a1c85e6c3caac2be0291626&biz_id=206&utm_medium=distribute.pc_search_result.none-task-user-null-1-167928411-null-null.nonecase&utm_term=%E6%91%B8%E9%B1%BC%E4%B9%9F%E5%BE%88%E9%9A%BE&spm=1018.2226.3001.4351"

heads={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 Edg/135.0.0.0"
}
#使用库进行发送请求
response=requests.get(url=url,headers=heads)  #这个就是使用上面的url 和 head 头进行发包

查看 requests是否能使用

现在进行爬取内容的定位

右键

复制Css选择器这个 BeautifulSoup 方法就是可以进行定位 Css选择器内容的位置

复制代码

#先使用 库把获取页面的形式转为lxml    然后再进行筛选需要的内容即可
soup=BeautifulSoup(response.text,"lxml")   #把内容进行 lxml 解析

result=soup.select("#userSkin > div.user-profile-head > div.user-profile-head-info > div.user-profile-head-info-b > p")  #Css选择器的位置
# 即使 result 只有一个结果但是还是要使用[0]  因为.select 返回的是列表
a=result[0].get_text() #因为是处理的html内容 所以处理的结果都是列表的形式     get_text() 也是进行文本的转换但是 转换的对象仍然是列表的形式
print(a)

爬取多条数据

爬多个数据就涉及到储存的问题

这个就是个人简介的所有信息

最后的结果