python爬虫(8)之认识网页结构

就以咱们csdn网站的结构来看看这些网页的基础内容

1、查看网页源代码

1、F12,或者右上角三个点找到更多工具里面有一个开发人员工具

之后点击左上角

你就能看见一个网页的源代码

当然你现抄是没法完全实现的

然后我们就以csdn的门面进行对网页结构进行认识

我们主要认识一下<body>里面的内容

1、<div>标签

他是干啥的为啥咱们这里会有这么多<div>

<div>标签 就是块标签,将网页中规划出一块区域进行显示内容

下面我将用一些代码来进行演示:

<!DOCTYPE html>

<html>

<head>

<meta charset="utf-8">

<title>过度引用</title>

<style>

div{

background-color:pink;

display: inline-block;

width: 100px;

height:100px;

}</style>

</head>

<body>

<div>

</div>

</body>

</html>

这里的div 的格式完全可以按照自己的喜好进行设置大小背景色等等以及是否独占一行等等都是可以做到的

结果如下:

2、<ul> 标签<ol>标签 <li>标签

定义列表的元素 当然在csdn的门户是用ul嵌套li做的也就是最上面的一列

现在我们来试试看去使用requests模块去爬取一下csdn

import requests

resp = requests.get(url='https://www.csdn.net')

print(resp.text)

结果如下:

其实就是把源代码给拿过来了

关于动态数据的加载等下次再说。

相关推荐
爱勇宝3 小时前
小红花成长新版:模板来了,鼓励也更容易开始
前端·后端·程序员
竹林8184 小时前
Solana前端开发:我在一个NFT铸造页面上被@solana/web3.js的Connection和Transaction签名坑了两天
前端
冬奇Lab4 小时前
每日一个开源项目(第144篇):ai-website-cloner-template - 一条命令、多 Agent 并行,把任意网站逆向成 Next.js 代码
前端·人工智能·开源
玄玄子4 小时前
webpack publicPath作用原理
前端·webpack·程序员
HduSy4 小时前
帮 Claude Code 做了个菜单栏 Token 看板,聊聊里面的一些实现逻辑
前端
minglie4 小时前
一个置换问题
javascript
用户059540174464 小时前
用了6个月LangChain,才发现AI Agent的记忆存储一直有坑——写了23个Pytest用例才彻底修好
前端·css
奶油mm4 小时前
我偷偷把公司的祖传 jQuery 项目改成了 Vue3,CTO 没发现,但全组都来抄我的代码了
前端
用户2136610035724 小时前
Vue2非父子通信与动态组件
前端·vue.js
默_笙4 小时前
🌀 别再手动写 Prompt 了!我让 AI 自己循环改到满意为止
javascript