渗透利器-kali工具 (第四章-5) 爬虫入门

Python爬虫入门[spider]

1,交换机制:

服务器与本地的交换机制:

http协议:客户端与服务器一种会话的方式。

客户端-------[requests[请求]]------->服务器

客户端-------[response[响应]]------>服务器

HTTP请求:

向服务器请求的时候使用request请求,包含了很多的不同的方法:主要用到[GET、POST]

HTTP响应:

向服务器提出request之后,服务器会返回给我们一个Response[我们请求的这个网页]

RESPONST:

Status_code:[状态码]200 网页中的元素

Status_code:[状态码]403/404

可以打开谷歌,加载一个网站然后点击检查>>>nerwork>>>刷新

2,网页解析:

1.网页解析:需要使用到[bs4]

from bs4 import BeautifulSoup

import requests

#解析网页内容

url = "https://www.baidu.com"

wb_data = requests.get(url)

soup = BeautifulSoup(wb_data.text,'lxml')

print(soup)

2.描述要爬取的元素位置:

eg:标题[在网页中找到它在的位置] >>>右键复制selector

titles = soup.select('#sy_load > ul:nth-child(2) > li:nth-child(1) > div.syl_info > a')

print(titles)

解释:

#sy_load > ul:nth-child(2) > li:nth-child(1) > div.syl_info:标签的位置:selector

a:查找a标签

向上查找[上级标签]class名:

titles = soup.select('div.syl_info> a')

print(titles)

解释:

div.syl_info 标签的class名

a:查找a标签

3.bs4中具有一个BeautifulSoup安装方法:

1.安装:pip install beautifulsoup4

2.可选择安装解析器:

pip install lxml [一般安装这个即可]

pip install html5lib

3.使用:

from bs4 import BeautifulSoup

import requests

req_obj = requests.get('https://www.baidu.com')

soup = BeautifulSoup(req_boj.txt,'lxml')

不使用BeautifulSoup,只返回状态码

使用BeautifulSoup,会将站点,html代码返回。

4.经常使用到的一些方法:

from bs5 import BeautifulSoup

import requests,re

a = requests.get('https://www.baidu.com')

b = BeautifulSoup(a.txt,'lxml')

print(b.title)      输入title找标签只找一个

print(b.find('title'))    输入title找标签只找一个

print(b.find_all('div'))   找所有div标签

c = soup.div       创建div的实例化

print(c['id'])       查看标签的id属性

print(c.attrs)       查看标签的所有属性

d = soup.title      创建title的实例化

print(d.string)      获取标签里的字符串

e = soup.head      创建head的实例化

print(e.title)       获取标签,再获取子标签

f = soup.body      创建body实例化

print(f.contents)     返回标签子节点,以列表的形式返回

g = soup.title       创建title实例化

print(g.parent)      查找父标签

print(soup.find_all(id='link2'))

3,爬虫所需的模块和库:

库:requests.bs4

模块:BeautifulSoup

1.抓取:requests

2.分析:BeautifulSoup

3.存储:

4.目录扫描工具原理实战:

import requests

import sys

url = sys.argv[1]

dic = sys.argv[2]

with open(dic,'r') as f:

for i in f.readlines()    一行读取

i = i.strip()      去除空格

r = requests.get(url+i)

if r.stats_code == 200:

print('url:'+r.url)

相关推荐
白帽黑客沐瑶2 天前
【网络安全就业】信息安全专业的就业前景(非常详细)零基础入门到精通,收藏这篇就够了
网络·安全·web安全·计算机·程序员·编程·网络安全就业
lubiii_3 天前
网络安全渗透测试第一步信息收集
安全·web安全·网络安全
吴秋霖3 天前
主流反爬虫、反作弊防护与风控对抗手段
爬虫·算法·反爬虫技术
内心如初3 天前
应急响应事件处理(网络安全体系架构与应急响应的前置知识)
安全·web安全
hui函数3 天前
scrapy框架-day02
后端·爬虫·python·scrapy
Suckerbin4 天前
TBBT: FunWithFlags靶场渗透
笔记·安全·web安全·网络安全
用户051610461674 天前
爬虫 API 技术全解析:从原理到实战的高效数据采集指南
爬虫·api
独行soc4 天前
2025年渗透测试面试题总结-67(题目+回答)
网络·python·安全·web安全·网络安全·adb·渗透测试
安卓开发者4 天前
鸿蒙NEXT的Web组件网络安全与隐私保护实践
前端·web安全·harmonyos
KKKlucifer4 天前
国家网络安全通报中心:重点防范境外恶意网址和恶意 IP
tcp/ip·安全·web安全