爬虫相关的简单操作

犹若故人归2024-04-11 17:15

爬虫：一种程序，从网站上爬取各种各样的数据，包括图片、视频、音乐、文档等

一、爬哪一个网址？

怎么找到一个视频的网址：

1、在浏览器右上角菜单--更多工具--开发者工具

2、选中网络（network）、媒体（media）

3、浏览器左上角点击刷新，看见1-3条数据

4、【点击】一条数据，即可在【标头】中看见这个链接

二、获取网址里面的数据

什么叫做模块？

在Python中，去实现一些具体的任务，带上模块

比如：向一个网址请求数据带上一个模块"requests" 请求模块。

导入"请求模块"：import requests

运行提示：No module named requests 没有找到该模块

解决方案：pycharm运行框中在终端中输入以下命令，等待下载就好

复制代码

  /#安装请求模块
  pip install requests

requests是一个模块，有一个get功能，给一个网址URL，能够得到网址的响应res

res = requests.get(url)

三、把得到的内容保存到电脑上

复制代码

  打开文件：
      open('文件名', '打开方式')  王志林！
      
      打开方式:
          1.读还是写的问题！
          2.文本文件还是二进制文件！
                                  文本文件txt  二进制文件mp3 mp4 avi rmvb jpg png bmp exe ppt doc xlsx。。。
          读  从文件中读取数据     r(read)        rb(read-binary)
          写  向文件中写入数据     w(write)       wb(write-binary)
          
          成绩单.xlsx   打开它  想看一下月亮同学  语文成绩是多少！  读！
          成绩单.xlsx   打开它  把李海超同学英语成绩填进去！        写！

四、完整示例代码

python 复制代码

# 找一个网址 以字符串的形式保存在一个变量中！
url = "https://v26-web.douyinvod.com/351620a280feb6dc9002423f7a76fa5a/63d7cbeb/video/tos/cn/tos-cn-ve-15/owmt7LiA9okAJNfbClQg4znjYIueDAmwBgiAAs/?a=6383&ch=54&cr=3&dr=0&lr=all&cd=0%7C0%7C0%7C3&cv=1&br=998&bt=998&cs=0&ds=3&ft=LjhJEL998xIouEkmD0P5H4eaciDXtks0d5QEeg-czijD1Ini&mime_type=video_mp4&qs=0&rc=ZDM5aTY1ZjRpM2U7PDZnOkBpanc6OjQ6ZjxqaDMzNGkzM0BjMS4yNmA1NTUxYzY2XzRfYSNvYTA2cjRnLW1gLS1kLWFzcw%3D%3D&l=202301302053005280D9206CC8081A59C4&btag=20000"

# 导入请求模块 一定要先安装！
import requests

# 使用requests的get功能 获取网站的响应
res = requests.get(url)

# 打开一个空的视频(真·狗粮.mp4) 把得到res.content丢进去 得到一个可以播放的视频
open('美女1.mp4', 'wb').write(res.content)