爬虫相关的简单操作

爬虫:一种程序,从网站上爬取各种各样的数据,包括图片、视频、音乐、文档等

一、爬哪一个网址?

怎么找到一个视频的网址:

1、在浏览器右上角菜单--更多工具--开发者工具

2、选中网络(network)、媒体(media)

3、浏览器左上角点击刷新,看见1-3条数据

4、【点击】一条数据,即可在【标头】中看见这个链接

二、获取网址里面的数据

什么叫做模块?

在Python中,去实现一些具体的任务,带上模块

比如:向一个网址请求数据带上一个模块"requests" 请求模块。

导入"请求模块":import requests

运行提示:No module named requests 没有找到该模块

解决方案:pycharm运行框中在终端中输入以下命令,等待下载就好

复制代码
  /#安装请求模块
  pip install requests

requests是一个模块,有一个get功能,给一个网址URL,能够得到网址的响应res

res = requests.get(url)

三、把得到的内容保存到电脑上

复制代码
  打开文件:
      open('文件名', '打开方式')  王志林!
      
      打开方式:
          1.读还是写的问题!
          2.文本文件还是二进制文件!
                                  文本文件txt  二进制文件mp3 mp4 avi rmvb jpg png bmp exe ppt doc xlsx。。。
          读  从文件中读取数据     r(read)        rb(read-binary)
          写  向文件中写入数据     w(write)       wb(write-binary)
          
          成绩单.xlsx   打开它  想看一下月亮同学  语文成绩是多少!  读!
          成绩单.xlsx   打开它  把李海超同学英语成绩填进去!        写!
  

四、完整示例代码

python 复制代码
# 找一个网址 以字符串的形式保存在一个变量中!
url = "https://v26-web.douyinvod.com/351620a280feb6dc9002423f7a76fa5a/63d7cbeb/video/tos/cn/tos-cn-ve-15/owmt7LiA9okAJNfbClQg4znjYIueDAmwBgiAAs/?a=6383&ch=54&cr=3&dr=0&lr=all&cd=0%7C0%7C0%7C3&cv=1&br=998&bt=998&cs=0&ds=3&ft=LjhJEL998xIouEkmD0P5H4eaciDXtks0d5QEeg-czijD1Ini&mime_type=video_mp4&qs=0&rc=ZDM5aTY1ZjRpM2U7PDZnOkBpanc6OjQ6ZjxqaDMzNGkzM0BjMS4yNmA1NTUxYzY2XzRfYSNvYTA2cjRnLW1gLS1kLWFzcw%3D%3D&l=202301302053005280D9206CC8081A59C4&btag=20000"

# 导入请求模块 一定要先安装!
import requests

# 使用requests的get功能 获取网站的响应
res = requests.get(url)

# 打开一个空的视频(真·狗粮.mp4) 把得到res.content丢进去 得到一个可以播放的视频
open('美女1.mp4', 'wb').write(res.content)
相关推荐
weixin_472339462 小时前
高效处理大体积Excel文件的Java技术方案解析
java·开发语言·excel
枯萎穿心攻击2 小时前
响应式编程入门教程第二节:构建 ObservableProperty<T> — 封装 ReactiveProperty 的高级用法
开发语言·unity·c#·游戏引擎
Eiceblue4 小时前
【免费.NET方案】CSV到PDF与DataTable的快速转换
开发语言·pdf·c#·.net
m0_555762904 小时前
Matlab 频谱分析 (Spectral Analysis)
开发语言·matlab
浪裡遊5 小时前
React Hooks全面解析:从基础到高级的实用指南
开发语言·前端·javascript·react.js·node.js·ecmascript·php
烛阴6 小时前
简单入门Python装饰器
前端·python
lzb_kkk6 小时前
【C++】C++四种类型转换操作符详解
开发语言·c++·windows·1024程序员节
好开心啊没烦恼6 小时前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
面朝大海,春不暖,花不开7 小时前
使用 Python 实现 ETL 流程:从文本文件提取到数据处理的全面指南
python·etl·原型模式
简佐义的博客7 小时前
破解非模式物种GO/KEGG注释难题
开发语言·数据库·后端·oracle·golang