Python入门第5篇(爬虫相关)

目录

爬虫初步说明

html相关基础

urllib之读取网页内容

http相关基础

requests之webapi调用


爬虫初步说明

爬虫,一句话来说,即模拟浏览器爬取一些内容,如自动下载音乐、电影、图片这种的

具体可能是直接访问网页进行解析,也可能是调用webapi直接获取数据,后者应该更多一些

html相关基础

html、js、css构成了html的三要素

urllib之读取网页内容

python 复制代码
from urllib.request import urlopen

url='http://www.baidu.com'
con=urlopen(url)
cons=con.read()

with open('./output.html','wb') as f:
    f.write(cons)

print(cons)

这里是打开了百度首页,然后写入到一个本地html文件,注意这里使用wb方式写入(字节流)

注意:需要通过pip安装urllib

http相关基础

三次握手

四次挥手

http方法:get、post

requests之webapi调用

python 复制代码
import requests
import json

def fanyi(inputStr):
    txt=input("请输入要翻译的内容:")
    url="https://fanyi.baidu.com/sug"
    data={
        "kw":txt
    }
    result=requests.post(url,data=data)
    # print(result.text)
    # printInfo(result.json())
    printInfo(result.json()["errno"])
    # printInfo(type(result.json()))
    print("翻译结果:")
    for i in range(len(result.json()["data"])):
        printInfo(str(i+1)+":"+result.json()["data"][i]["v"])

if __name__=="__main__":
    fanyi("我的翻译机器人")
    pass

这里一百度翻译接口为例,通过输入待翻译内容,然后调用翻译接口,将接口返回结果进行解析,输出翻译结果

注意:需要通过pip安装requests

主要用到的就是get、post

这里需要注意header、body这些参数,要根据实际网页请求的内容来,也可以先用postman、apipost测试

再一个需要注意的是,对于返回结果的解析,需要先清楚其类型,才可以更好的解析,如使用type()先打印下类型,就知道下一步要怎么解析了

相关推荐
魔力之心44 分钟前
R notes[2]
开发语言·r语言
再努力"亿"点点1 小时前
炫酷JavaScript鼠标跟随特效
开发语言·前端·javascript
正义的大古1 小时前
OpenLayers 入门篇教程 -- 章节三 :掌控地图的视野和交互
开发语言·vue.js
THMAIL1 小时前
机器学习从入门到精通 - 降维艺术:PCA与t-SNE带你玩转高维数据可视化
人工智能·python·决策树·随机森林·机器学习·分类·bootstrap
看月亮的方源1 小时前
B站小土堆-pytorch深度学习快速入门笔记
pytorch·python
pythonpapaxia2 小时前
Java异常处理:掌握优雅捕获错误的艺术
java·开发语言·python·其他
l1t2 小时前
利用美团longcat.ai编写的C语言支持指定压缩算法通用ZIP压缩程序
c语言·开发语言·人工智能·算法·zip·压缩
Rhys..2 小时前
python sqlalchemy模型的建立
jvm·数据库·python·oracle
正在走向自律2 小时前
解锁WebRTC在数字人领域的无限潜能
人工智能·python·llm·webrtc·数字人·微软autogen·实时语音交互