Python入门第5篇(爬虫相关)

目录

爬虫初步说明

html相关基础

urllib之读取网页内容

http相关基础

requests之webapi调用


爬虫初步说明

爬虫,一句话来说,即模拟浏览器爬取一些内容,如自动下载音乐、电影、图片这种的

具体可能是直接访问网页进行解析,也可能是调用webapi直接获取数据,后者应该更多一些

html相关基础

html、js、css构成了html的三要素

urllib之读取网页内容

python 复制代码
from urllib.request import urlopen

url='http://www.baidu.com'
con=urlopen(url)
cons=con.read()

with open('./output.html','wb') as f:
    f.write(cons)

print(cons)

这里是打开了百度首页,然后写入到一个本地html文件,注意这里使用wb方式写入(字节流)

注意:需要通过pip安装urllib

http相关基础

三次握手

四次挥手

http方法:get、post

requests之webapi调用

python 复制代码
import requests
import json

def fanyi(inputStr):
    txt=input("请输入要翻译的内容:")
    url="https://fanyi.baidu.com/sug"
    data={
        "kw":txt
    }
    result=requests.post(url,data=data)
    # print(result.text)
    # printInfo(result.json())
    printInfo(result.json()["errno"])
    # printInfo(type(result.json()))
    print("翻译结果:")
    for i in range(len(result.json()["data"])):
        printInfo(str(i+1)+":"+result.json()["data"][i]["v"])

if __name__=="__main__":
    fanyi("我的翻译机器人")
    pass

这里一百度翻译接口为例,通过输入待翻译内容,然后调用翻译接口,将接口返回结果进行解析,输出翻译结果

注意:需要通过pip安装requests

主要用到的就是get、post

这里需要注意header、body这些参数,要根据实际网页请求的内容来,也可以先用postman、apipost测试

再一个需要注意的是,对于返回结果的解析,需要先清楚其类型,才可以更好的解析,如使用type()先打印下类型,就知道下一步要怎么解析了

相关推荐
又蓝7 分钟前
使用 Python 操作 Excel 表格
开发语言·python·excel
余~~1853816280019 分钟前
稳定的碰一碰发视频、碰一碰矩阵源码技术开发,支持OEM
开发语言·人工智能·python·音视频
0zxm29 分钟前
06 - Django 视图view
网络·后端·python·django
Am心若依旧4091 小时前
[c++11(二)]Lambda表达式和Function包装器及bind函数
开发语言·c++
明月看潮生1 小时前
青少年编程与数学 02-004 Go语言Web编程 20课题、单元测试
开发语言·青少年编程·单元测试·编程与数学·goweb
大G哥1 小时前
java提高正则处理效率
java·开发语言
ROBOT玲玉1 小时前
Milvus 中,FieldSchema 的 dim 参数和索引参数中的 “nlist“ 的区别
python·机器学习·numpy
VBA63371 小时前
VBA技术资料MF243:利用第三方软件复制PDF数据到EXCEL
开发语言
轩辰~1 小时前
网络协议入门
linux·服务器·开发语言·网络·arm开发·c++·网络协议
小_太_阳1 小时前
Scala_【1】概述
开发语言·后端·scala·intellij-idea