我们通常是通过requests+BS4的方法来获取网页内容,这种方法导入模块较多,速度相对有点儿慢,此时我们可以用requests的post方法向指定服务器发送请求,获取数据后格式化为json,然后获取相关键值。这种方法用到了requests和json两个模块,通过headers进行伪装。
一、获取网页翻译源码
python
import requests
# 定义请求的 URL 和数据
url = 'https://fanyi.so.com/index/search'
data = {'eng': '1', 'validate': '', 'ignore_trans': '0', 'query': 'as well'}
# 伪装
headers = {
'useragent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Mobile Safari/537.36 Edg/128.0.0.0',
'pro': 'fanyi'
}
# 发送 POST 请求并获取响应
response = requests.post(url=url, headers=headers, data=data).json()
# 提取翻译文本
translated_text = response['data']['fanyi']
print(translated_text)
二、代码解读
-
URL 和请求数据:请求的目标 URL 是 http://fanyi.so.com,用于查询翻译结果。请求数据中,query 是我们需要翻译的文本,这里设定为 "as well"。
-
请求头:通过 headers 指定浏览器标识,模拟真实用户访问。这样可以避免请求被认为是机器人访问而被拦截。
-
POST 请求:使用 requests.post() 发送 POST 请求,并将服务器返回的 JSON 响应转换为字典。
-
提取翻译:响应数据的 data['fanyi'] 字段包含了翻译后的文本。代码最后将该翻译结果输出。
三、注意事项
- 如果想获取请求的域名,要通过chrome打开网页,输入一个单词如hello,然后按下F12,查看标头,找到请求网址。
获取请求网址
- 在载荷中找到post的数据,存入到data变量:
找到发送的数据内容。
- 发送的数据变量data中eng的键值为1是英译中,2是中译英。