初级爬虫的总结一

初级爬虫的总结一之百度网页爬虫

我遇到的问题:

1、没有找对网页sugrec,导致connect-type没有找对,以及一些小问题

2、url拼接时候出现乱码


一、寻找正确的sugrec

1、打开百度网址,看看进行搜索时候,该网页标签是否在进行变化

2、右键点开查找

3、点击网络,再点击下面的fetch/XHR

4、点击百度一下,请注意出现的这个sugrec,之后会用到的

5、输入你要查找的词汇,在网址栏中喜欢后面的删除,回车一下,将会得到,我们需要的sugrec

6、得到要用的sugrec

二、url拼接出问题,解决办法

当 response = requests.get(url=url,params=param,headers=headers) 中无法出现正确的地址时

采用:

复制代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
rom urllib.parse import urljoin, quote, urlencode

if __name__ =="__main__":
    headers={
        "User-Agent":"填你自己的"
    }
    base_url = "https://www.baidu.com/"
    # 拼接URL
    url = urljoin(base_url, 's?wd=')
   #检查URL是否拼接正确
    print(url)
    # 动态查询
    kw = input('enter a word:')
    url=url+kw
    # response = requests.get(url=url,params=param,headers=headers)
    response = requests.get(url=url, headers=headers)
    #print(response.status_code) #检查response是否查询成功 200(成果)
    page_text = response.text
    filename =kw+'.html'
    with open(filename,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(filename,'over!')

一点点的拓展关于json:

不知道json代码哪里出问题了,可以采用以下的代码:

复制代码
    try:
        dic_obj = response.json()
        except json.JSONDecodeError:
        print('JSON解析错误,响应内容可能不是有效的JSON格式')
       except requests.exceptions.RequestException as e:
        print(f'请求发生错误:{e}')
    else:
        print(dic_obj)
        fileName=kw+'.json'
        fp = open('fileName','w',encoding='utf-8')
        json.dump(dic_obj,fp=fp,ensure_ascii=False)
        print('over!')
相关推荐
wuyk5551 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5551 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10211 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5552 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5552 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5553 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.3 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5555 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
xyzzklk11 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓
严肃小白兔11 天前
Cloudflare 开始区分 AI 爬虫与个人 Agent:网站访问控制应该怎样设计?
人工智能·爬虫