Python爬虫教程第0篇-写在前面

为什么写这个系列

最近开发了个Python爬虫的脚本,去抢一个名额,结果是程序失败了,中间有各种原因,终究还是准备不足的问题。我想失败的经验或许也可贵,便总结一下当初从0开始学Python,一步步去写Python脚本,到后来写了个大的项目。这中间不断的摸索摸索,最终也有了一点点自己的心得和经验。

当然还有个原因是,我最近也不知道该写点什么了,第一次写系列文章,一方面督促自己不断更新,也给自己找了个新的学习方向。

之前也学过Python,但是从来都是学了没用上,然后就忘记了。自己这次需要借用Python去做些实际事情的时候,这个时候的学习效率远比之前没有目的的学习效率高很多。在实践中学习,确实事半功倍,也建议大家带着实际需求去开发去学习一门技术。Python确实,实现很优雅,写起来很快,因为Java是我的主语言嘛,所以来回切换两种语言写项目,有的时候写Java,就会特别想pyhon。而且当下大模的火爆,Python或许是我通向AI转型的敲门砖。

准备写哪些方向

其实没有固定的标准,我会以自己个人小白的经历去写,比如我可能使用到BeautifulSoup,我觉得这个工具好用,我会写相关的文章给大家推荐;又或是使用reqeust遇到的坑以及代理的使用也会做分享;也可能是如果使用Selenium去实现自己的目标等。

这里不会去写怎么学习Python等,因为我也不是特别专业的Python开发者,我学习Python的时候也是一天看完个大概,跑通一个hello world!就开始上手写业务逻辑了。过程中确实也遇到了不少问题,比如Python代码的管理呀,class啊等等如何组织Pytho代码。有趣的是,很多时候我可能会用写Java的思想去写Python。就像之前领导打趣的说我写的Scala和Java一样。

主要目的还是在于分享,信息的闭塞也会导致技术的闭塞,所以大家一起讨论一起分享。特别是爬虫领域中,最不可避免的就是会有很多奇奇葩葩的问题,可能不同的目标网址遇到的问题也很不相同,但是很多共性问题是一样的。比如有次我以为堆积器就行了,但是反而堆机器触发了目标网站一个机制,被限制访问了,从而直接失败。这点其实是我想不到的,因为平时的测试无法去复现真正申请时,目标网络的繁忙可能有很多自保的措施。或许这就是我说的失败的经验也宝贵,下次换个策略就好了。

总结

欢迎大家点赞、收藏和一起讨论。

相关推荐
geovindu7 分钟前
CSharp: Breadth First Search Algorithm and Depth First Search Algorithm
开发语言·后端·算法·c#·.net·搜索算法
RSTJ_162516 分钟前
PYTHON+AI LLM DAY ONE HUNDRED AND EIGHTEEN
python
库克克43 分钟前
【C++】set 与multiset
开发语言·c++
Wang's Blog1 小时前
Go-Zero项目开发34: 微服务超时控制与重试机制实践
开发语言·微服务·golang·go-zero
tkevinjd1 小时前
MiniCode 项目详解7:Memory 记忆系统
大数据·python·搜索引擎·llm·agent
郭老二2 小时前
【Python】Web框架 FastAPI 详解
python·fastapi
DFT计算杂谈2 小时前
交错磁研究进展材料物性与交叉应用
数据库·人工智能·python·opencv·算法
敖行客 Allthinker2 小时前
docker容器安装Python反推镜像步骤(适用于临时调试用)
python·docker·容器
2zcode2 小时前
项目文档:基于MATLAB神经网络的心力衰竭预测与临床辅助决策系统研究
开发语言·神经网络·matlab·心力衰竭预测\
rrrjqy2 小时前
夏普比率与 Beta——Quant-for-Beginners 量化入门Task7
python·金融