Python爬虫教程第0篇-写在前面

为什么写这个系列

最近开发了个Python爬虫的脚本,去抢一个名额,结果是程序失败了,中间有各种原因,终究还是准备不足的问题。我想失败的经验或许也可贵,便总结一下当初从0开始学Python,一步步去写Python脚本,到后来写了个大的项目。这中间不断的摸索摸索,最终也有了一点点自己的心得和经验。

当然还有个原因是,我最近也不知道该写点什么了,第一次写系列文章,一方面督促自己不断更新,也给自己找了个新的学习方向。

之前也学过Python,但是从来都是学了没用上,然后就忘记了。自己这次需要借用Python去做些实际事情的时候,这个时候的学习效率远比之前没有目的的学习效率高很多。在实践中学习,确实事半功倍,也建议大家带着实际需求去开发去学习一门技术。Python确实,实现很优雅,写起来很快,因为Java是我的主语言嘛,所以来回切换两种语言写项目,有的时候写Java,就会特别想pyhon。而且当下大模的火爆,Python或许是我通向AI转型的敲门砖。

准备写哪些方向

其实没有固定的标准,我会以自己个人小白的经历去写,比如我可能使用到BeautifulSoup,我觉得这个工具好用,我会写相关的文章给大家推荐;又或是使用reqeust遇到的坑以及代理的使用也会做分享;也可能是如果使用Selenium去实现自己的目标等。

这里不会去写怎么学习Python等,因为我也不是特别专业的Python开发者,我学习Python的时候也是一天看完个大概,跑通一个hello world!就开始上手写业务逻辑了。过程中确实也遇到了不少问题,比如Python代码的管理呀,class啊等等如何组织Pytho代码。有趣的是,很多时候我可能会用写Java的思想去写Python。就像之前领导打趣的说我写的Scala和Java一样。

主要目的还是在于分享,信息的闭塞也会导致技术的闭塞,所以大家一起讨论一起分享。特别是爬虫领域中,最不可避免的就是会有很多奇奇葩葩的问题,可能不同的目标网址遇到的问题也很不相同,但是很多共性问题是一样的。比如有次我以为堆积器就行了,但是反而堆机器触发了目标网站一个机制,被限制访问了,从而直接失败。这点其实是我想不到的,因为平时的测试无法去复现真正申请时,目标网络的繁忙可能有很多自保的措施。或许这就是我说的失败的经验也宝贵,下次换个策略就好了。

总结

欢迎大家点赞、收藏和一起讨论。

相关推荐
汪洪墩17 分钟前
【Mars3d】设置backgroundImage、map.scene.skyBox、backgroundImage来回切换
开发语言·javascript·python·ecmascript·webgl·cesium
云空22 分钟前
《QT 5.14.1 搭建 opencv 环境全攻略》
开发语言·qt·opencv
Anna。。24 分钟前
Java入门2-idea 第五章:IO流(java.io包中)
java·开发语言·intellij-idea
我曾经是个程序员1 小时前
鸿蒙学习记录
开发语言·前端·javascript
爱上语文1 小时前
宠物管理系统:Dao层
java·开发语言·宠物
程序员shen1616111 小时前
抖音短视频saas矩阵源码系统开发所需掌握的技术
java·前端·数据库·python·算法
小老鼠不吃猫2 小时前
力学笃行(二)Qt 示例程序运行
开发语言·qt
长潇若雪2 小时前
《类和对象:基础原理全解析(上篇)》
开发语言·c++·经验分享·类和对象
人人人人一样一样2 小时前
作业Python
python