爬虫

艾莉丝努力练剑

【Python基础：语法第一课】Python 基础语法详解：变量、类型、动态特性与运算符实战，构建完整的编程基础认知体系🎬 艾莉丝的简介：我们可以把Python当成一个计算器，来进行一些算术运算。print是一个Python内置的函数，这个我们稍后会作详细介绍，先小小卖个关子！

深蓝电商API

爬虫界的 “核武器”：Splash + Scrapy 动态渲染终极方案在数据采集领域，“动态页面” 曾是爬虫工程师的 “头号难题”—— 传统爬虫（如纯 Scrapy）只能抓取静态 HTML 源码，而对 JavaScript 渲染的内容（如滚动加载的列表、点击显示的弹窗、SPA 单页应用）束手无策。直到 Splash 与 Scrapy 的组合出现，这一困境被彻底打破。作为爬虫界的 “核武器”，二者的结合不仅能高效处理动态渲染，还能兼顾 Scrapy 的高并发、易扩展优势，成为复杂场景下数据采集的 “终极方案”。

网络爬虫学习：借助DeepSeek完善爬虫软件，实现模拟鼠标右键点击，将链接另存为本地文件最近几个月里，我一直在学习网络爬虫方面的知识，每有收获都会将所得整理成文发布，不知不觉已经发了7篇日志了：

Python入门到实战：post请求+cookie+代理查询字符串参数就是URL后面的参数。例如在join.qq.com/api/v1/posi… 中，timestamp=1739447123303就是查询字符串参数。

爬虫学习 01 Web Scraper的使用目录背景介绍：第一部分：Web Scraper简介1.什么是Web Scraper：Web Scraper??

Python技能进阶：探索Selenium库，实现网页自动化测试与爬虫在数字化时代，网页自动化测试与爬虫成为了许多开发者必备的技能之一。Python作为一门功能强大的编程语言，拥有许多优秀的库可以帮助我们实现这一目标。其中，Selenium库以其强大的功能和广泛的应用领域，受到了广大开发者的青睐。本文将带你深入了解Selenium库，让你轻松掌握网页自动化测试与爬虫技能，为你的Python技能再加分！

开源的不需要写代码的爬虫maxun转自github热门项目GitHub - getmaxun/maxun: ?? Open-source no-code web data extraction platform. Turn websites to APIs and spreadsheets with no-code robots in minutes! [In Beta]，更多详细信息见github。本文主要是讲一下自己部署遇到的一些小问题。可以直接看最后一节，获得博主专属个人经验。

IPIDEA代理IP深度测评：构建智能体知识库的得力助手我最近在做“历史大事记”智能体时，踩了个实打实的坑：初期全靠大模型原生知识库支撑，回答总是“缺斤短两”：要么漏了关键历史事件，要么对人物生卒、传统习俗的描述模糊不清，甚至连一些广为人知的纪念日都没法精准对应。

第二只羽毛

遵守robots协议的友好爬虫实验二遵守robots协议的友好爬虫1.掌握robots协议的指向请求方式。2.掌握指定网页robots协议的解析方式。

YongCheng_Liang

深度解析：GitHub API 爬虫工具 —— 自动化获取热门 / 推荐开源项目在开源生态中，快速筛选高价值的 GitHub 项目是开发者的核心需求之一。本文将拆解一款基于 Python 实现的 GitHub API 爬虫工具，该工具支持按关键词搜索，自动获取「热度榜、收藏榜、最新榜」项目，并生成智能推荐列表。我们将从模块设计、核心逻辑、容错机制到使用场景，完整讲解工具的实现原理与扩展思路。

自动化验证码实现1，字符型验证码2、点击类型验证码3、滑块验证码

爬虫基础之爬取某基金网站+数据分析声明: 本案例仅供学习参考使用，任何不法的活动均与本作者无关网站:天天基金网(1234567.com.cn) --首批独立基金销售机构-- 东方财富网旗下基金平台!

小白学大数据

构建混合爬虫：何时使用Requests，何时切换至Selenium处理请求头？在做出选择之前，我们必须理解两者的工作原理。1. Requests：纯粹的网络请求库2. Selenium：浏览器自动化工具

网络爬虫学习：借助DeepSeek完善爬虫软件，实现模拟鼠标右键点击，将链接另存为本地文件最近几个月里，我一直在学习网络爬虫方面的知识，每有收获都会将所得整理成文发布，不知不觉已经发了7篇日志了：

爬虫学习案例3优美图库地址一页图片

Python多线程爬虫先简单说说多线程是啥。线程是程序执行的最小单元，一个进程里可以跑多个线程，共享内存资源。在爬虫场景下，比如你要抓取100个网页，单线程得顺序请求，每个等1秒的话总共得100秒。但如果开5个线程，每个线程处理20个页面，理论上时间能缩短到20秒左右——因为网络I/O等待时，其他线程能接着干活。Python的threading模块让创建线程变得很简单，用Thread类就能定义新线程，指定目标函数就行。

Python网络爬虫实战案例环境准备除了requests和BeautifulSoup，这次必须用上Selenium和PyExecJS。目标网站商品列表通过JS加载，简单请求拿不到完整数据。安装命令：

青青子衿_21

TikTok爬取——视频、元数据、一级评论笔者今天给大家呈上一个tiktok爬虫代码，该方法采取拟人化策略，每个视频数据存储为一个data下的文件架，每个子文件架有三个文件，分别是“视频本身，视频元数据与一级评论”，如下所示：

爬虫js逆向，jsdom补环境,抖音，a_bogus先看成品1，分析需要逆向的参数：a_bogus2,xhr断点3，经过大量的分析，a_bogus的生成位置是这个栈

Python中的简单爬虫实际上Web服务器和浏览器的通讯流程过程并不是一次性完成的, 这里html代码中也会有访问服务器的代码, 比如请求图片资源。那像0.jpg、1.jpg、2.jpg、3.jpg、4.jpg、5.jpg、6.jpg这些访问来自哪里呢答：它们来自index.html