【chromedp】网页操作不该重复点点点

想法

工作中有个需求,需要对某个服务的配置文件进行替换。其中有个操作,需要对网页进行重复手动操作。那么作为程序员来说,重复的操作往往都能用脚本解决,而网页往往可以用爬虫来处理。刚好,我又会点爬虫。想到这就直接开写。

你将在本章中学到什么?

  • chromedp的基本使用

  • 爬虫经验

为什么使用chromedp

网页分为:"静态网页","动态网页",静态网页相等爬取比较简单,直接使用爬虫框架,或者http requests请求即可。比如:python的scrapy,golang的Colly。 但是往往很多网站都是js动态生成的,那么在这种情况下,需要通过浏览器模拟渲染动作,获取生成的页面源码,进而进行解析。

之前对于这种动态的页面爬取,使用的是scrapy+docker+splash来解决,很久没有写过python了,想用golang尝尝鲜。

chromedp如何理解:跟selenium, puppetter一样,都是通过调用chrome的底层协议来模拟浏览器来完成操作。

测试代码链接:github.com/toheart/gol...

简单使用

官方举例

go 复制代码
func TestSimple(t *testing.T) {

    // 创建一个chrome实例, 默认是headless的方式运行

    ctx, cancel := chromedp.NewContext(

        context.Background(),

    )

    defer cancel()

  


    ctx, cancel = context.WithTimeout(ctx, 15*time.Second)

    defer cancel()

  


    // navigate to a page, wait for an element, click

    var example string

    err := chromedp.Run(ctx,

        chromedp.Navigate(`https://pkg.go.dev/time`),

        // 等到body>footer的内容加载后,向下执行

        chromedp.WaitVisible(`body > footer`),

        // 进行点击操作

        chromedp.Click(`#example-After`, chromedp.NodeVisible),

        // 尝试获取#example-After的textarea中的值

        chromedp.Value(`#example-After textarea`, &example),

    )

    if err != nil {

        log.Fatal(err)

    }

    log.Printf("Go's time.After example:\n%s", example)

}

执行后,直接输出了textarea中内容。因为默认处于headless执行不可观测到实际的动作。所以接下来需要禁用headless。

代码如下:

go 复制代码
func TestWithoutHeadless(t *testing.T) {

    ctx, exCancel := chromedp.NewExecAllocator(

        context.Background(),

        // 以默认配置的数组为基础,覆写headless参数

        // 当然也可以根据自己的需要进行修改,这个flag是浏览器的设置

        append(

            chromedp.DefaultExecAllocatorOptions[:],

            chromedp.Flag("headless", false), // 显示界面

        )...,

    )

    defer exCancel()

   

    ....

}

执行完这个代码后,会显示调用出浏览器,对于排障比较舒服。

其他的一些操作示例,可以查看官方的example来执行:github.com/chromedp/ex...

爬虫经验

在爬虫过程中,我们需要定位dom来完成进一步操作,那么如何操作呢?

可以通过xpath, selector来进行定位。 具体操作如下:

打开浏览器-> F12->点击检查按钮->选择对应的元素->右键选择复制。

举证如下:

对于相同元素的获取,就需要提取相关特征,按Ctrl+F 键打开查找窗口来实现,如获取所有的目录名称如下:

xpath,selector语法可以直接查文档即可。

更多问题

  1. 如何理解chromedp这个实例?

答:chromedp就像等于你获得了一个chrome浏览器,可以通过这个实例将你的操作代码化。

  1. 作为一个爬虫任务,不可能只用一个tab页进行,这样会使得操作都串行了,效率降低,如何进行多开tab页,并行爬取?

答:这里触发一个支线任务,当对于一个新的第三方库,怎么办?这里可以看到chromedp的执行过程都是使用chromedp这个库开头调用里面的暴露出的function,那么这就好办了。直接打开pkg.go.dev/ 查询chromedp的api函数。全局搜索相关字段,比如new tab,即可定位相应函数。(当然需要第三方库写的比较好的情况下)

  1. 对于一些测试手段,我需要对网页中的某些http报文进行检查,校验,这部分如何操作?

答:在chromedp中,可以通过监听手段来获取浏览器相关的事件。代码如下:

go 复制代码
    chromedp.ListenTarget(ctx, func(ev interface{}) {

        switch ev := ev.(type) {

        case *network.EventResponseReceived:

            resp := ev.Response

            if len(resp.Headers) != 0 {

                // log.Printf("received headers: %s", resp.Headers)

                t.Logf("%s \n", resp.URL)

            }

        }

    })

小结

工作也是积累经验的一部分,程序员如果遇到重复性的工作,第一反应先慢下来,想想是否自己可以写一个程序来完成工作。

以上。

相关推荐
颜淡慕潇37 分钟前
【K8S问题系列 |1 】Kubernetes 中 NodePort 类型的 Service 无法访问【已解决】
后端·云原生·容器·kubernetes·问题解决
尘浮生2 小时前
Java项目实战II基于Spring Boot的光影视频平台(开发文档+数据库+源码)
java·开发语言·数据库·spring boot·后端·maven·intellij-idea
尚学教辅学习资料2 小时前
基于SpringBoot的医药管理系统+LW示例参考
java·spring boot·后端·java毕业设计·医药管理
monkey_meng3 小时前
【Rust中的迭代器】
开发语言·后端·rust
余衫马3 小时前
Rust-Trait 特征编程
开发语言·后端·rust
monkey_meng3 小时前
【Rust中多线程同步机制】
开发语言·redis·后端·rust
paopaokaka_luck7 小时前
【360】基于springboot的志愿服务管理系统
java·spring boot·后端·spring·毕业设计
码农小旋风9 小时前
详解K8S--声明式API
后端
Peter_chq9 小时前
【操作系统】基于环形队列的生产消费模型
linux·c语言·开发语言·c++·后端
Yaml49 小时前
Spring Boot 与 Vue 共筑二手书籍交易卓越平台
java·spring boot·后端·mysql·spring·vue·二手书籍