无界面 centOS 中使用 DrissionPage

无界面 centOS 中使用 DrissionPage

    • [1. centos 安装 chrome](#1. centos 安装 chrome)
    • [2. python 代码](#2. python 代码)
    • DrissionPage简介

某电影网站使用了加密js,无法直接从主页上爬取电影信息,只好借助 selenium 等工具。selenium 需要在服务器上安装浏览器和对应的 driver。我的服务器是无界面 centOS,未找到对应的办法。偶然看到 DrissionPage,一个国人开发的网页自动化工具,直接使用系统中的 chromium(可以指定chrome、edge),不需要 driver。尝试了一下,可以解决问题。

需要解决两个事情:

  • centOS 上安装安装 chrome
  • DrissionPage 使用无头模块

1. centos 安装 chrome

添加 Chrome 的 Yum Repository:

sh 复制代码
sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

安装下载的 rpm 包:

sh 复制代码
sudo yum localinstall google-chrome-stable_current_x86_64.rpm

如果出现依赖问题,执行以下命令来解决:

sh 复制代码
sudo yum install lsb

默认安装位置:/opt/google/chrome/google-chrome,可以通过在终端中输入 google-chrome-stable 来启动 Chrome 浏览器

2. python 代码

安装 DrissionPage 包

sh 复制代码
pip install DrissionPage

实现代码如下:

python 复制代码
# -*- coding: utf-8 -*-
""" centOS 使用 DrissionPage """
from collections import namedtuple

from DrissionPage import ChromiumPage, ChromiumOptions

Movie = namedtuple('Movie', 'name url des date')


def crawl_dy2018():
	# 在 centOS 中使用无头模式的配置
    co = ChromiumOptions()
    co.set_browser_path(r'/opt/google/chrome/google-chrome') # 设置系统中 chrome 的位置
    co.set_argument('--incognito')
    co.set_argument('--no-sandbox')
    co.headless() # 无头模块

	# 具体爬取方法
    movies = []
    page = ChromiumPage(co)
    page.get('https://dy2018.com/')
    items = page.eles('.co_content222')
    if items:
        for item in [items[0], items[2]]:
            for li in item.eles('tag:li'):
                a = li.ele('tag:a')
                span = li.ele('tag:span')
                movies.append(Movie(a.text, a.link, '', span.text))
    # page.quit()

    return sorted(movies, key=lambda movie: movie.date, reverse=True)

DrissionPage简介

DrissionPage 是一个基于 python 的网页自动化工具。

它既能控制浏览器,也能收发数据包,还能把两者合而为一。

可兼顾浏览器自动化的便利性和 requests 的高效率。

它功能强大,内置无数人性化设计和便捷功能。

它的语法简洁而优雅,代码量少,对新手友好。

详情及使用方法见官网

相关推荐
小眼睛羊羊1 分钟前
pyinstaller打包paddleocr
python
java1234_小锋5 分钟前
基于Python的旅游推荐协同过滤算法系统(去哪儿网数据分析及可视化(Django+echarts))
python·数据分析·旅游
蓝婷儿7 分钟前
Python 机器学习核心入门与实战进阶 Day 4 - 支持向量机(SVM)原理与分类实战
python·机器学习·支持向量机
杰夫贾维斯10 分钟前
CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ
linux·运维·人工智能·机器学习·centos
%d%d231 分钟前
python 在运行时没有加载修改后的版本
java·服务器·python
宛西南浪漫戈命34 分钟前
Centos 7下使用C++使用Rdkafka库实现生产者消费者
c++·centos·linq
amazinging2 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十七天
python·学习·selenium
Freak嵌入式2 小时前
一文速通 Python 并行计算:13 Python 异步编程-基本概念与事件循环和回调机制
开发语言·python·嵌入式·协程·硬件·异步编程
一个天蝎座 白勺 程序猿2 小时前
Python练习(1)Python基础类型操作语法实战:20道实战题解与案例分析(上)
开发语言·python·学习
巨人张2 小时前
信息素养Python编程题
开发语言·python