PHP采集任意网址自动识别并提取页面主体内容

对于PHP采集很多种方式,但是都是指定dom哪个节点来采集内容,这样太麻烦了,有没有一方式可以任意网址可以自动识别主本内容呢。答案是有。
用到的组件:

  • QueryList:先用Queyrylist采集页面内容html
  • readability:把采集到的HTML原始内容给readability分析树结构,提取页面内容。

组件仓库地址:

https://querylist.cc/

https://github.com/andreskrey/readability.php

看效果:

代码:

php 复制代码
public function readability()
    {
        $param = $this->request->param();
        if($this->request->isPost())
        {
            $url = trim($param['url']);

            $ql = QueryList::get($url);
            $html = $ql->getHtml();
            //$html = file_get_contents($url);
            //$html = HttpService::request($url);

            $rules = [
                'keywords' => ['meta[name=keywords]','content'],
                'description' => ['meta[name=description]','content']
            ];
            $query =  $ql->rules($rules)->queryData();

            $readability = new Readability(new Configuration());
            $readability->parse($html);


            $data['title'] = $readability->getTitle();
            $data['seo_title'] = $readability->getTitle();
            $data['keywords'] = $query['keywords'];
            $data['description'] = '';
            $data['source'] = $url;
            $data['status'] = true;

            $content = $readability->getContent();
            $content = preg_replace("/<!--[^\!\[]*?(?<!\/\/)-->/","",$content);//删除注释
            $content = preg_replace("/<div (id|class)=('|\")(.*?)(\'|\")>/","",$content);//删除最外层idv
            $content = preg_replace("/(↵|\r\n|\n|\r)<\/div>$/","",$content);//删除最外层idv

            $data['content'] = $content;
            $data['thumb'] = $readability->getImage();
            $images = $readability->getImages();
            $photos = [];
            if(!empty($images))
            {
                foreach($photos as $v)
                {
                    $photo = [
                        'src'   => $v,
                        'alt'   => '',
                    ];
                    array_push($photos,$photo);
                }
                $data['photos'] = $photos;
            }


            return $data;
        }
        else
        {
            return $this->fetch();
        }

    }
相关推荐
乌暮1 小时前
少写重复 CRUD:用大白话搞懂 MyBatis-Plus
java·开发语言·spring boot·面试·mybatis
不绝1911 小时前
Lua基础语法入门:注释、变量类型与字符串操作
开发语言·lua
Hhy_11072 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
风落青芜2 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法
艾莉丝努力练剑2 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
FungLeo3 小时前
FengCMS ·PHP+MySQL 升级实录 · 安全加固的克制:一份“不做什么“清单,比修了几个漏洞更重要
mysql·安全·php·安全加固·fengcms
wuxianda10304 小时前
Swift 项目用 Xcode 脚手架起步:默认工程结构和依赖组合为什么会被识别成同源
开发语言·xcode·swift·4.3a·appstore审核
ShineWinsu4 小时前
对于Qt:QVBoxLayout常见属性以及方法的解析
开发语言·数据库·c++·qt·gui·客户端·布局管理器
Sarvartha4 小时前
反射综合案例:SQL 语句生成
java·开发语言
ShineWinsu15 小时前
对于Qt:QFormLayout常见属性以及方法的解析
开发语言·c++·qt·面试·客户端·表单·qformlayout