基于Python编程实现简单网络爬虫实现

引言

网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 --维基百科

网络爬虫可以将自己所访问的页面保存下来,以便搜索引擎事后生成索引供用户搜索。

一般有两个步骤:1.获取网页内容 2.对获得的网页内容进行处理

准备

Linux开发环境

python3.61安装方法:https://www.cnblogs.com/kimyeee/p/7250560.html

安装一些必要的第三方库

其中requiests可以用来爬取网页内容,beautifulsoup4用来将爬取的网页内容分析处理

pip3 install requiests

pip3 install beautifulsoup4

第一步:爬取

使用request库中的get方法,请求url的网页内容

更多了解:Requests: HTTP for Humans™ --- Requests 2.31.0 documentation

编写代码

[root@localhost demo]# touch demo.py
[root@localhost demo]# vim demo.py

#web爬虫学习 -- 分析
#获取页面信息
#输入:url
#处理:request库函数获取页面信息,并将网页内容转换成为人能看懂的编码格式
#输出:爬取到的内容
import requests
def getHTMLText(url):
try:
r = requests.get( url, timeout=30 )
r.raise_for_status() #如果状态码不是200,产生异常
r.encoding = 'utf-8' #字符编码格式改成 utf-8
return r.text
except:
#异常处理
return " error "
url = "http://www.baidu.com"
print( getHTMLText(url) )

[root@localhost demo]# python3 demo.py

第二步:分析

使用bs4库中BeautifulSoup类,生成一个对象。find()和find_all()方法可以遍历这个html文件,提取指定信息。

更多了解:Beautiful Soup: We called him Tortoise because he taught us.

编写代码

[root@localhost demo]# touch demo1.py
[root@localhost demo]# vim demo1.py

#web爬虫学习 -- 分析
#获取页面信息
#输入:url
#处理:request库获取页面信息,并从爬取到的内容中提取关键信息
#输出:打印输出提取到的关键信息
import requests
from bs4 import BeautifulSoup
import re
def getHTMLText(url):
try:
r = requests.get( url, timeout=30 )
r.raise_for_status() #如果状态码不是200,产生异常
r.encoding = 'utf-8' #字符编码格式改成 utf-8
return r.text
except:
#异常处理
return " error "
def findHTMLText(text):
soup = BeautifulSoup( text, "html.parser" ) #返回BeautifulSoup对象
return soup.find_all(string=re.compile( '百度' )) #结合正则表达式,实现字符串片段匹配
url = "http://www.baidu.com"
text = getHTMLText(url) #获取html文本内容
res = findHTMLText(text) #匹配结果
print(res) #打印输出

[root@localhost demo]# python3 demo1.py

一个例子:中国大学排名爬虫

参考链接:Python123 - 编程更简单

#e23.1CrawUnivRanking.py

import requests

from bs4 import BeautifulSoup

allUniv = []

def getHTMLText(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = 'utf-8'

return r.text

except:

return ""

def fillUnivList(soup):

data = soup.find_all('tr')

for tr in data:

ltd = tr.find_all('td')

if len(ltd)==0:

continue

singleUniv = []

for td in ltd:

singleUniv.append(td.string)

allUniv.append(singleUniv)

def printUnivList(num):

print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名","学校名称","省市","总分","培养规模"))

for i in range(num):

u=allUniv[i]

print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[0],u[1],u[2],u[3],u[6]))

def main():

url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'

html = getHTMLText(url)

soup = BeautifulSoup(html, "html.parser")

fillUnivList(soup)

printUnivList(10)

main()

相关推荐
SoraLuna1 分钟前
「Mac玩转仓颉内测版26」基础篇6 - 字符类型详解
开发语言·算法·macos·cangjie
出逃日志26 分钟前
JS的DOM操作和事件监听综合练习 (具备三种功能的轮播图案例)
开发语言·前端·javascript
前端青山1 小时前
React事件处理机制详解
开发语言·前端·javascript·react.js
black0moonlight2 小时前
ISAAC Gym 7. 使用箭头进行数据可视化
开发语言·python
时光の尘2 小时前
C语言菜鸟入门·关键字·int的用法
c语言·开发语言·数据结构·c++·单片机·链表·c
程序员黄同学2 小时前
Python 中如何创建多行字符串?
前端·python
坊钰2 小时前
【Java 数据结构】时间和空间复杂度
java·开发语言·数据结构·学习·算法
Edward-tan3 小时前
c语言数据结构与算法--简单实现线性表(顺序表+链表)的插入与删除
c语言·开发语言·链表
武昌库里写JAVA3 小时前
一文读懂Redis6的--bigkeys选项源码以及redis-bigkey-online项目介绍
c语言·开发语言·数据结构·算法·二维数组
苹果酱05673 小时前
windows安装redis, 修改自启动的redis服务的密码
java·开发语言·spring boot·mysql·中间件