Python武器库开发-武器库篇之链接提取器(六十)
链接提取器介绍
链接提取器(Link Extractor)是一种用于从网页中提取链接的工具。它可以从网页的源代码中识别出所有的链接,并将这些链接提取出来。链接提取器可以用于各种目的,例如抓取网页数据、建立网站地图、搜索引擎优化等。
链接提取器通常使用正则表达式或HTML解析器来识别和提取链接。正则表达式是一种强大的模式匹配工具,它可以根据特定的模式来匹配和提取字符串。HTML解析器可以解析网页的HTML代码,并从中提取出链接。
链接提取器可以提取各种类型的链接,包括文本链接、图片链接、音视频链接等。它可以提取出绝对链接(包含完整的URL)和相对链接(相对于当前网页的URL)。
使用链接提取器可以简化从网页中提取链接的过程,并提高提取链接的效率。它可以帮助我们快速获取所需的链接,并进行后续的处理和分析。
链接提取器代码实现
接下来我们就用python开发一段 链接提取器,代码内容如下:
python
#!/usr/bin/env python
from functools import total_ordering
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
import logging
# 内链
internal_urls = set()
# 外链
external_urls = set()
total_urls_visited = 0
def is_valid(url):
# 检查url
# 协议(scheme) 网络位置(netloc) 路径(path)查询参数(query)
parsed = urlparse(url)
loc = bool(parsed.netloc)
sche = bool(parsed.scheme)
return loc and sche
def get_all_website_links(url):
urls = set()
# 提取域名,用来判断是外链还是内链
domain_name = urlparse(url).netloc
soup = BeautifulSoup(requests.get(url).content, "lxml")
# 获取所有的a标签
for a_tag in soup.find_all("a"):
href = a_tag.attrs.get("href")
if not href or href == "":
continue
href = urljoin(url, href)
# 剔除get请求后面的参数
parsed_href = urlparse(href)
href = parsed_href.scheme + "://" + parsed_href.netloc + parsed_href.path # 后面的get参数给过滤掉了
if not is_valid(href) or href in internal_urls:
continue
# 判断是否为外链
if domain_name not in href:
print(f"外部链接:{href}")
external_urls.add(href)
continue
print(f"内部链接:{href}")
urls.add(href)
internal_urls.add(href)
return urls
# 递归
def crawl(url, max_url=15):
global total_urls_visited
total_urls_visited += 1
print(f"正在爬取:{url}")
links = get_all_website_links(url)
for link in links:
if total_urls_visited > max_url:
break
crawl(link, max_url=max_url)
if __name__ == "__main__":
url = "https://www.baidu.com/"
crawl(url=url, max_url=30)
domain_name = urlparse(url).netloc
print("总内部连接数为:", len(internal_urls))
print("总外部连接数为:", len(external_urls))
with open(f"{domain_name}的内部链接.txt", "w") as f:
for internal_url in internal_urls:
print(internal_url.strip(), file=f)
with open(f"{domain_name}的外部链接.txt", "w") as f:
for external_url in external_urls:
print(external_url.strip(), file=f)
代码逻辑分析
这段代码是一个简单的网页爬虫,用于爬取指定网页的内部链接和外部链接。
首先,在代码中导入了一些必要的模块,包括functools
、requests
、bs4
、urllib.parse
和logging
。
然后,定义了一些全局变量,包括内链集合internal_urls
、外链集合external_urls
和已访问的链接总数total_urls_visited
。
接下来,定义了一个is_valid
函数,用于检查一个链接是否合法。函数中使用urlparse
对链接进行解析,判断是否具有有效的网络位置(netloc)和协议(scheme)。
然后,定义了一个get_all_website_links
函数,用于获取指定网页的所有链接。函数中使用urlparse
获取域名,然后使用requests.get
获取网页内容,再使用BeautifulSoup
对网页进行解析。然后,遍历所有的<a>
标签,提取href
属性,并进行一系列处理,包括合并相对链接为绝对链接、剔除链接中的查询参数等。最后,判断链接是否合法,以及是内链还是外链,将链接分别添加到内链集合和外链集合中,并返回所有的链接。
接下来,定义了一个递归函数crawl
,用于递归爬取链接。函数中先增加已访问的链接总数,并打印正在爬取的链接。然后,调用get_all_website_links
函数获取链接,并遍历链接,递归调用crawl
函数。当已访问的链接总数超过指定的最大链接数时,跳出循环。
最后,在main
函数中,指定要爬取的初始链接和最大链接数,并调用crawl
函数进行爬取。最后,输出总内部链接数和总外部链接数,并将内链集合和外链集合分别写入文件中。
运行效果图
如下是我们这串代码的实际运行效果图: