机器学习 - 余弦相似度算法和IntelliScraper

场景

当时，我说要开发一个HSipder，开发完毕的时候，我发现不太智能，通过正则表达式拿过来的相似数据实际上也不太ok，但是后面我在接触机器学习的时候听闻了余弦相似度算法，当时用他爬了一些网页，结果是很ok的，于是我把HSipder项目拆了拆加入了余弦算法，我发现准确度上去了一个维度。很Nice，随机我将其发布到pypi库，并且开源，命名为IntelliScraper，意思是智能爬，也有人工智能的意思在里面。感兴趣的小伙伴可去看看 github-IntelliScraper gitte-IntelliScraper 如果能点小星星，感激不尽了。

项目介绍

IntelliScraper 是一个先进的 Python 网络爬虫工具🕸️，专为精确解析 HTML 内容和特征匹配技术而设计，用于从特定网页提取关键信息。它使用 BeautifulSoup 和 scikit-learn 等强大的库来处理复杂的网页结构，提供高效且灵活的网页数据抓取和处理方式。

🚀 用途

数据提取与分析📊: 从各种网页中提取所需数据，支持数据分析和市场研究。内容监控👀: 监控经常更新内容的网站，追踪如新闻更新、价格变动等信息。自动化测试🤖: 对网页开发者来说，用于进行网页内容和布局的自动化测试。

✨ 特点和好处

高度定制🛠️: 用户可以定义想要提取的数据列表（wanted_list），使得数据提取更具针对性。智能匹配🧠: 利用余弦相似度算法智能匹配网页元素，提高准确性。易用性👌: 尽管背后的技术复杂，但对用户来说，使用简单明了。只需提供网址、所需数据和规则路径，即可开始抓取。灵活性🔗: 支持通过 URL 直接获取 HTML 或使用现有的 HTML 内容，适应不同的使用场景。可扩展性🌱: 核心功能以类的形式实现，易于继承和扩展，满足特定需求。

🤔 为什么选择 IntelliScraper

先进的技术栈💡: 使用了最新的 BeautifulSoup 和 scikit-learn 库，保证了高效的处理和准确的数据抽取。适应性强🌟: 能够处理各种复杂的网页结构，从简单的博客到复杂的动态网站都能应对自如。用户友好🙌: 通过简单的配置和几行代码，即使是非专业开发者也能轻松上手。性能优异🚀: 相较于传统的静态规则爬虫，IntelliScraper 通过智能算法提供更高的准确率和效率。

📚 应用场景示例

假设您是一名数据分析师，需要从多个博客中定期提取特定作者的文章和更新信息。通过设置 IntelliScraper，您可以轻松抓取这些数据，进行进一步的分析和报告。同样，如果您是一名网页开发者，需要监控网站内容的变化，IntelliScraper 可以帮助您自动化这一过程，节省时间和精力。

怎么使用

先安装

python 复制代码

pip install IntelliScraper

使用

python 复制代码

wanted_list = ['北堂飘霜']
scraper = WebScraper(wanted_list, url='https://blog.csdn.net/weixin_45487988?spm=1010.2135.3001.5343')
results = scraper.build()
for result in results:
    print(result)

wanted_list是你想要的元素（多wanted_list正在测试，后续更新），url是请求连接，results就是返回元素的结果，可以自行处理。