9.2 爬虫URL去重
9.2.1 URL去重
在爬虫过程中，为了避免重复抓取相同的页面，需要进行URL去重。常用的去重策略包括：
使用集合（Set）：
将访问过的URL保存到集合中，由于集合具有唯一性，因此可以自动去重。但这种方法在URL数量非常大时可能会占用较多内存。
哈希表：
对URL进行哈希处理，将哈希值保存到哈希表中。在访问新URL前，先计算其哈希值并检查是否已存在于哈希表中。
数据库唯一索引：
如果数据最终存储在数据库中，可以在关键字段（如URL）上设置唯一索引，数据库会自动拒绝重复数据的插入。
9.2.2 深度优先搜索（DFS）与广度优先搜索（BFS）
在获取网站全部URL时，深度优先搜索和广度优先搜索是两种常用的遍历策略。
深度优先搜索（DFS）：
深度优先搜索类似于树的先序遍历，它尽可能深地搜索树的分支。在爬虫中，这意味着爬虫会沿着一个链接一直深入下去，直到没有更多链接可访问，然后再回溯到前一个节点，继续探索其他分支。
广度优先搜索（BFS）：
广度优先搜索类似于树的层序遍历，它逐层遍历树的节点。在爬虫中，这意味着爬虫会先访问所有与初始页面直接相连的页面，然后再访问这些页面的子页面，以此类推。
深度优先搜索（DFS）的优缺点
优点：
完整性：在理论上，如果资源（如内存和时间）足够，DFS能够遍历到图（或网站结构）中的所有节点（页面）。
深入探索：DFS倾向于深入探索一个分支，这对于某些需要深入理解或追踪特定主题的场景很有用。
实现简单：DFS的实现相对简单，特别是递归版本的DFS，代码结构清晰易懂。
缺点：
资源消耗：在某些情况下，特别是网站结构很深且包含大量链接时，DFS可能会导致资源（如内存和栈空间）耗尽，因为它需要保存大量的状态信息以便回溯。
效率低下：如果目标节点位于图的较远处，DFS可能需要遍历大量的无关节点才能到达，这会导致效率低下。
难以预测：DFS的遍历顺序取决于图的结构和初始节点的选择，因此很难预测它将如何遍历图。
广度优先搜索（BFS）的优缺点
优点：
效率：对于需要快速找到最近或最短路径的场景，BFS通常比DFS更高效。例如，在搜索引擎中，用户通常期望得到与查询最相关的结果，而这些结果往往位于图（即网站）的较浅层次。
可预测性：BFS的遍历顺序是逐层进行的，这使得它的遍历结果具有一定的可预测性。
避免深入无用分支：BFS不会深入探索那些远离起始节点的分支，这有助于减少资源的浪费。
缺点：
内存消耗：BFS需要维护一个队列来存储待访问的节点，如果图很大，这可能会导致大量的内存消耗。
可能错过深层重要节点：在某些情况下，虽然深层节点与起始节点的距离较远，但它们可能包含重要的信息。BFS可能会因为只关注浅层节点而错过这些深层节点。
实现略复杂：与DFS相比，BFS需要使用队列等数据结构来维护待访问的节点，这使得其实现稍微复杂一些。
在爬虫中的应用
在实际应用中，爬虫通常会根据具体的需求和网站结构来选择使用DFS还是BFS。例如，如果目标是快速抓取网站的首页和主要子页面的内容，BFS可能是一个更好的选择。而如果目标是深入探索某个特定主题下的所有页面，DFS可能更为合适。
此外，为了进一步提高爬虫的效率和准确性，还可以结合使用DFS和BFS。例如，可以先使用BFS快速抓取网站的主要结构和浅层页面，然后再对感兴趣的深层页面使用DFS进行深入探索。
最后，无论是使用DFS还是BFS，都需要注意避免过度请求对目标网站造成的负担，以及遵守相关的法律法规和伦理规范。