python小案例

wq0317872023-08-02 9:24

以下是采集店铺链接并去重的代码示例：

复制代码

import requests
from bs4 import BeautifulSoup

def get_shop_links(item_url):
    # 访问宝贝详情页面
    response = requests.get(item_url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 获取必逛好店的店铺链接
    shop_links = []
    must_visit_shop_list = soup.find('div', class_='must-visit-shops').find_all('a')
    for shop in must_visit_shop_list:
        shop_link = shop['href']
        shop_links.append(shop_link)
    
    return shop_links

def remove_duplicate_links(links):
    unique_links = list(set(links))
    return unique_links

# 提供宝贝地址
item_url = 'http://item.taobao.com/item.htm?id=638673761014'
# 获取店铺链接
shop_links = get_shop_links(item_url)
# 去重店铺链接
unique_shop_links = remove_duplicate_links(shop_links)

print(unique_shop_links)

以上代码会根据提供的宝贝地址获取必逛好店的店铺链接，并对链接进行去重操作。你可以根据需要将该代码集成到你的采集过程中。

本文由mdnice多平台发布