selenium链家二手房信息爬取

从链家网爬取指定城市的二手房信息，并将数据保存为CSV文件。它使用了Selenium库来模拟浏览器行为，以便获取动态加载的页面内容。具体而言，它实现了一个名为LianJia的类，其中包含了获取房源列表和房源详情的方法。主要步骤如下：

读取城市信息和代理IP信息，并初始化Chrome浏览器及其设置。
定义LianJia类，其中house_list()方法用于获取指定城区的所有房源链接，house_detail()方法用于获取单个房源的详细信息。
run()方法用于执行爬取过程，它首先访问链家网站，然后获取指定城市的所有城区链接，再依次遍历每个城区，获取所有房源的详细信息，并保存到CSV文件中。
最后，循环遍历所有城市，调用run()方法执行爬取任务。
需要注意的是，这段代码在使用Selenium时需要确保已经安装好Chrome浏览器和对应版本的ChromeDriver，并将ChromeDriver的路径添加到系统环境变量中。

python 复制代码

from selenium import webdriver
from fake_useragent import UserAgent
import random
from selenium.webdriver.common.by import By
import os
import pandas as pd
from pinyin import pinyin
import subprocess

# 读取城市信息
with open("city.txt", "r", encoding="utf-8") as file:
    cities = [line.strip() for line in file if line.strip()]

ips = []
with open('ip.txt', 'r') as f:
    for line in f:
        ip = line.strip()
        ips.append(ip.strip())

# 启动Chrome浏览器调试服务
subprocess.Popen('cmd', shell=True)
subprocess.Popen('chrome-win64\chrome.exe" --remote-debugging-port=9222', shell=True)

chrome_options = webdriver.ChromeOptions()
chrome_options.add_experimental_option("debuggerAddress", "localhost:9222")
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable‐gpu')
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_argument('--proxy-server=http://' + random.choice(ips))
chrome_options.add_argument(f"user-agent={UserAgent().random}")
driver = webdriver.Chrome(options=chrome_options)

class LianJia:
    def __init__(self):
        # 声明Chrome浏览器对象, 这里填写你自己的driver路径
        self.driver = driver
        self.item = None
    def house_detail(self, item):
        """获取一间房子的详情信息"""
        self.driver.get(item['houseURL'])  # 访问一间房子的详情页

        # 获取页面上的房子信息
        item['title'] = self.driver.find_element(By.TAG_NAME, 'h1').text  # 标题
        item['price'] = self.driver.find_element(By.CSS_SELECTOR, 'span.total').text  # 价格
        house_info = self.driver.find_elements(By.CSS_SELECTOR, 'div.mainInfo')
        item['room'] = house_info[0].text  # 户型
        item['faceTo'] = house_info[1].text  # 朝向
        item['area'] = house_info[2].text  # 面积
        # 小区名
        item['communityName'] = self.driver.find_element(By.CSS_SELECTOR, 'div.communityName a.info').text
        # 发布日期
        item['releaseDate'] = self.driver.find_element(By.XPATH, '//div[@class="transaction"]/div[2]/ul/li/span[2]').text
        
        
    def house_list(self, item):
        """获取一个城区中所有房子的详情页链接"""
        # 访问城区的页面
        self.driver.get(item['partURL'])
        # 切换到'最新发布'页面
        self.driver.find_element(By.LINK_TEXT, '最新发布').click()
        # 获取到所有的房子链接
        house_ls = self.driver.find_elements(By.XPATH, '//ul[@class="sellListContent"]//div[@class="title"]/a')
        # 生成url列表
        house_url_ls = [house.get_attribute("href") for house in house_ls]

        
        # 遍历房子的链接
        for url in house_url_ls:
            item['houseURL'] = url
            self.house_detail(item)

    def run(self, city,folder_path):
        """获取所有城区的页面链接"""
        # 访问二手房网址
        self.driver.get(f'https://{city}.lianjia.com/ershoufang/')
        # 获取所有城区的元素对象
        temp_ls = self.driver.find_elements(By.XPATH, '//div[@class="position"]/dl[2]/dd/div[1]/div/a')
        # 城区名
        part_name_ls = [ele.text for ele in temp_ls]
        # 城区链接
        part_url_ls = [ele.get_attribute("href") for ele in temp_ls]
        item = {}  # 初始化一个容器, 用来存放房子的信息
        for i in range(len(temp_ls)):
            item['partName'] = part_name_ls[i]  # 城区名
            item['partURL'] = part_url_ls[i]  # 城区页面链接
            self.house_list(dict(item))  # 传递深拷贝的item对象

        pd.DataFrame(item).to_csv(folder_path+f'\{city}.csv', index=False, encoding='utf-8')
        self.driver.quit()

    
for city in cities:    
    # 创建目录
    folder_path = os.getcwd()+f"\data\房价\{city}"
    if not os.path.exists(folder_path):
        os.makedirs(folder_path)
    city1 = pinyin.get_initial(city).replace(" ", "")
    lj = LianJia()
    lj.run(city1,folder_path)