爬虫笔记（三）：实战qq登录

看到我请叫我去学java吖2024-02-03 18:41

咳咳，再这样下去会进橘子叭hhhhhh
以及，这个我觉得大概率是成功的，因为测试了太多次，登录并且验证之后，qq提醒我要我修改密码才可以登录捏QAQ

1. selenium

有关selenium具体是啥，这里就不再赘述了，其他的博客分享的都很清楚，我就大概说一下：selenium是一个模拟用户操作的工具，通过selenium就可以点击网页中某一按钮，或者拖动某一图形（是捏，首先想到的就是滑块验证hhhhh

2. selenium使用

写在最前面：

如果想要使用selenium，就需要安装对应的浏览器驱动。例如使用谷歌浏览器，就要安装对应版本的驱动；使用火狐浏览器，就要安装对应版本的火狐驱动

除此之外，敲重点！！！selenium需安装3.x的版本，否则就会有闪退的情况哈！！！

我所使用的是谷歌浏览器，版本号如下（想要查询谷歌的版本号，点击右上角的三个点，找到最下面的帮助->关于谷歌就看到啦）：

根据这个版本号，去网上搜了一下，找到了一个可以下载驱动的网址~

我看其他人也会用这个下载驱动的网址，不过截至到2024年2月初，谷歌的最新版本已经是121啦，有点高，所以大家用第一个就好啦

下载了驱动后，将其放进谷歌的文件夹里，我的是这个（应该一般都是C盘的这个文件夹叭hhhhhh）

然后将绿线的这个文件路径放到环境变量里就好啦

接下来，看一下怎么使用这个驱动哈~

python 复制代码 
from selenium import webdriver
from selenium.webdriver import ChromeOptions

# 实现规避检测
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

# 实例化浏览器
Chrome_Drive_Path = 'C:\Program Files\Google\Chrome\Application\chromedriver.exe'
driver = webdriver.Chrome(executable_path=Chrome_Drive_Path, options=option)
# 网页屏幕最大化
driver.maximize_window()
driver.get('https://im.qq.com/index/')

然后就发现qq的页面被自动打开啦！！！

3. 输入qq号和密码

打开了qq页面后，我们需要点击登录按钮，但是这个操作肯定不能由我们自己做，所以就需要selenium来帮咱们完成这个工作啦（power！！！）
首先 ，需要找到这个登录按钮的位置，找到之后，就可以根据这个标签的name在网页中定位到这个标签，然后点击它啦

python 复制代码 
# find_element_by_name根据name定位
# 如果标签中有id也可以用id定位，如果有class也可以用class定位
login_btn = driver.find_element_by_name('im.qq.com.login')
# 找到后点击
login_btn.click()

然后 ，点击登录后，就会出现如下界面啦，咱们肯定选择密码登录啦，需要找到密码登录的按钮，也就是红线标出的位置~

但是这里可以看到，密码登录这个按钮是在整个页面的子页面里，也就是html里又嵌套了一个html，这个也就是iframe。如果想要在这个子页面中找到某个标签，就需要多一步------即进入这个页面的操作

python 复制代码 
# 进入嵌套的子页面中，frame-login就是<iframe>标签的name，即上图中的绿线部分
driver.switch_to.frame('frame-login')
# 通过id定位到密码登录这一按钮
pwd_btn = driver.find_element_by_id('switcher_plogin')
pwd_btn.click()

然后 ，就可以到输入账号密码这一环节啦~

老规矩，定位到这两个文本框的位置，然后借助selenium输入咱的qq号和密码~

python 复制代码 
name = driver.find_element_by_id('u')
# 向文本框中填入
name.send_keys('qq号')
pwd = driver.find_element_by_id('p')
pwd.send_keys('qq密码')
sleep(1)
btn = driver.find_element_by_id('login_button')
btn.click()
# 点击登录后的下一个页面是验证，为了避免页面还未加载完就定位标签，在这里加上1s的停顿，然后再进行后续的操作
sleep(1)

然后 ，验证的页面就出现啦！！！

4. 图片验证

这个部分我做了两天，吐血了！！！

先简述一下这部分怎么做哈：

  1. 图片验证这个功能需要借助超级鹰 这一工具，没有用过这个的小伙伴可以看一下我的爬虫笔记（一）的前半部分，或者找其他的博客看一下，很简单的~
  2. 我们要将这整个网页截图下来，然后将图片验证这一部分再单独截取下来，发送给超级鹰解析，得到需要一个坐标的列表，这个坐标就是鼠标需要点击的图片的坐标（整个网页其左上角是原点，即(0, 0)）
  3. 当然如果超级鹰返回的是空列表，那就点击刷新按钮啦（我测试的时候倒是没有遇到这种情况）；验证完成后，点击确定按钮就行啦

其实整体思路还挺简单的，但是有关截图和点击坐标那里，实在是太麻烦啦！！！

（当然也有可能是我的技术有限，如果大家有其他的方法请指导我一下，蟹蟹您！！！）

首先，封装一个超级鹰的工具：

python 复制代码 
def getCode(filePath):
    c = Chaojiying_Client('超级鹰的账号', '超级鹰的密码', '软件Key')
    im = open(filePath, 'rb').read()
    # 注意这个的9004，由字母数字验证码的1902改成了图像识别验证码的9004
    return c.PostPic(im, 9004)['pic_str']

然后 ，将整个页面截取下来，并且获取页面的尺寸和截图下来的页面的尺寸（是的，这两个尺寸不一样，这就是整个操作中最狗的地方）

python 复制代码 
driver.save_screenshot('total.png')
# 整个页面的尺寸
size_total = driver.get_window_size()
# 截图页面的尺寸
img_total = Image.open('total.png')
w, h =img_total.size

然后 ，我们想要将验证码这一部分截取下来，就需要验证码的尺寸，定位到验证码这里，就发现这六张图片其实是一个图片，当然，它依旧在一个iframe里~

python 复制代码 
# 进入iframe中
driver.switch_to.frame('tcaptcha_iframe_dy')
# 定位到验证码的图片部分，我这里用的是xpath（在img标签右键->copy->full xpath就有啦）
code_total = driver.find_element_by_xpath('/html/body/div/div[3]/div[2]/div[1]/div[1]/img')
# 获取验证码的尺寸
size = code_total.size

接下来就对验证码的部分进行截取（这里需要注意一个问题，网页的尺寸和截图网页的尺寸是不一样的，而咱们获得的验证码的尺寸与网页的尺寸是吻合的，所以如果要在截图网页上再截取验证码部分，就没办法太精确，我的建议是截的大一些）

python 复制代码 
rangle = (
	int(w/2 - size['width']*w/size_total['width']), int(h/2 - size['height']*h/size_total['height']),
    int(w/2 + size['width']*w/size_total['width']), int(h/2 + size['height']*h/size_total['height'])
)
img_code = img_total.crop(rangle)
img_code.save('code.png')

这里的rangle就是坐标啦，这样就可以获得验证码的图片啦（就是这么大~）

然后，得到了验证码的图片后，就可以提交给超级鹰啦

python 复制代码 
# res的结果是这样的，中间以"|"作为分隔符
# x1的坐标,y1的坐标|x2的坐标,y2的坐标|x3的坐标,y3的坐标
res = getCode('code.png')

在这里需要判断一下这个结果res是不是一个空值，如果是空值，就点击一下刷新的按钮

python 复制代码 
if len(res)==0:
	print('超级鹰结果为空')
    ref = driver.find_element_by_css_selector('.status-normal')
    ref.click()

然后 ，从res中分割出坐标，放进列表里（这里就是抄的网课啦）~

python 复制代码 
axis_list = []
if '|' in res:
	list = res.split('|')
    count = len(list)
    for i in range(count):
        xy_list = []
        x = int(list[i].split(',')[0])
        y = int(list[i].split(',')[1])
        xy_list.append(x)
        xy_list.append(y)
        axis_list.append(xy_list)
else:
	xy_list = []
    x = int(res.split(',')[0])
    y = int(res.split(',')[1])
    xy_list.append(x)
    xy_list.append(y)
    axis_list.append(xy_list)

然后然后然后 ，就是点击图片这里啦

这里需要注意，我们所得到的截图的尺寸，和网页的尺寸是不一样的，所以这里要转成网页的坐标，就需要处理一下经过截图得到的坐标~

python 复制代码 
for axis in axis_list:
	# 这里是截图的坐标，在原截图的坐标上加超级鹰的结果就行
	x = int(w/2-size['width']*w/size_total['width']+axis[0])
    y = int(h/2-size['height']*h/size_total['height']+axis[1])
	# 截图的尺寸转成网页的尺寸
    x = int(x*size_total['width']/w)
    y = int(y*size_total['height']/h)
    # 这是一个动作链，简单来说，就是鼠标一次会移动距离(x, y)，然后点击一下click()
    # 为了使得上面这个动作链执行，需要perform()
    ActionChains(driver).move_by_offset(x, y).click().perform()
    # 这里注意一下，每次move_by_offset都是在上一次操作的坐标那里开始移动吗，也就是相对距离
    # 但是我们得到的绝对坐标吖，所以就需要加上reset_actions()，让动作链每一次都返回到（0，0）原坐标
    ActionChains(driver).reset_actions()
    # 每次停顿1s
    sleep(1)
# 点击确认按钮
ver_btn = driver.find_element_by_css_selector('.verify-btn')
ver_btn.click()

在网页上就可以看到相应的图片被选中了，如果没有选中，那一定是你的坐标算错啦！！！


最后 ，最后的结果就变成这个样了（叹气）

5. 贴上完整的代码叭~

python 复制代码 
from selenium import webdriver
from selenium.webdriver import ActionChains, ChromeOptions
from selenium.webdriver.chrome.service import Service

from time import sleep
from PIL import Image

from chaojiying import Chaojiying_Client


def getCode(filePath):
    c = Chaojiying_Client('超级鹰账号', '超级鹰密码', '软件Key')
    im = open(filePath, 'rb').read()
    return c.PostPic(im, 9004)['pic_str']


if __name__ == "__main__":
    # 实现规避检测
    option = ChromeOptions()
    option.add_experimental_option('excludeSwitches', ['enable-automation'])

    # 实例化浏览器
    Chrome_Drive_Path = 'C:\Program Files\Google\Chrome\Application\chromedriver.exe'
    # 4.x版本的用法，但是因为会闪退，就放弃了
    # chrome_driver_path_obj = Service(Chrome_Drive_Path)
    # driver = webdriver.Chrome(service=chrome_driver_path_obj)
    driver = webdriver.Chrome(executable_path=Chrome_Drive_Path, options=option)
    driver.maximize_window()
    driver.get('https://im.qq.com/index/')
    login_btn = driver.find_element_by_name('im.qq.com.login')
    login_btn.click()
    driver.switch_to.frame('frame-login')
    pwd_btn = driver.find_element_by_id('switcher_plogin')
    pwd_btn.click()
    name = driver.find_element_by_id('u')
    name.send_keys('qq账号')
    pwd = driver.find_element_by_id('p')
    pwd.send_keys('qq密码')
    sleep(1)
    btn = driver.find_element_by_id('login_button')
    btn.click()

    sleep(1)

    # 图片验证码
    # 定位整张验证码图片的标签
    driver.switch_to.frame('tcaptcha_iframe_dy')
    code_total = driver.find_element_by_xpath('/html/body/div/div[3]/div[2]/div[1]/div[1]/img')
    
    size_total = driver.get_window_size()
    size = code_total.size
   
    # # 对整张图片进行截图
    driver.save_screenshot('total.png')
    img_total = Image.open('total.png')
    w, h =img_total.size
    rangle = (
        int(w/2 - size['width']*w/size_total['width']), int(h/2 - size['height']*h/size_total['height']),
        int(w/2 + size['width']*w/size_total['width']), int(h/2 + size['height']*h/size_total['height'])
    )
    img_code = img_total.crop(rangle)
    img_code.save('code.png')
    #
    # print('网页尺寸', size_total)
    #
    # 超级鹰
    res = getCode('code.png')
    print(res)
    #
    if len(res)==0:
        print('超级鹰结果为空')
        ref = driver.find_element_by_css_selector('.status-normal')
        ref.click()

    axis_list = []
    if '|' in res:
        list = res.split('|')
        count = len(list)
        for i in range(count):
            xy_list = []
            x = int(list[i].split(',')[0])
            y = int(list[i].split(',')[1])
            xy_list.append(x)
            xy_list.append(y)
            axis_list.append(xy_list)
    else:
        xy_list = []
        x = int(res.split(',')[0])
        y = int(res.split(',')[1])
        xy_list.append(x)
        xy_list.append(y)
        axis_list.append(xy_list)
    # 点击验证码
    for axis in axis_list:
        x = int(w/2-size['width']*w/size_total['width']+axis[0])
        y = int(h/2-size['height']*h/size_total['height']+axis[1])

        x = int(x*size_total['width']/w)
        y = int(y*size_total['height']/h)
        print('超级鹰结果', x, y)
        ActionChains(driver).move_by_offset(x, y).click().perform()
        # 每一次都从（0，0）开始移动
        ActionChains(driver).reset_actions()
        sleep(1)
    # 点击确认
    ver_btn = driver.find_element_by_css_selector('.verify-btn')
    ver_btn.click()
    sleep(1)
相关推荐
Jk_Mr4 分钟前
初识Linux
linux·运维·服务器·笔记·microsoft
tan77º27 分钟前
【代码随想录笔记】数组
笔记
北岛寒沫28 分钟前
算法刷题笔记 字符串哈希（C++实现）
c++·笔记·算法·哈希算法
Ustinian_3101 小时前
【Python】爬虫实战02：电影市场票房情况分析与可视化
开发语言·爬虫·python·requests
小小0732 小时前
[office] 让Excel用颜色来区分成绩表中的分数 #笔记#其他
经验分享·笔记·excel·媒体
shengfq3 小时前
【spring boot starter的自定义和学习笔记】
spring boot·笔记
@summer@4 小时前
破解反爬虫策略 /_guard/auto.js（二）实战
javascript·爬虫·反爬虫·/_guard·/_guard/auto.js·/_guard/html.js·delay_jump_html
源远流长冬夏青青5 小时前
【学习笔记】einsum（爱因斯坦求和）
笔记·学习
小猪不吃饭0645 小时前
问题：当直齿圆柱齿轮的齿数少于?时，可采用 变位的办法来避免根切。 #学习方法#其他
笔记·职场和发展·学习方法
Stardep6 小时前
数据结构1—算法复杂度
c语言·数据结构·笔记·算法
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02Coze扣子平台完整体验和实践（附国内和国际版对比）03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）05【立创EDA-PCB设计基础】6.布线铺铜实战及细节详解06【经验分享】Ubuntu22.04安装微信(linux官方版)07爬虫笔记20——票星球抢票脚本的实现0851-2 万字长文，深度解读端到端自动驾驶的挑战和前沿09浏览器插件——ModHeader 的分享和学习10DSPy实战：三十分钟无痛上手自动化Prompt框架