免责声明
本文内容仅供参考,将appuim与爬虫技术相结合可能违反某些app的使用条款和法律法规。作者不对因此产生的法律问题或技术风险负责。建议读者在进行爬取操作前,充分了解相关法律法规并确保合规。
1、初识appium
背景:部分APP需要反编译,分析加密算法后,再获取信息。还有部分APP需要脱壳,然后反编译再分析加密算法获取数据。对于前面提到的解决思路,都可以解决部分app的数据加密,但是学习成本和时间成本较高。所以我们可以通过 移动端对APP的控制来解析数据 这一经济又实惠的思路 获取数据。
概述:Appium 是一个开源、跨平台、多语言支持的移动应用自动化工具(可以理解成移动端的selenium)。
原理:
安装介绍:若想要安装并使用Appium,需要提前安装Android SDK和JDK。
2、appium环境搭建
2.1、安装JDK
JDK8获取:JAVA8_免费高速下载|百度网盘-分享无限制 (baidu.com)
下载完成后直接安装即可,除了改变安装路径外就不用修改其它选项了:
安装完成后会弹出如下窗口,从它的安装路径中不难发现这是一个jre的安装程序,我们直接关闭该窗口即可:
接下来准备配置环境变量,首先要将jdk的安装路径(上面自己修改的路径)复制下来,参考图如下:
然后进入如下路径 : 右键点击此电脑 > 属性 > 高级系统设置 > 环境变量
首先配置JAVA_HOME:
接下来为用户变量中的Path添加JAVA_HOME:
最后通过命令提示符验证是否安装并配置好了环境变量,在命令提示符中输入java -version,如果有反馈就说明配置成功了:
2.2、安装SDK
下载地址:AndroidDevTools - Android开发工具 Android SDK下载 Android Studio下载 Gradle下载 SDK Tools下载
下载好后直接双击打开进行安装,安装过程中需要做的修改就是选择所有用户和修改安装地址,修改地址主要是方便后面找到目录配置环境变量:
安装完成后进入安装路径,以管理员的身份启动SDK Manager.exe:
打开SDK Manager.exe后按下图步骤操作:
接下来拷贝SDK的安装路径准备配置环境变量:
然后进入如下路径 : 右键点击此电脑 > 属性 > 高级系统设置 > 环境变量
创建用户变量的ANDROID_HOME:
接下来验证SDK是否配置成功,在命令提示符输入adb,如果有反馈就说明配置成功:
2.3、SDK连接虚拟手机
提示:演示的模拟器是夜神模拟器。
首先创建新的模拟器:
流程:打开模拟器助手 > 多开管理 > 添加模拟器 > 选择正式版 > 启动
然后做文件替换(目的是避免下载的SDK于手机SDK版本不互通):
首先进入模拟器的文件所在位置,将下图三个文件做备份:
然后进入SDK安装目录下的platform-tools文件夹,拷贝下图所示的三个以adb开头的文件:
再次来到模拟器的文件所在位置,将拷贝的文件粘贴进来:
在模拟器文件所在位置中还有一个名为nox_adb.exe的文件,将其重命名为nox_adb_back.exe:
最后将前面拷贝到模拟器的adb.exe文件再复制一份并在模拟器所在位置粘贴且重命名为nox_adb.exe:
完成以上操作后重启虚拟机并重新打开一个命令提示符输入如下命令验证SDK能否连接到模拟器:
adb devices
运行结果如下,说明SDK已经连接上了我们创建的模拟器:
知识点补充:adb是一个通用命令行工具,它允许开发者与 模拟器实例 或 连接的Android设备 进行通信。它可为各种设备操作提供便利,如果安装和调试应用在 sdk 中安装好后,会生成到platforms-tools中。
2.4、安装appium并使用
下载地址1:Releases · appium/appium-desktop (github.com)
下载地址2:Appium_免费高速下载|百度网盘-分享无限制 (baidu.com)
将下载好的安装包打开直接进行安装即可,安装完成后会自动打开该软件,首先将appium的语言设置为中文:
设置完语言后直接点击启动服务器即可:
进入服务器后点击放大镜按钮做最后的配置:
点击按钮后进入如下界面(进入后发现是空白界面就需要等待内容加载出来):
配置项如下:
①、platformName:表示系统名称,由于使用的是Android系统,所以值为Android;
②、platformVersion:表示系统版本 ,根据模拟器>设置>关于>关于平板电脑可知,我的是7.1.2;
③、deviceName:表示手机型号,也是从关于平板电脑中获取,我的是SM-G988N;
④、appPackage app:表示目标app的包名;
⑤、appActivity app:表示目标app的进程名;
下面演示一下如何通过 adb shell 获取浏览器的包名和进程名如何获取:
打开命令提示符,输入如下命令(模拟器要提前打开):
python
# 打开adb shell
abd shell
# 过滤实时日志
logcat | grep cmp=
运行结果如下:
接下来操作模拟器打开浏览器,观察到命令提示符增加一条信息,cmp后面紧跟着包名和进程名:
因此正对浏览器我的配置如下:
完成配置后点击启动会话:
运行结果如下(等了很久):
至此,就演示了Appium的基本使用流程
3、Python操作Appium
概述:Python 中的 Appium 类库封装了标准的 Selenium 客户端库,Appium 服务端定义了官方协议的扩展,为 appium 用户提供了方便的接口来执行各种设备动作,Python 控制 Appium 可以使用3方模块 appium-python-client 。
安装:
python
# 在Pycharm的终端(ALT+F12)运行如下程序
pip install appium-python-client==2.6.1
运行结果如下:
实操1:通过一个简单的案例实现Python操作Appium(运行前要打开模拟器和Appium):
注意:如果报错可以考虑修改selenium的版本为4.9.0
python
from appium import webdriver
"""
本例实现了Pycharm向appium发送请求,再操作模拟器执行指定操作的目的
"""
# 设置连接appium的指定服务器(不要在路径后加/,否则会报错)
server = 'http://127.0.0.1:4723/wd/hub'
# 初始化配置
desired = {
"platformName": "Android",
"platformVersion": "7.1.2",
"deviceName": "SM-G988N",
"appPackage": "com.android.browser",
"appActivity": "com.android.browser.BrowserActivity"
}
# 建立模拟器
driver = webdriver.Remote(server,desired)
运行结果如下:
实操2:在实操1的基础上做升级,定位搜索框,在搜索框中输入cs,然后点击搜索。
本实操的重点是如何定位到搜索框和搜索按钮:
首先通过Appium打开浏览器,运行成功后点击模拟器的空白处,然后再点Appium上方的刷新按钮,鼠标点击Appium中的搜索框就能获取到目标元素的XPATH信息了。
接下来获取蒙版的按钮(第一次进入时用鼠标定位发现整个界面都被匹配到了,需要点击一下并刷新才能正常定位不同的元素),需要断开Appium的连接并重新启动会话,重启会话后按下图所示步骤获取蒙版的XPATH即可:
程序如下:
python
from appium import webdriver
from selenium.webdriver.common.by import By
from time import sleep
"""
本例实现了Pycharm向appium发送请求,再操作模拟器执行指定操作的目的
"""
# 设置连接appium的指定服务器(不要在路径后加/,否则会报错)
server = 'http://127.0.0.1:4723/wd/hub'
# 初始化配置
desired = {
"platformName": "Android",
"platformVersion": "7.1.2",
"deviceName": "SM-G988N",
"appPackage": "com.android.browser",
"appActivity": "com.android.browser.BrowserActivity"
}
# 建立模拟器
driver = webdriver.Remote(server,desired)
# 定位蒙版并点击
border = driver.find_element(By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout/android.webkit.WebView')
border.click()
# 由于模拟器存在延迟,所以没做一个动作就休眠一下
sleep(1)
# 定位搜索框
input_box = driver.find_element(By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout/android.webkit.WebView/android.webkit.WebView/android.view.View[2]/android.view.View[3]/android.view.View/android.widget.EditText')
# 情况搜索栏中的默认值并向搜索框发送cs
input_box.clear().send_keys('cs')
sleep(1)
# 定位搜索按钮
search_btn = driver.find_element(By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout/android.webkit.WebView/android.webkit.WebView/android.view.View[2]/android.view.View[3]/android.view.View/android.widget.Button')
# 点击搜索按钮
search_btn.click()
sleep(1)
运行结果如下:
4、appium实战
实战要求:通过appium获取某我音乐app中排行榜中新歌榜的信息。
python
from appium import webdriver
from selenium.webdriver.common.by import By
from time import sleep
from selenium.webdriver.support.ui import WebDriverWait # 引入等待对象
from selenium.webdriver.support import expected_conditions as EC # 引入等待事件
# 设置连接appium的指定服务器(不要在路径后加/,否则会报错)
server = 'http://127.0.0.1:4723/wd/hub'
# 初始化配置
desired = {
"platformName": "Android",
"platformVersion": "7.1.2",
"deviceName": "SM-G988N",
"appPackage": "cn.kuwo.player",
"appActivity": "cn.kuwo.player.activities.EntryActivity"
}
# 创建模拟器
driver = webdriver.Remote(server,desired)
# 创建全局等待对象,最多等待12秒
wait = WebDriverWait(driver,12)
# 点击同意协议
wait.until(EC.presence_of_element_located((By.ID,'cn.kuwo.player:id/tv_ok')))
driver.find_element(By.ID,'cn.kuwo.player:id/tv_ok').click()
# 跳过广告
wait.until(EC.presence_of_element_located((By.ID,'cn.kuwo.player:id/skip_button')))
driver.find_element(By.ID,'cn.kuwo.player:id/skip_button').click()
# 通过回退跳过默认展示的榜单
wait.until(EC.presence_of_element_located((By.ID,'cn.kuwo.player:id/billboard_small_cover')))
driver.back()
# 跳过登录
wait.until(EC.presence_of_element_located((By.ID,'cn.kuwo.player:id/iv_close')))
driver.find_element(By.ID,'cn.kuwo.player:id/iv_close').click()
# 点击进入排行榜
wait.until(EC.presence_of_element_located((By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/androidx.viewpager.widget.ViewPager/android.widget.RelativeLayout/androidx.viewpager.widget.ViewPager/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.ListView/android.widget.LinearLayout[1]/androidx.recyclerview.widget.RecyclerView/android.widget.RelativeLayout[2]/android.widget.ImageView')))
driver.find_element(By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/androidx.viewpager.widget.ViewPager/android.widget.RelativeLayout/androidx.viewpager.widget.ViewPager/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.ListView/android.widget.LinearLayout[1]/androidx.recyclerview.widget.RecyclerView/android.widget.RelativeLayout[2]/android.widget.ImageView').click()
# 点击进入新歌榜
wait.until(EC.presence_of_element_located((By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/android.widget.FrameLayout[1]/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout[2]/android.widget.RelativeLayout/android.widget.ListView/android.widget.RelativeLayout[3]/android.widget.RelativeLayout/android.widget.ImageView')))
driver.find_element(By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/android.widget.FrameLayout[1]/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout[2]/android.widget.RelativeLayout/android.widget.ListView/android.widget.RelativeLayout[3]/android.widget.RelativeLayout/android.widget.ImageView').click()
# 获取屏幕的宽高
width = driver.get_window_size()['width']
height = driver.get_window_size()['height']
start_x = end_x = int(width*0.6)
start_y = int(height*0.7)
end_y = int(height*0.4)
# 创建空列表存放歌名
names = []
Flage = False
while Flage is False:
# 获取歌名
name_xpath = '/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/android.widget.FrameLayout[1]/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.LinearLayout/androidx.viewpager.widget.ViewPager/android.widget.RelativeLayout/android.widget.LinearLayout/androidx.recyclerview.widget.RecyclerView/android.widget.LinearLayout/android.widget.RelativeLayout/android.widget.RelativeLayout[2]/android.widget.LinearLayout[1]/android.widget.TextView'
song_names = [song.text for song in driver.find_elements(By.XPATH,name_xpath)]
for song_name in song_names:
if song_name not in names:
names.append(song_name)
# 拖拽屏幕实现下滑
driver.swipe(start_x, start_y, end_x, end_y)
sleep(1)
try:
# 如果找到没有更多数据的标签Flage的值就不是False
Flage = driver.find_element(By.XPATH,'/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.RelativeLayout/android.widget.FrameLayout[1]/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.LinearLayout/androidx.viewpager.widget.ViewPager/android.widget.RelativeLayout/android.widget.LinearLayout/androidx.recyclerview.widget.RecyclerView/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.TextView')
except:
Flage = False
# 跳出循环后获取剩余的歌名
song_names = [song.text for song in driver.find_elements(By.XPATH, name_xpath)]
for song_name in song_names:
if song_name not in names:
names.append(song_name)
# 打印歌曲名
print(f'新歌榜中所有上榜的歌名有:{names}')
运行结果如下: