python爬虫实战——自动话获取淘宝商品数据

嗨喽,大家好呀~这里是爱看美女的茜茜呐

开发环境:

  • python 3.8

  • pycharm 专业版

三方库:
  • DrissionPage >>> pip install DrissionPage

如何安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令


👇 👇 👇 更多精彩机密、教程,尽在下方,赶紧点击了解吧~

python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可


代码展示

导入模块

python 复制代码
from DrissionPage import ChromiumPage
from info import USERNAME, PASSWORD
import time
import re
import json
import csv
python 复制代码
page = ChromiumPage()
page.listen.start('h5/mtop.relationrecommend.wirelessrecommend.recommend/2.0/')
  1. 打开一个窗口
python 复制代码
# page.get('https://login.taobao.com/member/login.jhtml')
  1. 匹配到账号输入框 并输入账号信息
python 复制代码
# page.ele('xpath://input[@id="fm-login-id"]').input(USERNAME)
  1. 匹配到密码输入框 并输入密码信息
python 复制代码
# page.ele('xpath://input[@id="fm-login-password"]').input(PASSWORD)
  1. 点击登陆
python 复制代码
# page.ele('xpath://button[@class="fm-button fm-submit password-login"]').click()
# time.sleep(2)
# page.get('https://s.taobao.com/search?_input_charset=utf-8&commend=all&ie=utf8&initiative_id=tbindexz_20170306&q=iphone%2015%20pro%20max&search_type=item&source=suggest&sourceId=tb.index&spm=a21bo.jianhua.201856-taobao-item.2&ssid=s5-e&suggest=0_8&suggest_query=ip&wq=ip')
# packet = page.listen.wait()
# print(packet.response.body)
for i in range(10):
    page.ele('xpath://button[@class="next-btn next-small next-btn-normal next-pagination-item next-next"]').click()
    pack = page.listen.wait()
    mtopjson = re.findall('mtopjsonp\d+\((.*)\)', pack.response.body)[0]
    print(mtopjson)
    mtopdict = json.loads(mtopjson)
    itemsArray = mtopdict['data']['itemsArray']
    for item in itemsArray:
        title = item['title']
        price = item['price']
        realSales = item['realSales']
        procity = item['procity']
        shop_name = item['shopInfo']['title']
        print(title, price, realSales, procity, shop_name)
        with open('taobao.csv', mode='a', newline='', encoding='utf-8') as f:
            csv_writer = csv.writer(f)
            csv_writer.writerow([title, price, realSales, procity, shop_name])
    time.sleep(2)

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦 🛬

希望本篇文章有对你带来帮助 🎉,有学习到一点知识~

躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~👇👇👇更多源码、资料、素材、解答、交流皆点击下方名片获取呀👇👇

相关推荐
iCxhust2 小时前
c# U盘映像生成工具
开发语言·单片机·c#
yangzhi_emo2 小时前
ES6笔记2
开发语言·前端·javascript
九年义务漏网鲨鱼3 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
emplace_back3 小时前
C# 集合表达式和展开运算符 (..) 详解
开发语言·windows·c#
jz_ddk3 小时前
[学习] C语言数学库函数背后的故事:`double erf(double x)`
c语言·开发语言·学习
萧曵 丶3 小时前
Rust 所有权系统:深入浅出指南
开发语言·后端·rust
xiaolang_8616_wjl3 小时前
c++文字游戏_闯关打怪2.0(开源)
开发语言·c++·开源
收破烂的小熊猫~4 小时前
《Java修仙传:从凡胎到码帝》第四章:设计模式破万法
java·开发语言·设计模式
蹦蹦跳跳真可爱5894 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉