python学习笔记--实现简单的爬虫(一)

任务:爬取豆瓣最受欢迎的250个电影的资料

链接:豆瓣电影 Top 250

用浏览器打开后,使用F12或鼠标右键--检查,查看网页的源代码,分析网页结构,如下图所示:

分析后得知:

1.电影名位于class为hd的div中,里边嵌套中一层a标签和span标签,最终目的地为<span class="title"></span> ;

2.电影评分位于class_="rating_num"的span中;

  1. 电影资料位于class_="bd"的div中;

参见下图:

下面通过编写python代码,爬取最受欢迎250部电影的名字,评分和电影资料,并导出到movies.txt文件中, 下面简要说下编码实现过程:

1.导入2个第三方库:requests用于发送请求,bs4用于将复杂的网页代码结构解析成可读性强的书籍目录索引结构;

2.headers必不可少,很多网页都有反爬机制,使用headers能在一定程度绕开反爬机制,

3.按照上面分析出,提取出电影名,评分和电影资料,并存储到各自的集合中;

4.找出总面数,在for循环中逐页提取;

5.最后把所有页码中提取出来的信息输出到movies.txt文件中。

python 复制代码
import bs4
import requests


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}



def get_response(url):
   response = requests.get(url, headers=headers)
   return response

def find_movies(response):
    soup = bs4.BeautifulSoup(response.text, 'html.parser')
    #电影名
    movies = []
    targets = soup.find_all("div", class_="hd")
    for target in targets:
        movies.append(target.a.span.text)
     #电影评分
    ranks = []
    targets = soup.find_all("span", class_="rating_num")
    for target in targets:
        ranks.append('评分:%s'% target.text)

    #电影资料
    messages = []
    targets = soup.find_all("div", class_="bd")
    for target in targets:
        try:
            messages.append(target.p.text.split('\n')[1].strip()+target.p.text.split('\n')[2].strip())
        except:
            continue

    result = []
    length = len(movies)
    for i in range(length):
        result.append((movies[i]+ranks[i]+messages[i]+'\n'))
    return result

# 找出一共有多少页
def find_pages(response):
    soup = bs4.BeautifulSoup(response.text, 'html.parser')
    # 找到总页数
    total_pages = soup.find("span", class_="next").previous_sibling.previous_sibling.text
    return int(total_pages)

# 爬取所有电影
def crawl_movies():
    url = 'https://movie.douban.com/top250'
    res = get_response(url)
    total_pages = find_pages(res)
    movies = []
    for i in range(total_pages):
        page_url = url + '?start=' + str(i*25)
        page_res = get_response(page_url)
        movies.extend(find_movies(page_res))
    with open('movies.txt', 'w', encoding='utf-8') as f:
        for movie in movies:
            f.write(movie)

if __name__ == '__main__':
    crawl_movies()

温馨提示:爬虫一定要遵守网站的robot协议,友好爬取,别把对方的网站爬崩了。

相关推荐
im_AMBER3 小时前
学习日志19 python
python·学习
mortimer6 小时前
安装NVIDIA Parakeet时,我遇到的两个Pip“小插曲”
python·github
@昵称不存在6 小时前
Flask input 和datalist结合
后端·python·flask
赵英英俊7 小时前
Python day25
python
东林牧之7 小时前
Django+celery异步:拿来即用,可移植性高
后端·python·django
何双新7 小时前
基于Tornado的WebSocket实时聊天系统:从零到一构建与解析
python·websocket·tornado
AntBlack8 小时前
从小不学好 ,影刀 + ddddocr 实现图片验证码认证自动化
后端·python·计算机视觉
凪卄12138 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
巫婆理发2228 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
seasonsyy8 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置