注:此方法用到了当当网站进行学习,不将数据用于其他用途,仅用于学习
**使用工具:**python中的re、json、requests
准备工作:
url变化规律:
表示第一页:
http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1
表示第二页的url:
我们可以得出http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1- +num 其中num表示具体的页数
re正则表达式需要筛选的信息特征
确定筛选信息的主体部分
<li>
<div class="list_num red">1.</div>
<div class="pic"><a href="http://product.dangdang.com/27911444.html" target="_blank"><img src="http://img3m4.ddimg.cn/77/13/27911444-1_l_11.jpg" alt="高尔基成长三部曲(童年、在人间、我的大学)" title="高尔基成长三部曲(童年、在人间、我的大学)"/></a></div>
<div class="name"><a href="http://product.dangdang.com/27911444.html" target="_blank" title="高尔基成长三部曲(童年、在人间、我的大学)">高尔基成长三部曲(童年、在人间、我的大学)</a></div>
<div class="star"><span class="level"><span style="width: 94.2%;"></span></span><a href="http://product.dangdang.com/27911444.html?point=comment_point" target="_blank">151799条评论</a><span class="tuijian">100%推荐</span></div>
<div class="publisher_info">[苏]<a href="http://search.dangdang.com/?key=高尔基" title="[苏]高尔基 著,桑卓 译,酷威文化 出品" target="_blank">高尔基</a> 著,<a href="http://search.dangdang.com/?key=桑卓" title="[苏]高尔基 著,桑卓 译,酷威文化 出品" target="_blank">桑卓</a> 译,<a href="http://search.dangdang.com/?key=酷威文化" title="[苏]高尔基 著,桑卓 译,酷威文化 出品" target="_blank">酷威文化</a> 出品</div>
<div class="publisher_info"><span>2019-08-01</span> <a href="http://search.dangdang.com/?key=四川文艺出版社" target="_blank">四川文艺出版社</a></div>
<div class="biaosheng">五星评分:<span>109028次</span></div>
<div class="price">
<p><span class="price_n">¥54.00</span>
<span class="price_r">¥108.00</span>(<span class="price_s">5.0折</span>)
</p>
<p class="price_e">电子书:<span class="price_n">¥9.99</span></p>
<div class="buy_button">
<a ddname="加入购物车" name="" href="javascript:AddToShoppingCart('27911444');" class="listbtn_buy">加入购物车</a>
<a name="" href="http://product.dangdang.com/1901178320.html" class="listbtn_buydz" target="_blank">购买电子书</a>
<a ddname="加入收藏" id="addto_favorlist_27911444" name="" href="javascript:showMsgBox('addto_favorlist_27911444',encodeURIComponent('27911444&platform=3'), 'http://myhome.dangdang.com/addFavoritepop');" class="listbtn_collect">收藏</a>
</div>
</div>
</li>
查看hear部分,模拟浏览器:
其中,user-agent常用于模拟浏览器
代码:request:
def request_dandan(url):
try:
res=requests.get(url)
if res.status_code == 200:
return res.text
except requests.RequestException:
return None
代码:re部分:
def re_dandan(html):
pattern=re.compile('<li>.*?list_num.*?(\d+).</div>.*?<img src="(.*?)".*?class="name".*?title="(.*?)">.*?class="star">.*?class="tuijian">(.*?)</span>.*?class="publisher_info">.*?target="_blank">(.*?)</a>.*?class="biaosheng">.*?<span>(.*?)</span></div>.*?<p><span\sclass="price_n">¥(.*?)</span>.*?</li>',re.S)
items=re.findall(pattern,html)
for item in items:
yield{
'range': item[0],
'iamge':item[1],
'title':item[2],
'recommend':item[3],
'author':item[4],
'time':item[5],
'price':item[6]
}
代码:存储信息部分:
def write_item_to_file(item):
with open('book.txt','a',encoding='UTF-8') as f:
f.write(json.dumps(item, ensure_ascii=False)+'\n')
f.close()
将这些代码拼装:
import json
import re
import requests
#requests部分
def request_dandan(url):
try:
res=requests.get(url)
if res.status_code == 200:
return res.text
except requests.RequestException:
return None
def re_dandan(html):
pattern=re.compile('<li>.*?list_num.*?(\d+).</div>.*?<img src="(.*?)".*?class="name".*?title="(.*?)">.*?class="star">.*?class="tuijian">(.*?)</span>.*?class="publisher_info">.*?target="_blank">(.*?)</a>.*?class="biaosheng">.*?<span>(.*?)</span></div>.*?<p><span\sclass="price_n">¥(.*?)</span>.*?</li>',re.S)
items=re.findall(pattern,html)
for item in items:
yield{
'range': item[0],
'iamge':item[1],
'title':item[2],
'recommend':item[3],
'author':item[4],
'time':item[5],
'price':item[6]
}
def write_item_to_file(item):
with open('book.txt','a',encoding='UTF-8') as f:
f.write(json.dumps(item, ensure_ascii=False)+'\n')
f.close()
def main(i):
url="http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-"+str(i)
html=request_dandan(url)
items=re_dandan(html)
for item in items:
write_item_to_file(item)
if __name__ == "__main__":
for i in range(1,26):
main(i)
最后,
正则表达式部分可能会出问题,正则表达式中pattern里的一个()表示一个被选择的部分,且在书写时我们常能看到.*? ,其中?表示非贪婪模式,本质上就是匹配的数据适可而止的意思。