继续创作,加快生长!这是我参加「掘金日新计划 4 月更文挑战」的第5天,点击查看活动详情

数据收集

咱们上一篇介绍了,怎么收集王者最低战力,本文就来给大家介绍怎么收集王者皮肤,买不起皮肤,当个桌面壁纸挺好的。下面,我和大家介绍怎么获取数据。

确定网址

咱们在对王者英豪的主页,进行了分析,咱们发现,其网页地址相似,就差一个数字。

https://pvp.qq.com/web201605/herodetail/{ename}.shtml

咱们能够把它当作为每个英豪的编号,咱们能够从英豪列表获取编号,不过,这儿咱们直接恳求第三方接口数据。

获取英豪编号

html_url ='https://www.sapi.run/hero/getHeroList.php'
datas = requests.get(html_url).json()['data']
for data in datas:
    ename = data['ename']
    cname = data['cname']
    print(ename,cname)

这段代码中,html_url是一个 URL,指向一个 SAPI 的 Hero 列表页面。requests.get(html_url).json()['data']返回一个 JSON 目标,其间包括了 Hero 列表页面的数据。enamecname是 JSON 目标中的两个键值对,别离表明 Hero 的编号姓名

在这段代码中,咱们运用了一个for循环来遍历 JSON 目标中的每一个键值对,并打印出它们的值。这样就能够得到 Hero 列表页面中所有 Hero 的编号姓名

【Python实战】Python采集王者皮肤图片

获取皮肤称号

咱们拿到每一个英豪的编号之后,咱们就能够访问每一个英豪的主页,咱们在其主页能够看到他们的英豪称号和他们的英豪皮肤的地址。咱们先获取英豪皮肤的称号。

herodetail_url = f'https://pvp.qq.com/web201605/herodetail/{ename}.shtml'
print(herodetail_url)
res = requests.get(herodetail_url,headers=headers)
res.encoding = 'gbk'
# print(res.text)
pfs = re.findall('data-imgname="(.*?)"',res.text)[0]
pfs=pfs.split('|')
print(pfs)

这段代码中,herodetail_url是一个 URL,指向一个 Hero 具体页面。requests.get(herodetail_url,headers=headers)返回一个 JSON 目标,其间包括了 Hero 具体页面的数据。res.encoding = 'gbk'设置了 JSON 目标的编码方式为 GBK。re.findall('data-imgname="(.*?)"',res.text)[0]运用正则表达式匹配 Hero 具体页面中的英豪称号,并返回第一个匹配项。pfs是匹配项的值,它是一个包括英豪称号的列表。

【Python实战】Python采集王者皮肤图片

接下来,咱们对字段进行处理。

for pf in pfs:
    pf = pf.split('&')[0]
    # print(pf)
    pf_list.append(pf)
print(len(pf_list))
print(pf_list)

咱们得到了这样的数据。['正义爆轰', '地狱岩魂', '无尽征程', '寅虎御盾'],到了这儿,咱们皮肤姓名就获取下来了。

获取皮肤

pages = len(pfs)
for page in range(1,pages+1):
    pf_url = f'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{ename}/{ename}-bigskin-{page}.jpg'
    pf_url_list.append(pf_url)

这段代码中,咱们首要计算出 Hero 具体页面中图片的数量,然后运用range函数生成从 1 到pages的整数序列。接下来,咱们运用一个循环来遍历这个序列,并将每个图片的 URL 添加到pf_url_list列表中。

最后,咱们将pf_url_list列表中的所有 URL 连接起来,并将它们作为参数传递给requests.get()函数,以获取 Hero 具体页面的数据。

到这儿,咱们把所有皮肤的地址获取了下来。

保存数据

for name,url in zip(pf_list,pf_url_list):
    path = f'.//皮肤//{cname}//'
    # print(path)
    if not os.path.exists(path):
        os.mkdir(path)
    # print(cname,name,url)
    pf_save = requests.get(url,headers=headers)
    print(f"path + '{name}.jpg'")
    with open(path + f'{name}.jpg', 'wb') as f:
        f.write(pf_save.content)

这段代码中,咱们首要将pf_listpf_url_list两个列表进行了zip操作,并将成果存储在pf_listpf_url_list两个变量中。然后,咱们运用os.path.exists()函数来查看path目录是否存在,如果不存在,则运用os.mkdir()函数创立该目录。接下来,咱们运用requests.get()函数来获取pf_url_list列表中的每个 URL,并将它们作为参数传递给requests.get()函数,以获取pf_list列表中的每个 URL。

最后,咱们运用with open()句子翻开path + '{name}.jpg'文件,并将pf_save.content写入该文件中。这样就能够将pf_listpf_url_list中的每个 URL 保存到path + '{name}.jpg'文件中。

总结

这是一篇关于怎么收集王者皮肤的文章,介绍了怎么从英豪列表获取编号,并运用正则表达式从网页地址中提取英豪编号和姓名。此外,还介绍了怎么运用 requests.get() 函数从网页中获取数据,以及怎么将数据保存到文件中。