• 爬虫的分类
    • 通用
    • 聚焦
    • 增量式:监测网站数据更新的情况。
  • 反爬和反反爬
  • requests模块的作用
    • 模拟浏览器发起请求
  • 参数动态化
    • 字典,键值就是请求携带的请求参数,需要作用到data/params
  • 请求头伪装
    • User-Agent
    • UA监测
  • 动态加载数据
    • ajax,js

数据解析

  • re
  • bs4
  • xpath
  • pyquery(作业)
  • 什么是数据解析,数据解析可以干什么?
    • 概念:就是将一组数据中的局部数据进行提取。
    • 作用:使用来实现聚焦爬虫
  • 数据解析的通用原理
    • 问题:html展示的数据可以存储在哪里?
      • 标签之中
      • 属性中
    • 1.标签定位
    • 2.取文本或者取属性

正则实现的数据解析

  • 需求:http://duanziwang.com/category/%E6%90%9E%E7%AC%91%E5%9B%BE/,将该网站中的图片数据进行爬取
  • 如何对图片(二进制)数据进行爬取
#方法1:
import requests
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}
url = 'http://duanziwang.com/usr/uploads/2019/02/3334500855.jpg'
pic_data = requests.get(url=url,headers=headers).content #content返回的是二进制类型的响应数据
with open('1.jpg','wb') as fp:
    fp.write(pic_data)
#方法2:urllib就是一个低版本的requests
import urllib
url = 'http://duanziwang.com/usr/uploads/2019/02/3334500855.jpg'
urllib.request.urlretrieve(url=url,filename='./2.jpg')
('./2.jpg', <http.client.HTTPMessage at 0x27aab4fde80>)
  • 两种图片爬取的方法的区别是什么?
    • 方法1可以进行UA伪装,方法2不行
  • 抓包工具中response中显示的页面源码和开发者工具的Element选项卡显示的页面源码的区别是什么?
    • Element:显示的页面源码内容是当前网页加载完毕后对应的所有数据(包含动态加载的数据)
    • response:显示的内容仅仅是当前一个请求请求到的数据(不包含动态加载的数据)
import re
import os
#需求的实现:爬取了一页的数据
url = 'http://duanziwang.com/category/%E6%90%9E%E7%AC%91%E5%9B%BE/'
page_text = requests.get(url,headers=headers).text #页面源码数据

#新建一个文件夹
dirName = 'imgLibs'
if not os.path.exists(dirName):
    os.mkdir(dirName)

#数据解析:每一张图片的地址
ex = '<article.*?<img src="(.*?)" alt=.*?</article>'
img_src_list = re.findall(ex,page_text,re.S) #爬虫中使用findall函数必须要使用re.S

for src in img_src_list:
    imgName = src.split('/')[-1]
    imgPath = dirName+'/'+imgName
    urllib.request.urlretrieve(url=src,filename=imgPath)
    print(imgName,'下载成功!!!')
3334500855.jpg 下载成功!!!
1865826151.jpg 下载成功!!!
2591221721.jpeg 下载成功!!!
249789596.png 下载成功!!!
392cbdb4e25246a094490178eb7497d5.gif 下载成功!!!
1226107801.jpg 下载成功!!!
551494587.jpg 下载成功!!!
193039624.jpg 下载成功!!!
3442464840.jpg 下载成功!!!
2628620129.jpg 下载成功!!!
#进行全站数据的爬取:爬取所有页码的图片数据
#需求的实现

#制定一个通用的url模板,不可以被改变
url = 'http://duanziwang.com/category/搞笑图/%d/'

for page in range(1,4):
    new_url = format(url%page)
    page_text = requests.get(new_url,headers=headers).text #页面源码数据

    #新建一个文件夹
    dirName = 'imgLibs'
    if not os.path.exists(dirName):
        os.mkdir(dirName)

    #数据解析:每一张图片的地址
    ex = '<article.*?<img src="(.*?)" alt=.*?</article>'
    img_src_list = re.findall(ex,page_text,re.S) #爬虫中使用findall函数必须要使用re.S

    for src in img_src_list:
        imgName = src.split('/')[-1]
        imgPath = dirName+'/'+imgName
        urllib.request.urlretrieve(url=src,filename=imgPath)
        print(imgName,'下载成功!!!')
3334500855.jpg 下载成功!!!
1865826151.jpg 下载成功!!!
2591221721.jpeg 下载成功!!!
249789596.png 下载成功!!!
392cbdb4e25246a094490178eb7497d5.gif 下载成功!!!
1226107801.jpg 下载成功!!!
551494587.jpg 下载成功!!!
193039624.jpg 下载成功!!!
3442464840.jpg 下载成功!!!
2628620129.jpg 下载成功!!!
3946112348.jpg 下载成功!!!
552047726.jpg 下载成功!!!
530566258.jpg 下载成功!!!
2289619858.jpg 下载成功!!!
2379003497.jpg 下载成功!!!
173347410.jpg 下载成功!!!
481603533.jpg 下载成功!!!
17357622.jpg 下载成功!!!
3006898081.jpg 下载成功!!!
1264039354.jpg 下载成功!!!
2432204382.jpg 下载成功!!!
714354679.png 下载成功!!!
104252620.jpg 下载成功!!!
4146389997.jpg 下载成功!!!
379474942.jpg 下载成功!!!
989626304.jpg 下载成功!!!
1932789084.jpg 下载成功!!!
1824090827.jpg 下载成功!!!
316034056.jpg 下载成功!!!
3381526753.jpg 下载成功!!!

bs4

  • 环境的安装:
    • pip install bs4
    • pip install lxml
  • 解析原理
    • 实例化一个BeautifulSoup的一个对象,把即将被解析的页面源码内容加载到该对象中
    • 调用BeautifulSoup对象中相关的方法和属性进行标签定位和本文数据的提取
  • BeautifulSoup对象的实例化的方式:
    • BeautifulSoup(fp,'lxml'):将本地的文件内容加载到该对象中进行数据解析
    • BeautifulSoup(page_text,'lxml'):将互联网上请求到的数据加载到该对象中进行数据解析

bs4相关解析操作

  • 标签定位:返回值一定是定位到的标签
    • soup.tagName:定位到第一个出现的tagName标签.返回的是单数
    • 属性定位:soup.find('tagName',attrName='value'),返回的是单数
    • find_all('tagName',attrName='value')返回的是复数(列表)
    • 选择器定位:select('选择器'),返回的也是一个列表
      • 层级选择器:
        • 大于号:表示一个层级
        • 空格:标识多个层级
  • 取文本
    • string:只可以将标签中直系的文本取出
    • text:可以将标签中所有的内容取出
  • 取属性
    • tag['attrName']
from bs4 import BeautifulSoup
fp = open('./test.html','r',encoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
soup.p
soup.find('div',class_='tang')
soup.find('a',id='feng')
soup.find_all('div',class_='tang')
soup.select('#feng')
soup.select('.tang > ul > li')
soup.select('.tang li')
tag = soup.title
tag.text
li_list = soup.select('.tang > ul > li')
li_list[6].text
div_tag = soup.find('div',class_='tang')
div_tag.text
a_tag = soup.select('#feng')[0]
a_tag['href']
'http://www.haha.com'
  • 需求:http://www.shicimingju.com/book/sanguoyanyi.html 进行全篇小说内容的爬取
  • 分析:
    • 首页:解析出章节的名称+详情页的url
    • 详情页:解析章节的内容
#爬取到首页的页面数据
main_url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
page_text = requests.get(main_url,headers=headers).text

fp = open('./sanguo.txt','a',encoding='utf-8')

#解析章节名称+详情页的url
soup = BeautifulSoup(page_text,'lxml')
a_list = soup.select('.book-mulu > ul > li > a')
for a in a_list:
    title = a.string#章节标题
    detail_url = 'http://www.shicimingju.com'+a['href']

    #爬取详情页的页面源码内容
    detail_page_text = requests.get(url=detail_url,headers=headers).text
    #解析章节内容
    detail_soup = BeautifulSoup(detail_page_text,'lxml')
    div_tag = detail_soup.find('div',class_="chapter_content")
    content = div_tag.text #章节内容
    fp.write(title+':'+content+'\n')
    print(title,'下载成功!!!')
fp.close()
第一回·宴桃园豪杰三结义  斩黄巾英雄首立功 下载成功!!!
第二回·张翼德怒鞭督邮    何国舅谋诛宦竖 下载成功!!!
第三回·议温明董卓叱丁原  馈金珠李肃说吕布 下载成功!!!
第四回·废汉帝陈留践位    谋董贼孟德献刀 下载成功!!!
第五回·发矫诏诸镇应曹公  破关兵三英战吕布 下载成功!!!
第六回·焚金阙董卓行凶    匿玉玺孙坚背约 下载成功!!!
第七回·袁绍磐河战公孙    孙坚跨江击刘表 下载成功!!!
第八回·王司徒巧使连环计  董太师大闹凤仪亭 下载成功!!!
第九回·除暴凶吕布助司徒  犯长安李傕听贾诩 下载成功!!!
第一十回·勤王室马腾举义    报父仇曹操兴师 下载成功!!!
第十一回·刘皇叔北海救孔融  吕温侯濮阳破曹操 下载成功!!!
第十二回·陶恭祖三让徐州    曹孟德大战吕布 下载成功!!!
第十三回·李傕郭汜大交兵  杨奉董承双救驾 下载成功!!!
第十四回·曹孟德移驾幸许都  吕奉先乘夜袭徐郡 下载成功!!!
第十五回·太史慈酣斗小霸王  孙伯符大战严白虎 下载成功!!!
第十六回·吕奉先射戟辕门    曹孟德败师淯水 下载成功!!!
第十七回·袁公路大起七军    曹孟德会合三将 下载成功!!!
第十八回·贾文和料敌决胜    夏侯惇拔矢啖睛 下载成功!!!
第十九回·下邳城曹操鏖兵    白门楼吕布殒命 下载成功!!!
第二十回·曹阿瞒许田打围    董国舅内阁受诏 下载成功!!!
第二十一回·曹操煮酒论英雄  关公赚城斩车胄 下载成功!!!
第二十二回·袁曹各起马步三军  关张共擒王刘二将 下载成功!!!
第二十三回·祢正平裸衣骂贼    吉太医下毒遭刑 下载成功!!!
第二十四回·国贼行凶杀贵妃    皇叔败走投袁绍 下载成功!!!
第二十五回·屯土山关公约三事  救白马曹操解重围 下载成功!!!
第二十六回·袁本初败兵折将    关云长挂印封金 下载成功!!!
第二十七回·美髯公千里走单骑  汉寿侯五关斩六将 下载成功!!!
第二十八回·斩蔡阳兄弟释疑    会古城主臣聚义 下载成功!!!
第二十九回·小霸王怒斩于吉    碧眼儿坐领江东 下载成功!!!
第三十回·战官渡本初败绩  劫乌巢孟德烧粮 下载成功!!!
第三十一回·曹操仓亭破本初    玄德荆州依刘表 下载成功!!!
第三十二回·夺冀州袁尚争锋    决漳河许攸献计 下载成功!!!
第三十三回·曹丕乘乱纳甄氏    郭嘉遗计定辽东 下载成功!!!
第三十四回·蔡夫人隔屏听密语  刘皇叔跃马过檀溪 下载成功!!!
第三十五回·玄德南漳逢隐沧    单福新野遇英主 下载成功!!!
第三十六回·玄德用计袭樊城    元直走马荐诸葛 下载成功!!!
第三十七回·司马徽再荐名士    刘玄德三顾草庐 下载成功!!!
第三十八回·定三分隆中决策    战长江孙氏报仇 下载成功!!!
第三十九回·荆州城公子三求计  博望坡军师初用兵 下载成功!!!
第四十回·蔡夫人议献荆州    诸葛亮火烧新野 下载成功!!!
第四十一回·刘玄德携民渡江    赵子龙单骑救主 下载成功!!!
第四十二回·张翼德大闹长坂桥  刘豫州败走汉津口 下载成功!!!
第四十三回·诸葛亮舌战群儒    鲁子敬力排众议 下载成功!!!
第四十四回·孔明用智激周瑜    孙权决计破曹操 下载成功!!!
第四十五回·三江口曹操折兵    群英会蒋干中计 下载成功!!!
第四十六回·用奇谋孔明借箭    献密计黄盖受刑 下载成功!!!
第四十七回·阚泽密献诈降书    庞统巧授连环计 下载成功!!!
第四十八回·宴长江曹操赋诗    锁战船北军用武 下载成功!!!
第四十九回·七星坛诸葛祭风    三江口周瑜纵火 下载成功!!!
第五十回·诸葛亮智算华容    关云长义释曹操 下载成功!!!
第五十一回·曹仁大战东吴兵    孔明一气周公瑾 下载成功!!!
第五十二回·诸葛亮智辞鲁肃    赵子龙计取桂阳 下载成功!!!
第五十三回·关云长义释黄汉升  孙仲谋大战张文远 下载成功!!!
第五十四回·吴国太佛寺看新郎  刘皇叔洞房续佳偶 下载成功!!!
第五十五回·玄德智激孙夫人    孔明二气周公瑾 下载成功!!!
第五十六回·曹操大宴铜雀台    孔明三气周公瑾 下载成功!!!
第五十七回·柴桑口卧龙吊丧    耒阳县凤雏理事 下载成功!!!
第五十八回·马孟起兴兵雪恨    曹阿瞒割须弃袍 下载成功!!!
第五十九回·许诸裸衣斗马超    曹操抹书问韩遂 下载成功!!!
第六十回·张永年反难杨修    庞士元议取西蜀 下载成功!!!
第六十一回·赵云截江夺阿斗    孙权遗书退老瞒 下载成功!!!
第六十二回·取涪关杨高授首    攻雒城黄魏争功 下载成功!!!
第六十三回·诸葛亮痛哭庞统    张翼德义释严颜 下载成功!!!
第六十四回·孔明定计捉张任    杨阜借兵破马超 下载成功!!!
第六十五回·马超大战葭萌关    刘备自领益州牧 下载成功!!!
第六十六回·关云长单刀赴会    伏皇后为国捐生 下载成功!!!
第六十七回·曹操平定汉中地    张辽威震逍遥津 下载成功!!!
第六十八回·甘宁百骑劫魏营    左慈掷杯戏曹操 下载成功!!!
第六十九回·卜周易管辂知机    讨汉贼五臣死节 下载成功!!!
第七十回·猛张飞智取瓦口隘  老黄忠计夺天荡山 下载成功!!!
第七十一回·占对山黄忠逸待劳  据汉水赵云寡胜众 下载成功!!!
第七十二回·诸葛亮智取汉中    曹阿瞒兵退斜谷 下载成功!!!
第七十三回·玄德进位汉中王    云长攻拔襄阳郡 下载成功!!!
第七十四回·庞令明抬榇决死战  关云长放水淹七军 下载成功!!!
第七十五回·关云长刮骨疗毒    吕子明白衣渡江 下载成功!!!
第七十六回·徐公明大战沔水    关云长败走麦城 下载成功!!!
第七十七回·玉泉山关公显圣    洛阳城曹操感神 下载成功!!!
第七十八回·治风疾神医身死    传遗命奸雄数终 下载成功!!!
第七十九回·兄逼弟曹植赋诗    侄陷叔刘封伏法 下载成功!!!
第八十回·曹丕废帝篡炎刘    汉王正位续大统 下载成功!!!
第八十一回·急兄仇张飞遇害    雪弟恨先主兴兵 下载成功!!!
第八十二回·孙权降魏受九锡    先主征吴赏六军 下载成功!!!
第八十三回·战猇亭先主得仇人  守江口书生拜大将 下载成功!!!
第八十四回·陆逊营烧七百里    孔明巧布八阵图 下载成功!!!
第八十五回·刘先主遗诏托孤儿  诸葛亮安居平五路 下载成功!!!
第八十六回·难张温秦宓逞天辩  破曹丕徐盛用火攻 下载成功!!!
第八十七回·征南寇丞相大兴师  抗天兵蛮王初受执 下载成功!!!
第八十八回·渡泸水再缚番王    识诈降三擒孟获 下载成功!!!
第八十九回·武乡侯四番用计    南蛮王五次遭擒 下载成功!!!
第九十回·驱巨善六破蛮兵    烧藤甲七擒孟获 下载成功!!!
第九十一回·祭泸水汉相班师    伐中原武侯上表 下载成功!!!
第九十二回·赵子龙力斩五将    诸葛亮智取三城 下载成功!!!
第九十三回·姜伯约归降孔明    武乡侯骂死王朝 下载成功!!!
第九十四回·诸葛亮乘雪破羌兵  司马懿克日擒孟达 下载成功!!!
第九十五回·马谡拒谏失街亭    武侯弹琴退仲达 下载成功!!!
第九十六回·孔明挥泪斩马谡    周鲂断发赚曹休 下载成功!!!
第九十七回·讨魏国武侯再上表  破曹兵姜维诈献书 下载成功!!!
第九十八回·追汉军王双受诛    袭陈仓武侯取胜 下载成功!!!
第九十九回·诸葛亮大破魏兵    司马懿入寇西蜀 下载成功!!!
第一百回·汉兵劫寨破曹真    武侯斗阵辱仲达 下载成功!!!
第一百十一回·出陇上诸葛妆神    奔剑阁张郃中计 下载成功!!!
第一百十二回·司马懿占北原渭桥  诸葛亮造木牛流马 下载成功!!!
第一百十三回·上方谷司马受困    五丈原诸葛禳星 下载成功!!!
第一百十四回·陨大星汉丞相归天  见木像魏都督丧胆 下载成功!!!
第一百十五回·武侯预伏锦囊计    魏主拆取承露盘 下载成功!!!
第一百十六回·公孙渊兵败死襄平  司马懿诈病赚曹爽 下载成功!!!
第一百十七回·魏主政归司马氏    姜维兵败牛头山 下载成功!!!
第一百十八回·丁奉雪中奋短兵    孙峻席间施密计 下载成功!!!
第一百十九回·困司马汉将奇谋    废曹芳魏家果报 下载成功!!!
第一百一十回·文鸯单骑退雄兵    姜维背水破大敌 下载成功!!!
第一百一十一回·邓士载智败姜伯约  诸葛诞义讨司马昭 下载成功!!!
第一百一十二回·救寿春于诠死节    取长城伯约鏖兵 下载成功!!!
第一百一十三回·丁奉定计斩孙綝    姜维斗阵破邓艾 下载成功!!!
第一百一十四回·曹髦驱车死南阙    姜维弃粮胜魏兵 下载成功!!!
第一百一十五回·诏班师后主信谗    托屯田姜维避祸 下载成功!!!
第一百一十六回·钟会分兵汉中道    武侯显圣定军山 下载成功!!!
第一百一十七回·邓士载偷度阴平    诸葛瞻战死绵竹 下载成功!!!
第一百一十八回·哭祖庙一王死孝    入西川二士争功 下载成功!!!
第一百一十九回·假投降巧计成虚话  再受禅依样画葫芦 下载成功!!!
第一百二十回·荐杜预老将献新谋  降孙皓三分归一统 下载成功!!!

xpath解析

  • 环境的安装:
    • pip install lxml
  • 解析原理(流程)
    • 实例化一个etree的对象,将解析的数据加载到该对象中
    • 需要调用etree对象中的xpath方法结合着不同的xpath表达式进行标签定位和文本数据的提取
  • etree对象的实例化
    • etree.parse('filePath'):将本都数据加载到etree中
    • etree.HTML(page_text):将互联网上的数据加载到该对象中
  • html中所有的标签都是遵从了树状的结构,便于我们实现高效的节点的遍历或者查找(定位)
  • xpath方法的返回值一定是复数(列表)
  • 标签定位
    • 最左侧的/:xpath表达式式一定要从根标签开始进行定位
    • 非最左侧的/:表示一个层级
    • 最左侧的//:从任意位置进行标签定位(常用)
    • 非最左侧//:表示多个层级
    • //tagName:定位到所有的tagName标签
    • 属性定位://tagName[@attrName="value"]
    • 索引定位://tagName[index],index索引是从1开始
    • 模糊匹配:
      • //div[contains(@class, "ng")]
      • //div[starts-with(@class, "ta")]
  • 取文本
    • /text():取直系的文本内容。列表只有一个元素
    • //text():所有的文本内容。列表会有多个列表元素
  • 取属性
    • /@attrName
from lxml import etree
tree = etree.parse('./test.html')
tree.xpath('/html/head/meta')
tree.xpath('/html//meta')
tree.xpath('//meta')
tree.xpath('//div')
tree.xpath('//div[@class="tang"]')
tree.xpath('//li[1]')
tree.xpath('//a[@id="feng"]/text()')[0]
tree.xpath('//div[2]//text()')
tree.xpath('//a[@id="feng"]/@href')
['http://www.haha.com']
  • 需求:爬取解析虎牙中直播的房间名称,热度,详情页的url
url = 'https://www.huya.com/g/lol'
page_text = requests.get(url=url,headers=headers).text
#数据解析
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="box-bd"]/ul/li')
for li in li_list:
    #实现局部解析:将局部标签下指定的内容进行解析
    #局部解析xpath表达式中的最左侧的./表示的就是xpath方法调用者对应的标签
    title = li.xpath('./a[2]/text()')[0]
    hot = li.xpath('./span/span[2]/i[2]/text()')[0]
    detail_url = li.xpath('./a[1]/@href')[0]
    print(title,hot,detail_url)
【100%胜率上钻】弹幕随机 611.0万 https://www.huya.com/kaerlol
单双排【连胜上大师】强势AD目前19-0 277.0万 https://www.huya.com/baozha
莎莉:睡了三个小时的战神开干了 219.6万 https://www.huya.com/836458
峡谷上2080分冲第一:新版野区是爷爷! 170.9万 https://www.huya.com/gushouyu
【重播】12月6日8:00 直播2019全明星赛 167.5万 https://www.huya.com/s
早上好 151.9万 https://www.huya.com/951231
峡谷之巅单排冲宗师 145.5万 https://www.huya.com/522222
国服第一相位诺克!韩服钻石! 142.0万 https://www.huya.com/luguanfei
白金奇才!白金分段我说了算! 115.2万 https://www.huya.com/lolduji
靓仔进 6.4万 https://www.huya.com/19085073
RNG小龙堡 VS GRF野 94.4万 https://www.huya.com/wanmei
虎神:峡谷1300点恶霸突袭! 87.8万 https://www.huya.com/hujiangjun
黑色内战:声优萌新主播荧光棒上车! 9.1万 https://www.huya.com/16359603
国服第一吸血鬼 教你璀璨人机虐泉1V5 72.7万 https://www.huya.com/278933
惠州第一帅 国服第一打野 峡谷冲分 49.0万 https://www.huya.com/xinjinan
荼蘼:钻石随意杀 46.7万 https://www.huya.com/235604
新人主播请大家多多关注 38.1万 https://www.huya.com/891464
国服第二卡特峡谷跪地求饶 36.6万 https://www.huya.com/924898
SoloFeng 峡谷之巅宗师王者局 31.0万 https://www.huya.com/lolff
准备就绪1234 27.5万 https://www.huya.com/594877
新版本单排冲亡者 24.7万 https://www.huya.com/135069
剑圣 野区乱杀教学! 25.2万 https://www.huya.com/taogejiansheng
绿教授:一针见血提莫队长~! 23.2万 https://www.huya.com/xuanlv
峡谷王者局 冲 19.9万 https://www.huya.com/czj520wyy
S级英雄第一小丑 1500分冲韩服王者 16.8万 https://www.huya.com/10613818
黑玫一起玩有车位,峡谷养爹人 16.8万 https://www.huya.com/20105553
RNG小龙堡小虎来了,RNG大校OB 15.0万 https://www.huya.com/rngnb
江浙沪好声音。可上车(一起玩) 13.4万 https://www.huya.com/4120qianqian
早起的宝藏男孩!!!! 15.2万 https://www.huya.com/804066
内战凭本事免费上车~内战一起玩 9.3万 https://www.huya.com/971573
再熬死个午班喷子 14.7万 https://www.huya.com/20212880
瑞兹新符文征服者玩法 钻石局教学 14.3万 https://www.huya.com/lovevae
虎牙螳螂王-虎牙最帅主播 13.7万 https://www.huya.com/18556766
世界第一单下德莱文二级双杀1V2 13.7万 https://www.huya.com/hgc193112
安徽新主播,艾欧尼亚有车位一起玩~ 13.6万 https://www.huya.com/xuemoi
亚索:峡谷之巅大师局 13.0万 https://www.huya.com/489671
美少女卡特qaq 13.5万 https://www.huya.com/17208127
不是所有的车队都叫特能输 11.4万 https://www.huya.com/kiko0
黑色灵活上车吗 13.2万 https://www.huya.com/lanmei1995
英雄联盟S系列赛回顾 12.7万 https://www.huya.com/11947428
路人王最秀亚索? 12.5万 https://www.huya.com/12240931
TheShy来了~TheShy专属OB 12.6万 https://www.huya.com/18370631
王者螳螂,教你钻石局如何上分 11.7万 https://www.huya.com/17476107
9.23版本万场薇恩7天上钻教学 11.2万 https://www.huya.com/anmuxin
八万锐雯: 峡谷王者局,冲! 11.1万 https://www.huya.com/19403611
绍兴小改改等你黑色一起玩~ 10.2万 https://www.huya.com/18522513
南充新主播电一黑色玫瑰在线带汉 9.8万 https://www.huya.com/17745983
黑色玫瑰一起玩  有车位 9.7万 https://www.huya.com/18569986
浙江最帅的召唤师 10.0万 https://www.huya.com/xiaoji1119
千分海兽:峡谷钻1大师仔嘿嘿 9.7万 https://www.huya.com/19196800
湖南最莽蛮王!2级不杀请开喷!一起玩 9.2万 https://www.huya.com/suifeng66
黑色组排`一个努力与可爱并存的萌妹子~ 9.1万 https://www.huya.com/lolmo
黑色玫瑰小姐姐求大神关照 一起玩 8.8万 https://www.huya.com/11454161
NO.1-AKL 宇宙超人 8.5万 https://www.huya.com/499xiaoyu
峡谷大号单排AD冲前十 8.4万 https://www.huya.com/11473140
倒闭了倒闭了 8.3万 https://www.huya.com/16279034
会嘤嘤嘤的东北妹子 网二德玛西亚一起玩 8.3万 https://www.huya.com/leiguniang
等风: 国服第一佐伊 峡谷之巅的噩梦 8.2万 https://www.huya.com/178109
网一 8.1万 https://www.huya.com/10129728
【扭曲丛林】怕是喝了假9 7.7万 https://www.huya.com/20084221
元素女皇奇亚娜教学,血瓶帮打 7.6万 https://www.huya.com/19436862
两万场中单 只想补人不想补刀 7.5万 https://www.huya.com/10106868
无极盖伦  有我没塔 7.6万 https://www.huya.com/19782250
早上好 艾欧尼亚灵活一起玩~ 7.4万 https://www.huya.com/18893473
虎牙第一嗨皇子祖安大舞台上钻二送人 7.4万 https://www.huya.com/10828357
小鱼爱吃猫饼干 7.5万 https://www.huya.com/ningmengjuzi
第1901场扎克纪念赛    一起玩 7.2万 https://www.huya.com/11371077
新版青钢影打野 绝食皇帝强势归来 7.5万 https://www.huya.com/fykme
黑色玫瑰百分之百胜率,成都妹子 7.3万 https://www.huya.com/16216797
中单青钢影,ad去质器 7.2万 https://www.huya.com/19653213
今天匹配啊 7.2万 https://www.huya.com/20103870
卡牌子免费帮玩,黑色玫瑰一起玩 7.0万 https://www.huya.com/16107354
一区灵活 6.6万 https://www.huya.com/377824142xuan
四川小姐姐黑色玫瑰 6.8万 https://www.huya.com/19465759
电一快乐五黑 ~ 6.8万 https://www.huya.com/10380312
爱上劫的第一天 6.6万 https://www.huya.com/19516368
相位暴击男枪创始人带你们走向新版本 6.6万 https://www.huya.com/18175213
早上好 剑魔 日常君威 6.5万 https://www.huya.com/19254486
重庆 皮城警备 回星秀啦14点进游戏哦 6.5万 https://www.huya.com/zhoumiao
虎牙第一亚索-进来讲解操作一起玩 6.5万 https://www.huya.com/fengshenniubi
祖安钻石AD 缺辅助,在线等发车 6.5万 https://www.huya.com/11740051
地表最快的刀! 6.6万 https://www.huya.com/16404647
亡者吸血鬼上钻教学 6.5万 https://www.huya.com/lolmumubuku
欢迎来到虎牙丶阿拓的直播间 6.5万 https://www.huya.com/19735256
强攻硬汉蒙多:上单霸主归来! 6.4万 https://www.huya.com/20004257
帮玩马上安排,高能打一天。无需排队。 6.4万 https://www.huya.com/19016891
今晚不开车。专心练英雄。 6.4万 https://www.huya.com/19086026
新主播欢乐开车 6.3万 https://www.huya.com/20101760
德玛西亚妹子求补榜~ 6.2万 https://www.huya.com/17810005
德玛西亚:喵喵i新主播随时上车 6.2万 https://www.huya.com/20265239
d10 黑色玫瑰一起玩~下饭 6.3万 https://www.huya.com/11416978
阿卡丽 单排冲大师 6.1万 https://www.huya.com/17029489
峡谷上单王者武器 新版本出装教学 6.0万 https://www.huya.com/18874872
3500场亚索 接胜率 6.0万 https://www.huya.com/10605168
卡特最细教学 钻石局乱杀 6.0万 https://www.huya.com/shengyi
点订阅卡牌子帮上一段位,目前网1铂金 6.0万 https://www.huya.com/15496472
【重播】恭喜SKT、GRF、DWG进入世界赛 LCK冠军联赛 6.0万 https://www.huya.com/lck
认真上分,不乱搞 5.8万 https://www.huya.com/wzjlol520
冷漠锐雯 冲鸭!峡谷之巅 6.0万 https://www.huya.com/10408422
战争学院的法拉利,日常操作锦集 开车 5.9万 https://www.huya.com/10529661
王者ad帮打可上车目前德玛西亚 6.0万 https://www.huya.com/14036464
江西 黑色玫瑰小姐姐 一起玩呀! 5.9万 https://www.huya.com/18587469
守望之海女亚索,不是你疯就我疯系列 5.8万 https://www.huya.com/10643163
四川人 一个血瓶上车车 5.8万 https://www.huya.com/11206780
人皮声甜电一呀一起玩 5.9万 https://www.huya.com/17069730
起风王者亚索:第一天免费上分嘛! 5.8万 https://www.huya.com/yeyulangsuo
黑色玫瑰白银黄金组排,MVP免车位费哦! 5.9万 https://www.huya.com/10633069
帮水友渡劫  求求你们办个牌子吧 5.7万 https://www.huya.com/20024596
峡谷可爱小姐姐性感AD在线冲冲冲 5.9万 https://www.huya.com/14733476
网一有车位比尔特温柔小姐姐 5.9万 https://www.huya.com/18636801
网三弗雷尔卓德上车 5.5万 https://www.huya.com/20413209
峡谷之巅千分小法  白金教学局 5.7万 https://www.huya.com/16637146
黑色玫瑰 新号定位 帮锤号 5.7万 https://www.huya.com/18094887
黑色玫瑰:有~车~位 5.9万 https://www.huya.com/13690267
黑色玫瑰 让人上头的小姐姐 一起玩 5.8万 https://www.huya.com/770de770
打号 锤号火影劫 冲峡谷之巅 5.8万 https://www.huya.com/19012110
黑色玫瑰灵活铂金(一起玩) 5.8万 https://www.huya.com/11799381
剑圣凯影,新版本,地图研究中! 5.7万 https://www.huya.com/18679172
99%胜率魔法书一天  盲僧 5.5万 https://www.huya.com/huyaqishang
黑色玫瑰 一条路走到黑 5.7万 https://www.huya.com/17842597
  • xpath图片数据爬取+乱码的处理
#url模板
url = 'http://pic.netbian.com/4kmeinv/index_%d.html'
for page in range(1,11):
    new_url = format(url%page) #只可以表示非第一页的页码连接
    if page == 1:
        new_url = 'http://pic.netbian.com/4kmeinv/'
    page_text = requests.get(new_url,headers=headers).text
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//*[@id="main"]/div[3]/ul/li')
    for li in li_list:
        img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
        img_name = img_name.encode('iso-8859-1').decode('gbk')
        img_src = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]
        print(img_name,img_src)
穿白色裙子的美女 看书 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191121/223811-1574347091a133.jpg
居家小清新白色小吊带美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190902/152344-1567409024af8c.jpg
白色睡裙美女 侧躺 书 烛光 4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191129/185356-1575024836972e.jpg
糖果 美女模特4k壁纸.jpg http://pic.netbian.com/uploads/allimg/180128/112234-1517109754fad1.jpg
糖果性感美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/180128/113416-15171104568e22.jpg
美女腿模Wendy 黑色包臀裙 黑丝美腿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191129/163544-1575016544d89d.jpg
白色婚纱裙子 白色丝袜美腿美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190518/174718-15581728388724.jpg
腿模Rubis 大波浪卷发美女 连衣包臀裙美腿屁股4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191004/221652-15701986121c83.jpg
制服美女 美腿 慕羽茜4K美女壁纸 3840x2160.jpg http://pic.netbian.com/uploads/allimg/170719/125208-1500439928de21.jpg
可爱短发美女Wendy 蓝色裙子 白色丝袜 高跟鞋 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191129/164240-157501696050e8.jpg
腿模Wendy 红色上衣 黑色包臀裙 黑色丝袜美腿4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191129/163403-1575016443cfa6.jpg
穿粉红色连衣裙美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/191127/184549-1574851549e2c9.jpg
穿粉红色连衣裙的外国美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191127/184444-1574851484c17a.jpg
美女白色婚纱裙子好身材5120x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/191120/000616-15741795762ed2.jpg
尤果网美女赵智妍4k壁纸.jpg http://pic.netbian.com/uploads/allimg/181004/202029-1538655629824c.jpg
腿模Wendy包臀裙黑丝袜美腿高跟鞋4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191115/203030-1573821030fe33.jpg
美女Wendy包臀裙黑色丝袜美腿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191115/202455-1573820695592c.jpg
腿模Wendy养眼美腿美女高跟鞋4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191115/190355-1573815835c034.jpg
美女腿模Wendy蓝色连衣裙4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191115/185821-15738155016a0c.jpg
文艺居家养眼美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191107/000722-1573056442c446.jpg
侧躺可爱运动装美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191107/173556-15731193567ee8.jpg
长发睡裙清纯美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191107/175615-1573120575b5dc.jpg
钢琴美女唯美4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191031/234052-15725364521597.jpg
腿模Rubis水手服美腿高跟鞋4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191025/231906-15720167463076.jpg
腿模ChiChi内衣丝袜美腿写真4k壁纸.jpg http://pic.netbian.com/uploads/allimg/191025/230433-157201587384ce.jpg
Beautyleg腿模Rubis长发大波浪美腿丝袜4k壁纸.jpg http://pic.netbian.com/uploads/allimg/191025/223421-15720140615b77.jpg
美女腿模Rubis包臀裙4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191025/222732-15720136523ad3.jpg
Wendy旗袍美女美腿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191015/102323-1571106203d4a3.jpg
居家 小清新 可爱清纯闭眼美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190824/220246-15666553660b75.jpg
白色小吊带养眼美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190902/152648-15674092083b3a.jpg
腿模Wendy水手服养眼美腿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191015/102926-15711065668b99.jpg
腿模Wendy黑色丝袜美腿4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/191015/102551-1571106351d1d4.jpg
腿模Wendy旗袍美腿4k壁纸.jpg http://pic.netbian.com/uploads/allimg/191015/102151-1571106111f8e6.jpg
Emma腿模 水手服 白色丝袜美腿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190925/201138-15694134981486.jpg
腿模Yun水手服美腿4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191004/221021-15701982212535.jpg
腿模Leonie美腿 白色衬衫 黑色短裙4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191004/220310-1570197790c404.jpg
腿模Leonie旗袍美女美腿4k壁纸.jpg http://pic.netbian.com/uploads/allimg/191004/215638-157019739829d2.jpg
腿模Leonie养眼美腿4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/191003/231404-15701156447f44.jpg
Emma 旗袍美女美腿黑色丝袜4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190925/195656-156941261691ba.jpg
黑色长发腿模Emma 紫色衬衫 白色短裙 美腿美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190925/202046-1569414046c729.jpg
腿模Emma 红色吊带裙养眼美腿美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190925/201558-15694137583dd1.jpg
美女腿模Emma旗袍黑丝美腿4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190925/195920-156941276066c6.jpg
晚上天台可爱养眼美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190924/234304-1569339784c120.jpg
居家看书的美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190916/103346-1568601226ab9e.jpg
居家 沙发 小清新长发美女 白色裙子 唯美美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190909/220736-15680380561419.jpg
居家文艺美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190902/152508-1567409108e501.jpg
剪刀手势 v字手势可爱美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190902/155140-1567410700781e.jpg
黑色内衣文胸美女王诗琪4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190815/211821-1565875101b3a6.jpg
白色衬衫长发清纯美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190608/124015-155996881530e3.jpg
张多多4K美女壁纸.jpg http://pic.netbian.com/uploads/allimg/180509/185400-1525863240f643.jpg
姜璐4k壁纸.jpg http://pic.netbian.com/uploads/allimg/180703/142018-15305988184e63.jpg
居家小清新清纯美女5120x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190817/185424-15660392643d69.jpg
趴在桌子上睡觉的美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190816/224451-15659666910596.jpg
白色睡衣养眼美女王诗琪4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190815/220513-1565877913891c.jpg
王诗琪4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190815/211600-156587496099e1.jpg
居家内衣美女模特晓晓4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190808/224411-15652754519901.jpg
海边清纯美女 帽子 白色裙子 4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190806/212303-1565097783608f.jpg
可爱美女坐在沙滩听音乐4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190806/211934-15650975742efc.jpg
克拉女神-芊芊《夕阳照红颜》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/225416-1561733656e175.jpg
克拉女神-周拉拉《暗香蕾丝》4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190721/223156-1563719516d718.jpg
居家白色睡衣小清新养眼美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190603/231522-155957492248f8.jpg
凌雪 性感空姐美女屁股4k壁纸.jpg http://pic.netbian.com/uploads/allimg/180531/191206-152776512602f3.jpg
刘奕宁Lynn 白色衣服 黑色短裙 长发清新美女4K壁纸.jpg http://pic.netbian.com/uploads/allimg/170705/232057-1499268057f947.jpg
沙发 白色内衣 性感长腿美女 刘奕宁lynn 4K壁纸.jpg http://pic.netbian.com/uploads/allimg/170704/232311-14991817912c74.jpg
比基尼性感美女于思琪4k壁纸.jpg http://pic.netbian.com/uploads/allimg/180830/111450-15355988903078.jpg
海滩比基尼长发美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190727/191307-156422598706bc.jpg
侧脸香肩唯美美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190619/162325-156093260560eb.jpg
克拉女神-蓓颖 风度娴雅 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190713/100152-15629833120209.jpg
美替3440x1440美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190802/215623-1564754183eb8b.jpg
美女美替4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190802/215415-1564754055166b.jpg
女神美替4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190802/215218-15647539384414.jpg
呼吸小木屋里阳光的味道 妮妮摄影4K壁纸.jpg http://pic.netbian.com/uploads/allimg/161021/222958-1477060198fcaa.jpg
平躺在床上的小清新美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190518/200137-1558180897328f.jpg
猫宝 粉色内衣 皮毛 性感身材美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190219/230412-15505886522555.jpg
海边比基尼性感身材美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190727/194136-156422769622fe.jpg
克拉女神芊芊 夕阳照红颜 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190630/190444-156189268476e1.jpg
克拉女神-苏可可《没有你的日子》3440x1440美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190721/222953-15637193935c3f.jpg
克拉女神-慕菲《含情凝睇》4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190713/100525-1562983525f1fd.jpg
克拉女神网-姜璐《学姐会撩人》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/224744-15617332646696.jpg
克拉女神-何悦《含蓄待发》黑丝美腿4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190713/100306-1562983386bef6.jpg
克拉女神-百琳 春意盎然 4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190713/100103-15629832639bea.jpg
克拉女神-周迪《笑开桃峰》4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190706/173807-1562405887f3bd.jpg
克拉女神-苏可可《没有你的日子》4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190706/172644-15624052040378.jpg
克拉女神-佳莹《含娇倚榻》4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190706/172405-15624050459e28.jpg
克拉女神-大阳《山颤水晃》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/225209-15617335290fdf.jpg
克拉女神-佳莹《含娇倚榻》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/230146-15617341060b6a.jpg
克拉女神-百琳《春意盎然》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/230337-15617342178e90.jpg
克拉女神-芊芊《银装小翘臀》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190630/190219-1561892539ed5c.jpg
克拉女神-舒彤《刹那芳华》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/231234-156173475431b7.jpg
克拉女神-珊珊《美丽心情》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/230741-1561734461d43d.jpg
克拉女神-雅楠《玉峰挺拔》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/230521-15617343215bdf.jpg
克拉女神-宋黛《抬腿撩红裙》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/230055-1561734055afa0.jpg
克拉女神-芸婓《夕阳正美》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/225900-1561733940ad90.jpg
克拉女神-蓓颖《风度娴雅》4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190628/225003-1561733403be45.jpg
镂空睡衣性感美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190625/104946-1561430986ef13.jpg
坐沙发长发清纯美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190619/161921-1560932361d54b.jpg
双手托腮的美女4k壁纸图片3840x2160.jpg http://pic.netbian.com/uploads/allimg/190608/130131-1559970091ea9b.jpg
居家长发白衬衫清纯美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190603/224003-15595728034e23.jpg
弹吉它小清新美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190608/122338-1559967818d12c.jpg
穿白色裙子美女和马5k壁纸.jpg http://pic.netbian.com/uploads/allimg/190607/214919-1559915359cfd6.jpg
森林树木可爱美女模特4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190607/214213-1559914933950f.jpg
美女长发 白色衬衫 甜美笑容美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190603/221719-155957143913de.jpg
孙梦瑶V 黑色内衣 浴缸性感身材美女模特4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190529/182504-1559125504def9.jpg
孙梦瑶V黑色套装4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190529/182231-15591253512962.jpg
小清新居家闭眼美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190504/232752-15569836726d3e.jpg
居家小清新可爱美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190518/232618-155819317891fd.jpg
白色裙子优雅美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190518/195929-155818076921d4.jpg
刘奕宁Lynn比基尼 性感内衣美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190228/183049-15513498495054.jpg
杨晨晨sugar 美女模特 床 红色睡衣 长发 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190504/225548-1556981748e705.jpg
杨晨晨 红色内衣性感身材美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190504/232447-1556983487819f.jpg
红色睡衣性感美女杨晨晨sugar带鱼屏壁纸3440x1440.jpg http://pic.netbian.com/uploads/allimg/190504/231624-1556982984aace.jpg
杨晨晨sugar 长发美女 红色吊带 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190504/230228-155698214831b4.jpg
Lynn刘奕宁 养眼身材美腿美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190207/202716-15495424363101.jpg
许诺Sabrina 可爱性感美女 牛仔短裤 美屁股美女 4K壁纸.jpg http://pic.netbian.com/uploads/allimg/170717/112628-15002619889a94.jpg
黑色连衣裙 黑色丝袜 性感美女屁股 许诺Sabrina 4K壁纸.jpg http://pic.netbian.com/uploads/allimg/170701/162625-1498897585d6a8.jpg
比基尼可爱美女可欣4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190422/193108-15559326684b52.jpg
可欣 玫瑰花 唯美美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190427/212755-1556371675c0a1.jpg
欣怡4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190427/210756-1556370476a05f.jpg
可欣 比基尼 长卷发 鲜花 玫瑰 4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190422/203920-1555936760b321.jpg
可欣4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190422/192806-155593248613dd.jpg
可欣 玫瑰花 美女写真4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190422/203637-155593659748d5.jpg
可欣 笑容可爱美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190422/202106-1555935666733d.jpg
可欣 购物篮 爱心盒 比基尼可爱美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190422/193431-155593287137e0.jpg
可欣 美女模特比基尼3440x1440带鱼屏壁纸.jpg http://pic.netbian.com/uploads/allimg/190422/193209-155593272930a8.jpg
养眼身材模特美女赵智妍4k电脑壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190416/231144-15554275042488.jpg
赵智妍 长发性感身材美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190416/230503-155542710330d9.jpg
养眼美女模特 赵智妍4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190416/230136-1555426896b86d.jpg
赵智妍3440x1440美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190416/225509-1555426509b66b.jpg
比基尼 好身材美女 刘奕宁Lynn 4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190416/223956-1555425596634d.jpg
日本美女有馬綾香4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190416/174957-1555408197414a.jpg
4K-STAR有马绫香 水手服 4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190416/174631-1555407991f52d.jpg
美女回眸 于思琪4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190410/212921-15549029610d52.jpg
于思琪 美女模特4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190410/211853-1554902333b215.jpg
小沫琳4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190410/210041-1554901241a7df.jpg
人像 唯美 裙子 鲜花 清新美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190403/221504-1554300904143f.jpg
校园小清新美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190402/194648-155420560820ec.jpg
人像 唯美 清新女孩4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190403/221658-1554301018ce36.jpg
克拉女神 晓晓4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190328/210949-155377858946d0.jpg
晓晓 长头发养眼美女4k高清壁纸.jpg http://pic.netbian.com/uploads/allimg/190328/213149-1553779909d06e.jpg
小西 沙发养眼美女模特4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190328/230918-15537857584ba3.jpg
小西 长卷发闭眼美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190328/230127-15537852870cf9.jpg
气质女神小西4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190328/225413-1553784853df21.jpg
小西白色婚纱美女摄影写真4K壁纸.jpg http://pic.netbian.com/uploads/allimg/171116/232841-1510846121add7.jpg
红色毛衣美女忆之4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190328/223136-1553783496a5e9.jpg
雪怡4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190328/215146-155378110659fe.jpg
昕予 圣诞装可爱美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190328/205840-15537779201c15.jpg
昕予 平安夜美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190328/205402-1553777642f6a9.jpg
杨晨晨sugar 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190325/223801-15535246814831.jpg
刘奕宁 长发迷人美女 可爱手势 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/180514/155349-1526284429d06e.jpg
文文4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/180426/210156-1524747716540e.jpg
夏天,长发美女,小清新裙子,野外,散步,草,马,5k美女人物图片.jpg http://pic.netbian.com/uploads/allimg/161007/113723-1475811443634c.jpg
新娘 玫瑰 露肩 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190323/221412-155335045204d8.jpg
白色婚纱裙子新娘5k壁纸5120x2880.jpg http://pic.netbian.com/uploads/allimg/190323/202600-15533439605b5a.jpg
白色婚纱裙子新娘 花边 姿势 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190323/202152-15533437122ff6.jpg
张辛苑 窗帘美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190319/194610-1552995970b447.jpg
性感美女模特刘嘉琦3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190319/223053-1553005853ab3d.jpg
女孩美女 脸 棕色头发 长发 白色裙子 马 4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190224/160649-1550995609fceb.jpg
尤果网美女模特张辛苑4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190319/195228-1552996348ad65.jpg
刘嘉琦4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190312/213704-1552397824ed15.jpg
刘嘉琦 性感身材可爱模特美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190312/222850-15524009306ba5.jpg
美女女孩 脸 棕色头发 长发 白色裙子 马  友谊 5k壁纸.jpg http://pic.netbian.com/uploads/allimg/190224/160510-15509955101b15.jpg
可爱性感刘嘉琦3440x1440美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190312/222452-15524006928c6a.jpg
刘嘉琦 白色内衣性感身材美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190312/214838-1552398518eb51.jpg
穿白色毛衣美女刘嘉琦4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190312/214608-1552398368df79.jpg
比基尼美女婧然4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190306/221014-15518814147b8a.jpg
沐浴美女婧然4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190306/222529-155188232987f1.jpg
漂亮女孩美女和棕色马4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190222/224341-1550846621cb5d.jpg
婧然 嘴巴嘟嘟美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190306/221705-1551881825771b.jpg
克拉女神婧然4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190306/211701-155187822187f6.jpg
奶茶Emily 养眼美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190228/203321-155135720184d7.jpg
奶茶Emily 4k美女壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190228/202516-1551356716d3d0.jpg
小清新美女刘奕宁3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190228/183525-1551350125609f.jpg
Carry 红色和服美女 白色丝袜 4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190228/181155-15513487151614.jpg
猫宝 粉色内衣 皮毛4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190219/201151-1550578311ebec.jpg
国外美女模特 红色鲜花 5k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190224/204823-1551012503b68e.jpg
穿白色裙子女孩和马3440x1440唯美美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190224/161148-155099590841fa.jpg
黄色碎花连衣裙美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190219/221620-155058578023b7.jpg
穿和服美女猫宝3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190219/195948-15505775883dff.jpg
猫宝 和服美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190219/195744-15505774644c9f.jpg
乐薇Vivi制服美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190120/114159-1547955719cec3.jpg
小西白色婚纱写真4K壁纸.jpg http://pic.netbian.com/uploads/allimg/171114/192357-1510658637df8b.jpg
克拉女神小西 养眼高贵气质美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190126/213514-15485097145ba5.jpg
长卷发气质美女小西4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190126/220914-15485117545195.jpg
Lynn刘奕宁 五角星裙子4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/190207/201819-15495418996734.jpg
刘奕宁Lynn 窗帘前美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190130/195330-1548849210ab9e.jpg
闭眼美女小西4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190126/205954-15485075942433.jpg
白色衬衫美女嫣儿3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190120/115250-1547956370a071.jpg
小西 闭眼美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190126/205758-15485074784d52.jpg
IMiss爱蜜社嫣儿 居家沙发养眼身材美腿美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190114/230723-1547478443545d.jpg
美女嫣儿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190120/114915-15479561556dd4.jpg
乐薇Vivi制服黑色丝袜美腿4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190120/114542-15479559420a26.jpg
嫣儿白色裙子居家美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190110/214329-15471278091df4.jpg
居家 沙发 白色裙子养眼美女嫣儿4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190114/225819-1547477899171d.jpg
嫣儿 深蓝色裙子美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190114/225349-1547477629ebd5.jpg
克拉女神菁菁4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190114/225012-1547477412ae0c.jpg
克拉女神宁宁4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/190114/223519-15474765190d1a.jpg
居家学妹 宁宁4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190114/222843-15474761238746.jpg
嫣儿4k壁纸.jpg http://pic.netbian.com/uploads/allimg/190110/213958-1547127598390b.jpg
嫣儿 白色裙子养眼身材美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190110/214513-1547127913c69d.jpg
白月光美女3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/190102/162114-1546417274aa1c.jpg
许诺 红色大衣美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/181226/210750-15458296700932.jpg
长卷发 黑色比基尼套装唯美艺术  性感身材国外美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/181201/093350-1543628030956f.jpg
甜美微笑美女妮子4K壁纸.jpg http://pic.netbian.com/uploads/allimg/170825/230052-1503673252398d.jpg
年轻女性 苗条身材 白丝绸 手势 健康 臀部 腿部 4k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/181201/180901-1543658941bba1.jpg
薄纱比基尼 苗条的身材美女 体操 健康 5k美女壁纸.jpg http://pic.netbian.com/uploads/allimg/181201/175651-1543658211a155.jpg
克拉女神姜璐 长发露肩美女4k壁纸3840x2160.jpg http://pic.netbian.com/uploads/allimg/181211/163958-1544517598a90e.jpg
长发侧脸美女姜璐4k壁纸.jpg http://pic.netbian.com/uploads/allimg/181211/163123-1544517083f513.jpg
姜璐 养眼长发美女4k壁纸.jpg http://pic.netbian.com/uploads/allimg/181207/183005-1544178605cce8.jpg
长头发黑色内衣美女姜璐4k壁纸.jpg http://pic.netbian.com/uploads/allimg/181207/174253-1544175773acf3.jpg
克拉女神姜璐3440x1440壁纸.jpg http://pic.netbian.com/uploads/allimg/181207/174032-15441756326c84.jpg
  • xpath表达式中管道符的应用
    • 目的:使得xpath表达式具有更强的通用性
url = 'https://www.aqistudy.cn/historydata/'
page_text = requests.get(url,headers=headers).text

tree = etree.HTML(page_text)
# hot_cities = tree.xpath('//div[@class="bottom"]/ul/li/a/text()')
all_cities = tree.xpath('//div[@class="bottom"]/ul/div[2]/li/a/text() | //div[@class="bottom"]/ul/li/a/text()')
all_cities
['北京',
 '上海',
 '广州',
 '深圳',
 '杭州',
 '天津',
 '成都',
 '南京',
 '西安',
 '武汉',
 '阿坝州',
 '安康',
 '阿克苏地区',
 '阿里地区',
 '阿拉善盟',
 '阿勒泰地区',
 '安庆',
 '安顺',
 '鞍山',
 '克孜勒苏州',
 '安阳',
 '蚌埠',
 '白城',
 '保定',
 '北海',
 '宝鸡',
 '北京',
 '毕节',
 '博州',
 '白山',
 '百色',
 '保山',
 '白沙',
 '包头',
 '保亭',
 '本溪',
 '巴彦淖尔',
 '白银',
 '巴中',
 '滨州',
 '亳州',
 '长春',
 '昌都',
 '常德',
 '成都',
 '承德',
 '赤峰',
 '昌吉州',
 '五家渠',
 '昌江',
 '澄迈',
 '重庆',
 '长沙',
 '常熟',
 '楚雄州',
 '朝阳',
 '沧州',
 '长治',
 '常州',
 '潮州',
 '郴州',
 '池州',
 '崇左',
 '滁州',
 '定安',
 '丹东',
 '东方',
 '东莞',
 '德宏州',
 '大理州',
 '大连',
 '大庆',
 '大同',
 '定西',
 '大兴安岭地区',
 '德阳',
 '东营',
 '黔南州',
 '达州',
 '德州',
 '儋州',
 '鄂尔多斯',
 '恩施州',
 '鄂州',
 '防城港',
 '佛山',
 '抚顺',
 '阜新',
 '阜阳',
 '富阳',
 '抚州',
 '福州',
 '广安',
 '贵港',
 '桂林',
 '果洛州',
 '甘南州',
 '固原',
 '广元',
 '贵阳',
 '甘孜州',
 '赣州',
 '广州',
 '淮安',
 '海北州',
 '鹤壁',
 '淮北',
 '河池',
 '海东地区',
 '邯郸',
 '哈尔滨',
 '合肥',
 '鹤岗',
 '黄冈',
 '黑河',
 '红河州',
 '怀化',
 '呼和浩特',
 '海口',
 '呼伦贝尔',
 '葫芦岛',
 '哈密地区',
 '海门',
 '海南州',
 '淮南',
 '黄南州',
 '衡水',
 '黄山',
 '黄石',
 '和田地区',
 '海西州',
 '河源',
 '衡阳',
 '汉中',
 '杭州',
 '菏泽',
 '贺州',
 '湖州',
 '惠州',
 '吉安',
 '金昌',
 '晋城',
 '景德镇',
 '金华',
 '西双版纳州',
 '九江',
 '吉林',
 '即墨',
 '江门',
 '荆门',
 '佳木斯',
 '济南',
 '济宁',
 '胶南',
 '酒泉',
 '句容',
 '湘西州',
 '金坛',
 '鸡西',
 '嘉兴',
 '江阴',
 '揭阳',
 '济源',
 '嘉峪关',
 '胶州',
 '焦作',
 '锦州',
 '晋中',
 '荆州',
 '库尔勒',
 '开封',
 '黔东南州',
 '克拉玛依',
 '昆明',
 '喀什地区',
 '昆山',
 '临安',
 '六安',
 '来宾',
 '聊城',
 '临沧',
 '娄底',
 '乐东',
 '廊坊',
 '临汾',
 '临高',
 '漯河',
 '丽江',
 '吕梁',
 '陇南',
 '六盘水',
 '拉萨',
 '乐山',
 '丽水',
 '凉山州',
 '陵水',
 '莱芜',
 '莱西',
 '临夏州',
 '溧阳',
 '辽阳',
 '辽源',
 '临沂',
 '龙岩',
 '洛阳',
 '连云港',
 '莱州',
 '兰州',
 '林芝',
 '柳州',
 '泸州',
 '马鞍山',
 '牡丹江',
 '茂名',
 '眉山',
 '绵阳',
 '梅州',
 '宁波',
 '南昌',
 '南充',
 '宁德',
 '内江',
 '南京',
 '怒江州',
 '南宁',
 '南平',
 '那曲地区',
 '南通',
 '南阳',
 '平度',
 '平顶山',
 '普洱',
 '盘锦',
 '蓬莱',
 '平凉',
 '莆田',
 '萍乡',
 '濮阳',
 '攀枝花',
 '青岛',
 '琼海',
 '秦皇岛',
 '曲靖',
 '齐齐哈尔',
 '七台河',
 '黔西南州',
 '清远',
 '庆阳',
 '钦州',
 '衢州',
 '泉州',
 '琼中',
 '荣成',
 '日喀则',
 '乳山',
 '日照',
 '韶关',
 '寿光',
 '上海',
 '绥化',
 '石河子',
 '石家庄',
 '商洛',
 '三明',
 '三门峡',
 '山南',
 '遂宁',
 '四平',
 '商丘',
 '宿迁',
 '上饶',
 '汕头',
 '汕尾',
 '绍兴',
 '三亚',
 '邵阳',
 '沈阳',
 '十堰',
 '松原',
 '双鸭山',
 '深圳',
 '朔州',
 '宿州',
 '随州',
 '苏州',
 '石嘴山',
 '泰安',
 '塔城地区',
 '太仓',
 '铜川',
 '屯昌',
 '通化',
 '天津',
 '铁岭',
 '通辽',
 '铜陵',
 '吐鲁番地区',
 '铜仁地区',
 '唐山',
 '天水',
 '太原',
 '台州',
 '泰州',
 '文昌',
 '文登',
 '潍坊',
 '瓦房店',
 '威海',
 '乌海',
 '芜湖',
 '武汉',
 '吴江',
 '乌兰察布',
 '乌鲁木齐',
 '渭南',
 '万宁',
 '文山州',
 '武威',
 '无锡',
 '温州',
 '吴忠',
 '梧州',
 '五指山',
 '西安',
 '兴安盟',
 '许昌',
 '宣城',
 '襄阳',
 '孝感',
 '迪庆州',
 '锡林郭勒盟',
 '厦门',
 '西宁',
 '咸宁',
 '湘潭',
 '邢台',
 '新乡',
 '咸阳',
 '新余',
 '信阳',
 '忻州',
 '徐州',
 '雅安',
 '延安',
 '延边州',
 '宜宾',
 '盐城',
 '宜昌',
 '宜春',
 '银川',
 '运城',
 '伊春',
 '云浮',
 '阳江',
 '营口',
 '榆林',
 '玉林',
 '伊犁哈萨克州',
 '阳泉',
 '玉树州',
 '烟台',
 '鹰潭',
 '义乌',
 '宜兴',
 '玉溪',
 '益阳',
 '岳阳',
 '扬州',
 '永州',
 '淄博',
 '自贡',
 '珠海',
 '湛江',
 '镇江',
 '诸暨',
 '张家港',
 '张家界',
 '张家口',
 '周口',
 '驻马店',
 '章丘',
 '肇庆',
 '中山',
 '舟山',
 '昭通',
 '中卫',
 '张掖',
 '招远',
 '资阳',
 '遵义',
 '枣庄',
 '漳州',
 '郑州',
 '株洲']
12-15 04:19