常用的类库为lxml, BeautifulSoup, re(正则)
以获取豆瓣电影正在热映的电影名为例,url='https://movie.douban.com/cinema/nowplaying/beijing/'
网页分析
部分网页源码
<ul class="lists">
<li
id="3878007"
class="list-item"
data-title="海王"
data-score="8.2"
data-star="40"
data-release="2018"
data-duration="143分钟"
data-region="美国 澳大利亚"
data-director="温子仁"
data-actors="杰森·莫玛 / 艾梅柏·希尔德 / 威廉·达福"
data-category="nowplaying"
data-enough="True"
data-showed="True"
data-votecount="105013"
data-subject="3878007"
>
分析可知我们要的电影名称信息在li标签的data-title属性里
下面开始写代码
爬虫源码展示
import requests
from lxml import etree # 导入库
from bs4 import BeautifulSoup
import re
import time
# 定义爬虫类
class Spider():
def __init__(self):
self.url = 'https://movie.douban.com/cinema/nowplaying/beijing/'
self.headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
r = requests.get(self.url,headers=self.headers)
r.encoding = r.apparent_encoding
self.html = r.text
def lxml_find(self):
'''用lxml解析'''
start = time.time() # 三种方式速度对比
selector = etree.HTML(self.html) # 转换为lxml解析的对象
titles = selector.xpath('//li[@class="list-item"]/@data-title') # 这里返回的是一个列表
for each in titles:
title = each.strip() # 去掉字符左右的空格
print(title)
end = time.time()
print('lxml耗时', end-start)
def BeautifulSoup_find(self):
'''用BeautifulSoup解析'''
start = time.time()
soup = BeautifulSoup(self.html, 'lxml') # 转换为BeautifulSoup的解析对象()里第二个参数为解析方式
titles = soup.find_all('li', class_='list-item')
for each in titles:
title = each['data-title']
print(title)
end = time.time()
print('BeautifulSoup耗时', end-start)
def re_find(self):
'''用re解析'''
start = time.time()
titles = re.findall('data-title="(.+)"',self.html)
for each in titles:
print(each)
end = time.time()
print('re耗时', end-start)
if __name__ == '__main__':
spider = Spider()
spider.lxml_find()
spider.BeautifulSoup_find()
spider.re_find()输出结果
海王
无名之辈
无敌破坏王2：大闹互联网
狗十三
惊涛飓浪
毒液：致命守护者
憨豆特工3
神奇动物：格林德沃之罪
恐龙王
老爸102岁
生活万岁
进击的男孩
摘金奇缘
亡命救赎
一百年很长吗
云上日出
谁是坏孩子
照相师
缘·梦
网络谜踪
龙猫
印度合伙人
绿毛怪格林奇
最萌警探
春天的马拉松
lxml耗时 0.007623910903930664
海王
无名之辈
无敌破坏王2：大闹互联网
狗十三
惊涛飓浪
毒液：致命守护者
憨豆特工3
神奇动物：格林德沃之罪
恐龙王
老爸102岁
生活万岁
进击的男孩
摘金奇缘
亡命救赎
一百年很长吗
超时空大冒险
天渠
爱不可及
二十岁
你好，之华
冒牌搭档
铁甲战神
克隆人
恐怖快递
中国蓝盔
阿凡提之奇缘历险
名侦探柯南：零的执行人
为迈克尔·杰克逊铸造雕像
再见仍是朋友
心迷宫
淡蓝琥珀
阿拉姜色
两个俏公主
云上日出
谁是坏孩子
照相师
缘·梦
网络谜踪
龙猫
印度合伙人
绿毛怪格林奇
最萌警探
春天的马拉松
BeautifulSoup耗时 0.061043500900268555
海王
无名之辈
无敌破坏王2：大闹互联网
狗十三
惊涛飓浪
毒液：致命守护者
憨豆特工3
神奇动物：格林德沃之罪
恐龙王
老爸102岁
生活万岁
进击的男孩
摘金奇缘
亡命救赎
一百年很长吗
超时空大冒险
天渠
爱不可及
二十岁
你好，之华
冒牌搭档
铁甲战神
克隆人
恐怖快递
中国蓝盔
阿凡提之奇缘历险
名侦探柯南：零的执行人
为迈克尔·杰克逊铸造雕像
再见仍是朋友
心迷宫
淡蓝琥珀
阿拉姜色
两个俏公主
云上日出
谁是坏孩子
照相师
缘·梦
网络谜踪
龙猫
印度合伙人
绿毛怪格林奇
最萌警探
春天的马拉松
re耗时 0.0004856586456298828代码说明
2. BeautifulSoup
3. re(正则表达式)
总结
使用lxml查找时可以在目标网页按F12调出开发者窗口然后再在按Ctrl+f查找,在查找栏里输入你的xpath语法可以检查是否能找到对应内容
可以从看例子的输出中看出三种方法的速度
对以上三种最常用的解析网页的方法做个对比
综上,对于网页内容的解析,这里推荐新手使用lxml方法,而对速度有要求就使用正则表达式(入门有点困难)