#coding:utf-8
__author__ = "zhoumi"
3
import requests
import re
import urllib
'''
本文档目的在于获得：
1、一级目录与其对应链接的字典,如下形式
dictinfo = {一级目录:链接}
2、二级目录与其对应链接的字典,如下形式
dict2info = {二级目录:链接}
3、一级目录与二级目录对应的字典，如下形式
dict3info = {一级目录:[二级目录]}
''' #获得待解析的页面
#首先用raise_for_status处理异常：若请求不成功，抛出异常
def getText(url):
source = requests.get(url)
source.raise_for_status()
source.encoding = source.apparent_encoding
return(source.text) #返回分类名(keys)及对应链接(value)的字典
#dictinfo = {name1list:html1list}
#例如：动画:www.bilibili.donghua.com,........
def getfirsttitle(source):
text = re.findall(r'a class.*?div class',source)
namelist = []
htmllist = []
dictinfo = {}
for i in text:
namelist.append(i.split("><em>")[1].split("</em>")[0])
htmllist.append(i.split('href="//')[1].split('"><em>')[0])
for i in range(len(namelist) - 1):
dictinfo[namelist[i]] = htmllist[i]
return dictinfo #返回二级分类的keys(分类名)和values(对应链接)的字典
#dict2info = {name2list:html2list}
def getsecondtitle(source):
text2 = re.findall(r'a href.*?<em></em></b></a></li>',source)
name2list = []
html2list = []
dict2info = {}
for i in text2:
name2list.append(i.split('><b>')[1].split('<em>')[0])
html2list.append(i.split('a href="//')[1].split('"><b>')[0])
for i in range(len(name2list) - 1):
dict2info[name2list[i]] = html2list[i]
return dict2info #获得一级分类和二级分类的分类名的字典
#dict3info = {name1list:[name2list]}
def getfirst2second(source):
text3 = re.findall(r'"m-i".*?</ul',source,re.S)
dict3info = {}
middletitle = []
for i in text3:
#获得出各个一级标题
title = i.split('><b>')[0].split('</em>')[0].split('<em>')[1]
#获得各一级标题的子标题
childtitle = i.split('><b>')
dict3info[title] = childtitle
for j in range(len(childtitle) - 1):
childtitle[j] = childtitle[j + 1]
#处理冗余
childtitle.pop()
for k in childtitle:
middletitle.append(k.split('<em>')[0])
#每处理完一个title的childtitle，就执行存储语句
dict3info[title] = middletitle
#初始化传递列表
middletitle = []
return dict3info #——————————————————————————————————————————————
##导入字典{二级分类名：urls2}计划使用urllib库
'''
url为dict_2_url2字典里面的url2
本文本块目的在于获取二级分类页面的源视频链接和视频名称
并生成最终可调用字典{source_name:source_url} url = dict_2_urls.values()
''' def gettext(url):
source = requests.get(url)
source.raise_for_status()
source.encoding = source.apparent_encoding
return source.text def download(source):
text = re.findall(r'<video> src="blob:.*?"></video>',source)
html = text.split('<video> src="')[1].split('"></video>')[0]
pass
这是今两天瞎鼓捣弄出来的代码，函数名、变量名的定义存在问题。
最开始利用requests.get(url)获得文本之后，不明白为什么需要text._raise_for_status()这一句代码，后来明白这个是为了处理向url发出response请求时的异常处理，具体是什么处理不太明白。
其中，text.encoding = text.apparent.encoding的实现原理也没有深究，需要慢慢积累。
requests作为一个第三方库，提供的是一种便利的功能，但是学习这几天之后，我发现这个并不太适合初学者，深层次的才是基础的，所以我觉得需要好好了解一下urllib这个模块。
之后，我准备尝试使用urllib模块对下载下来的文本进行处理，urlretrieve函数，urllib.request.urlopen函数等.
还遇见一个问题，当我准备利用字典里面的视频链接下载b站的视频时，会显示如下结果：
b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03\xc5}{\x93\x1bE\xb2\xef\xdf8\xe2|\x87^\xb1\xc1\x8c\x03\xeb9\x9a\x97\xf1\x0c\x07\x0c\xdcC\x1cX\xd8\xc5
我的源码是：
import urllib.request
import urllib.parse def gettext(url):
source = urllib.request.urlopen(url,timeout=30)
return source.read()
url = 'https://www.bilibili.com/video/av11138658/'
text = gettext(url)
print(text)
百思不得其解，最后我把原因归结为B站视频有做过加密处理，入门不足一个月的小白还没有能力解决这个问题~~~