b站弹幕的爬取以及词云的简单使用

一.B站弹幕的爬取

　　1.分析发现,其弹幕都是通过list.so?=cid这个文件加载出来的,所以我们找到这个文件的请求头的请求url,

　　

　　2. 打开url就能看到所有的评论

　

　3. 上代码,解析

#!/usr/bin/env python# -*- coding: utf-8 -*-
#author tom

import  requests

from lxml import etree

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'

}

#抓取函数

def yitianSpiderf(url):

    res=requests.get(url,headers=headers)

    tree=etree.HTML(res.content)

    comment_list=tree.xpath('//d/text()')

    with open('倚天评论.txt','a+',encoding='utf-8') as f:

        for comment in comment_list:

            f.write(comment+'\n')

#主函数,其实所有是视频找到其id就能抓到所有的弹幕

def main():

    cid=''

    url='https://api.bilibili.com/x/v1/dm/list.so?oid={}'.format(cid)

    yitianSpiderf(url)

if __name__ == '__main__':

     main()

　　　

4.词云:

#!/usr/bin/env python

# -*- coding: utf-8 -*-

#author tom

import re

import jieba

from collections import Counter

#使用结巴分词

with open('倚天评论.txt','r',encoding='utf-8') as f:

    txt=f.read()

jbwords=jieba.cut(txt)

#遇到这种非常规词不使用

with open('中文停用词表.txt' ,'r',encoding='utf-8') as f1:

    stopwords=f1.read()

result=[]

for word in jbwords:

    word=re.sub(r'[A-Za-z0-9\!?\%\[\]\,\.~]','',word) #去除英文符号

    if word:

        if word not in stopwords:

            result.append(word)

'+++++++++++++++统计'

print('=====',result,len(result))

print(Counter(result))

#制作词云图

import matplotlib.pyplot as plt

from wordcloud import WordCloud,ImageColorGenerator

from PIL import Image

import numpy as np

#指定字体,打开图片,转为数组

myfon=r'C:\Windows\Fonts\simkai.ttf'

# img1=Image.open('dog.jpg')

# graph1=np.array(img1)

img2=Image.open('1.png')

graph2=np.array(img2)

text='/'.join(result)

#词语对象

wc=WordCloud(font_path=myfon,background_color='white',max_font_size=50,max_words=500, mask=graph2)

wc.generate(text)

img_color=ImageColorGenerator(graph2)#从背景图中生成颜色值

plt.imshow(wc.recolor(color_func=img_color))

plt.imshow(wc)

plt.axis('off')

plt.show()

　　5. 效果:

　　

二.关于B站直播弹幕的爬取

　　

1. 分析发现,b站直播的弹幕存放在一个名为msg的文件当中

　　　　

　　2.我们利用postman对这个网站发起post请求,果然可以拿到数据,

　　　　

　　3.代码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

#author tom

import requests

import time

from jsonpath import jsonpath

#抓取函数

def crawl(url,headers,data):

    res=requests.post(url=url,headers=headers,data=data)

    #拿到响应,res.json就直接转化成字典格式了,jsonpath要处理的也需要是一个python字典

    #jsonpath第一个参数是python字典,第二个参数是匹配规则,这边代表的是从根目录递归搜索text和nicname

    comment_list=jsonpath(res.json(),'$..text')

    nicname_list=jsonpath(res.json(),'$..nickname')

    #同时循环两个列表,需要用到zip打包

    for (nicname,comment) in  zip(nicname_list,comment_list):

        dic={

            'nicname':nicname,

            'comment':comment

             }

        print(dic)

def main():

    url = 'https://api.live.bilibili.com/ajax/msg'

    headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}

    data = {'roomid': ''}

    #使用while循环最好呀睡觉,哪怕0.1也好,否则内存扛不住

    while True:

        crawl(url,headers,data)

        time.sleep(2)

if __name__ == '__main__':

    main()

三.b站小视频的爬取

　　需求:爬取b站的小视频

　　url=url = http://vc.bilibili.com/p/eden/rank#/?tab=全部

1. 分析:打开这个网址我们发现这是一个ajax请求,并且这个请求里面包含了我们要的小视频地址
　　   

2.对vedio_playurl请求就直接把视频下载下来了
　　

3. 上面的不方便查看,我们就对这个地址发起请求,利用jsonview来帮助查看

　　　

　　4.看一下请求结果

　　5.对ajax发起跟过请求

　　

　　可以看到,带着参数就可以拿到欧更多的数据,现在知道怎么抓去了把