1 简介

  词云图是文本挖掘中用来表征词频的数据可视化图像,通过它可以很直观地展现文本数据中地高频词:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图1 词云图示例

  在Python中有很多可视化框架可以用来制作词云图,如pyecharts,但这些框架并不是专门用于制作词云图的,因此并不支持更加个性化的制图需求,要想创作出更加美观个性的词云图,需要用到一些专门绘制词云图的第三方模块,本文就将针对其中较为优秀易用的wordcloud以及stylecloud的用法进行介绍和举例说明。

2 利用wordcloud绘制词云图

  wordcloud是Python中制作词云图比较经典的一个模块,赋予用户高度的自由度来创作词云图:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图2 wordcloud制作词云图示例

2.1 从一个简单的例子开始

  这里我们使用到来自wordcloud官方文档中的constitution.txt来作为可视化的数据素材:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图3 constitution.txt

  首先我们读入数据并将数据清洗成空格分隔的长字符串:

import re

with open('constitution.txt') as c:
'''抽取文本中的英文部分并小写化,并将空格作为分隔拼接为长字符串'''
text = ' '.join([word.group().lower() for word in re.finditer('[a-zA-Z]+', c.read())]) '''查看前100个字符'''
text[:500]

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图4 清洗后的片段文本

  接着使用wordcloud中用于生成词云图的类WordCloud配合matplotlib,在默认参数设置下生成一张简单的词云图:

from wordcloud import WordCloud
import matplotlib.pyplot as plt
%matplotlib inline '''从文本中生成词云图'''
wordcloud = WordCloud().generate(text)
plt.figure(figsize=[12, 10])
plt.imshow(wordcloud)
plt.axis('off')
plt.show()

  生成的词云图:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图5 默认参数下的词云图

  毕竟是在默认参数下生成的词云图,既丑陋又模糊,为了绘制好看的词云图,接下来我们来对wordcloud绘制词云图的细节内容进行介绍,并不断地对图5进行升级改造。

2.2 WordCloud

  作为wordcloud绘制词云图最核心的类,WordCloud的主要参数及说明如下:

  了解了上述参数的意义之后,首先我们修改背景色为白色,增大图床的长和宽,加大scale以提升图片的精细程度,并使得水平显示的文字尽可能多:

'''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
height=400, # 高度设置为400
width=800, # 宽度设置为800
scale=20, # 长宽拉伸程度设置为20
prefer_horizontal=0.9999).generate(text)
plt.figure(figsize=[8, 4])
plt.imshow(wordcloud)
plt.axis('off')
'''保存到本地'''
plt.savefig('图6.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图6

  可以看到相较于图5,在美观程度上有了很大的进步,接下来,我们在图6的基础上添加美国本土地图蒙版:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图7 美国本土地图蒙版

  利用PIL模块读取我们的美国本土地图蒙版.png文件并转换为numpy数组,作为WordCloud的mask参数传入:

from PIL import Image
import numpy as np usa_mask = np.array(Image.open('美国本土地图蒙版.png')) '''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
height=4000, # 高度设置为400
width=8000, # 宽度设置为800
scale=20, # 长宽拉伸程度程度设置为20
prefer_horizontal=0.9999,
mask=usa_mask # 添加蒙版
).generate(text)
plt.figure(figsize=[8, 4])
plt.imshow(wordcloud)
plt.axis('off')
'''保存到本地'''
plt.savefig('图8.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图8

  可以看到图8在图6的基础上进一步提升了美观程度,接下来我们利用wordcloud中用于从图片中提取调色方案的类ImageColorGenerator来从下面的星条旗美国地图蒙版中提取色彩方案,进而反馈到词云图上:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图9 美国地图蒙版_星条旗色

from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator usa_mask = np.array(Image.open('美国地图蒙版_星条旗色.png'))
image_colors = ImageColorGenerator(usa_mask) '''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
height=400, # 高度设置为400
width=800, # 宽度设置为800
scale=20, # 长宽拉伸程度程度设置为20
prefer_horizontal=0.2, # 调整水平显示倾向程度为0.2
mask=usa_mask, # 添加蒙版
max_words=1000, # 设置最大显示字数为1000
relative_scaling=0.3, # 设置字体大小与词频的关联程度为0.3
max_font_size=80 # 缩小最大字体为80
).generate(text) plt.figure(figsize=[8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('图10.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图10

2.3 中文词云图

  相较于英文文本语料,中文语料处理起来要麻烦一些,我们需要先进行分词等预处理才能进行下一步的处理,这里我们使用某外卖平台用户评论数据,先读取进来看看:

import pandas as pd
import jieba '''读入原始数据'''
raw_comments = pd.read_csv('waimai_10k.csv');raw_comments.head()

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图11

  接下来我们利用rejieba以及pandas中的apply对评论列进行快速清洗:

'''导入停用词表'''
with open('stopwords.txt') as s:
stopwords = set([line.replace('\n', '') for line in s]) '''传入apply的预处理函数,完成中文提取、分词以及多余空格剔除'''
def preprocessing(c): c = [word for word in jieba.cut(' '.join(re.findall('[\u4e00-\u9fa5]+', c))) if word != ' ' and word not in stopwords] return ' '.join(c) '''将所有语料按空格拼接为一整段文字'''
comments = ' '.join(raw_comments['review'].apply(preprocessing));comments[:500]

  得到的结果如图12:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图12

  这时我们就得到所需的文本数据,接下来我们用美团外卖的logo图片作为蒙版绘制词云图:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图13 美团外卖logo蒙版

from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator waimai_mask = np.array(Image.open('美团外卖logo蒙版.png'))
image_colors = ImageColorGenerator(waimai_mask) '''从文本中生成词云图'''
wordcloud = WordCloud(background_color='white', # 背景色为白色
height=400, # 高度设置为400
width=800, # 宽度设置为800
scale=20, # 长宽拉伸程度程度设置为20
prefer_horizontal=0.2, # 调整水平显示倾向程度为0.2
mask=waimai_mask, # 添加蒙版
max_words=1000, # 设置最大显示字数为1000
relative_scaling=0.3, # 设置字体大小与词频的关联程度为0.3
max_font_size=80 # 缩小最大字体为80
).generate(comments) plt.figure(figsize=[8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('图14.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()

  这时我们会发现词云图上绘制出的全是乱码,这是因为matplotlib默认字体是不包含中文的:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图14 中文乱码问题

  这时我们只需要为WordCloud传入font_path参数即可,这里我们选择SimHei字体:

from PIL import Image
import numpy as np
from wordcloud import ImageColorGenerator waimai_mask = np.array(Image.open('美团外卖logo蒙版.png'))
image_colors = ImageColorGenerator(waimai_mask) '''从文本中生成词云图'''
wordcloud = WordCloud(font_path='SimHei.ttf', # 定义SimHei字体文件
background_color='white', # 背景色为白色
height=400, # 高度设置为400
width=800, # 宽度设置为800
scale=20, # 长宽拉伸程度程度设置为20
prefer_horizontal=0.2, # 调整水平显示倾向程度为0.2
mask=waimai_mask, # 添加蒙版
max_words=1000, # 设置最大显示字数为1000
relative_scaling=0.3, # 设置字体大小与词频的关联程度为0.3
max_font_size=80 # 缩小最大字体为80
).generate(comments) plt.figure(figsize=[8, 4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis('off')
'''保存到本地'''
plt.savefig('图15.jpg', dpi=600, bbox_inches='tight', quality=95)
plt.show()

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图15

3 利用stylecloud绘制词云图

  stylecloud是一个较为崭新的模块,它基于wordcloud,添加了一系列的崭新特性譬如渐变颜色等,可以支持更为个性化的词云图创作:

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图16 styleword制作词云图示例

3.1 从一个简单的例子开始

  这里我们沿用上一章节中使用过的处理好的text来绘制词云图:

import stylecloud
from IPython.display import Image # 用于在jupyter lab中显示本地图片 '''生成词云图'''
stylecloud.gen_stylecloud(text=text,
size=512,
output_name='图17.png') '''显示本地图片'''
Image(filename='图17.png')

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图17

  可以看出,styleword生成词云图的方式跟wordcloud不同,它直接就将原始文本转换成本地词云图片文件,下面我们针对其绘制词云图的细节内容进行介绍。

3.2 gen_stylecloud

  在stylecloud中绘制词云图只需要gen_stylecloud这一个函数即可,其主要参数及说明如下:

  对上述参数有所了解之后,下面我们在图17的基础上进行改良,首先我们将图标形状换成炸弹的样子,接着将配色方案修改为scientific.diverging.Broc_3

'''生成词云图'''
stylecloud.gen_stylecloud(text=text,
size=1024,
output_name='图18.png',
palette='scientific.diverging.Broc_3', # 设置配色方案
icon_name='fas fa-bomb' # 设置图标样式
) '''显示本地图片'''
Image(filename='图18.png')

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图18

3.3 绘制中文词云图

  在wordcloud中绘制中文词云图类似wordcloud只需要注意传入支持中文的字体文件即可,下面我们使用一个微博语料数据weibo_senti_100k.csv来举例:

weibo = pd.read_csv('weibo_senti_100k.csv')
weibo_text = [word for word in jieba.cut(' '.join(re.findall('[\u4e00-\u9fa5]+', ' '.join(weibo['review'].tolist())))) if word != ' ' and word not in stopwords]
weibo_text[:10]

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图19

  接着我们将蒙版图标样式换成新浪微博,将色彩方案换成colorbrewer.sequential.Reds_3

'''生成词云图'''
'''生成词云图'''
stylecloud.gen_stylecloud(text=' '.join(weibo_text),
size=1024,
output_name='图20.png',
palette='colorbrewer.sequential.Reds_3', # 设置配色方案为https://jiffyclub.github.io/palettable/colorbrewer/sequential/#reds_3
icon_name='fab fa-weibo', # 设置图标样式
gradient='horizontal', # 设置颜色渐变方向为水平
font_path='SimHei.ttf',
collocations=False
) '''显示本地图片'''
Image(filename='图20.png')

(数据科学学习手札71)在Python中制作个性化词云图-LMLPHP
图20

  以上就是本文的全部内容,如有笔误望指出!

04-15 05:32