「文本」进行特征提取时,一般会用「单词」作为特征,即特征词。

CountVectorizer会计算特征词出现的「次数」,帮我们发现哪个词是最「重要」的。

一、特征提取API

sklearn.feature_extraction 是用来提取特征的API。

sklearn.feature_extraction.text.CountVectorizer( stop_words=[…] )

  • fit_transform( data ):接收数据(文本或包含文本字符串的可迭代对象),返回提取的特征
  • vector.inverse_transform( new_data ):将提取的特征,转换成之前的数据
  • get_feature_names_out():获取(特征)单词列表

参数:

  • stop_words:停用词,数组类型,指定的停用词不再作为特征词。

二、提取特征

我们准备一组原始数据,然后「提取特征」

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    "I am your mather !",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data)

输出:

  (0, 0)	1
  (0, 3)	1
  (0, 2)	1
  (1, 0)	1
  (1, 3)	1
  (1, 1)	1

返回的提取的特征默认是「sparse矩阵」,我们用type打印一下返回值的类型。

# 转换数据
new_data = vector.fit_transform(old_data)
print(type(new_data))

输出:

<class 'scipy.sparse._csr.csr_matrix'>

这种格式不利于我们观察分析,接下来,我们把sparse矩阵转换成数组格式。

三、转换成数组

sparse矩阵内置的 toarray() 方法 ,可以把结果转换成「二维数组」

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    "I am your mather !",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data.toarray())

输出:

[[1 0 1 1]
 [1 1 0 1]]

这样的格式友好一些,但这些特征是什么意思呢?我们可以通过特征名字来分析。

四、特征名字

get_feature_names_out() 方法可以获取「特征名字」

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    "I am your mather !",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data.toarray())
print(vector.get_feature_names_out())

输出:

[[1 0 1 1]
 [1 1 0 1]]
['am' 'father' 'mather' 'your']

从特征名字我们可以发现,原始数据中出现的每个「单词」,都被当做一个「特征词」
需要注意的是,「标点符号」「字母」默认不统计,不作为特征词,因为没什么意义。

提取的特征数组中:每一行(也就是每个数组)对应一个「样本」,每一列(也就是数组的每一个值)对应一个特征词。
用数字表示特征词出现的次数。

比如第一个数组([1 0 1 1])对应第一个样本(“I am your mather !”);
数组中第一位时1,意思就是样本里 ‘am’ 这个词出现了1次;
数组中第二位是0,意思就是样本里 ‘father’ 这个词出现了0次;

为了方便观察,我们在第一个样本字符串里添加「重复」的单词:

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    "I am your mather mather!",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
print(new_data.toarray())
print(vector.get_feature_names_out())

输出:

[[1 0 2 1]
 [1 1 0 1]]
['am' 'father' 'mather' 'your']

可以看到特征数组里有了一个数字2,意思就是样本中,‘mather’ 这个词出现了2次。

五、停用词

CountVectorizer() stop_words 参数可以指定「停用词」

停用词的意思就是,不被算作特征词的单词,通常用于那些使用很少或没有统计意义的词。

这里我们指定两个停用词,观察一下提取的特征词有什么变化:

# 原始数据(字典)
old_data = [
    "I am your mather mather!",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer(stop_words=['am', 'your'])

# 转换数据
new_data = vector.fit_transform(old_data)
print(vector.get_feature_names_out())

输出:

['father' 'mather']

这里可以看到,我指定的 am,your 这两个停用词,不再作为特征词。

六、返回原始数据

vector.inverse_transform() 方法可以将提取的特征转回原始数据:

from sklearn import feature_extraction

# 原始数据(字典)
old_data = [
    "I am your mather mather!",
    "I am your father !"]

# 初始化
vector = feature_extraction.text.CountVectorizer()

# 转换数据
new_data = vector.fit_transform(old_data)
# 提取的特征数组
print(new_data.toarray())
print('分割线 ---')
# 转回原始数据
print(vector.inverse_transform(new_data))

输出:

[[1 0 2 1]
 [1 1 0 1]]
分割线 ---
[array(['am', 'your', 'mather'], dtype='<U6'), array(['am', 'your', 'father'], dtype='<U6')]
07-03 09:21