如果我必须使用预训练的词向量作为神经网络中的嵌入层(例如CNN),该如何处理索引0?

详情:

我们通常从创建零numpy二维数组开始。稍后,我们从词汇表中填充单词索引。
问题是,0已经是我们词汇表中另一个单词的索引(例如,“ i”是索引在0处)。因此,我们基本上是在初始化填充有“ i”而不是空词的整个矩阵。那么,如何处理所有长度相等的句子的填充呢?

一个简单的弹出窗口就是我们可以使用另一个digit = numberOfWordsInVocab + 1进行填充。但这不会占用更多的空间吗? [帮我!]

最佳答案

一个简单的弹出窗口就是我们可以使用另一个digit = numberOfWordsInVocab + 1进行填充。但这不会占用更多的空间吗?


不!大小一样。

a=np.full((5000,5000), 7)
a.nbytes
200000000

b=np.zeros((5000,5000))
b.nbytes
200000000


编辑:错别字

关于python - 神经网络中的预训练(Word2Vec)嵌入,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/53923344/

10-12 19:29