我正在尝试在R中实现功能哈希，以帮助我解决文本分类问题，但是我不确定我是否按照应有的方式进行操作。我的部分代码基于这篇文章:Hashing function for mapping integers to a given range?。
我的代码:
random.data = function(n = 200, wlen = 40, ncol = 10){
random.word = function(n){
paste0(sample(c(letters, 0:9), n, TRUE), collapse = '')
}
matrix(replicate(n, random.word(wlen)), ncol = ncol)
}
feature_hash = function(doc, N){
doc = as.matrix(doc)
library(digest)
idx = matrix(strtoi(substr(sapply(doc, digest), 28, 32), 16L) %% (N + 1), ncol = ncol(doc))
sapply(1:N, function(r)apply(idx, 1, function(v)sum(v == r)))
}
set.seed(1)
doc = random.data(50, 16, 5)
feature_hash(doc, 3)
[,1] [,2] [,3]
[1,] 2 0 1
[2,] 2 1 1
[3,] 2 0 1
[4,] 0 2 1
[5,] 1 1 1
[6,] 1 0 1
[7,] 1 2 0
[8,] 2 0 0
[9,] 3 1 0
[10,] 2 1 0
因此，我基本上是使用
digest返回的md5哈希的最后5个十六进制数字将字符串转换为整数。问题:1-是否有任何包装可以为我做到这一点？我还没找到
2-使用
digest作为哈希函数是一个好主意吗？如果没有，我该怎么办？PS:我应该在发布之前测试它是否有效，但是我的文件很大，并且需要很多处理时间，所以我认为有人指出我正确的方向会更聪明，因为我确定我正在这样做错误!
感谢您对此的反对!
最佳答案
我不知道为此存在任何CRAN软件包。
但是，我为自己编写了一个进行特征哈希的程序包。源代码在这里:https://github.com/wush978/FeatureHashing，但API不同。
就我而言，我将其用于将data.frame转换为CSRMatrix，即包中的自定义稀疏矩阵。我还实现了一个辅助函数，将CSRMatrix转换为Matrix::dgCMatrix。对于文本分类，我想稀疏矩阵会更合适。
如果要尝试，请在此处检查测试脚本:https://github.com/wush978/FeatureHashing/blob/master/tests/test-conver-to-dgCMatrix.R
请注意，我只在Ubuntu中使用了它，所以我不知道它是否适用于Windows或Mac。请随时问我有关https://github.com/wush978/FeatureHashing/issues的软件包的任何问题。