【机器学习】李宏毅——Adversarial Attack(对抗攻击)

研究这个方向的动机,是因为在将神经网络模型应用于实际场景时,它仅仅拥有较高的正确率是不够的,例如在异常检测中、垃圾邮件分类等等场景,那些负类样本也会想尽办法来“欺骗”模型,使模型无法辨别出它为负类。因此我们希望我们的模型能够拥有应对这种攻击的能力。How to Attack通过影像辨识的例子来解释如何进行攻击。假设我们已经训练了一个图像的分类器,对于我们下图中输入的图片它能够分辨出来是一只猫;那么我们...

【机器学习】李宏毅——AE自编码器(Auto-encoder)

1、What在自编码器中,有两个神经网络,分别为Encoder和Decoder,其任务分别是: Encoder:将读入的原始数据(图像、文字等)转换为一个向量Decoder:将上述的向量还原成原始数据的形式 而目标是希望还原出来的结果能够与原始数据尽可能的接近。其中的向量可称为Embedaing、Representation、Code。而它的主要用处就是将原始数据(高维、复杂)经过Encoder后得到的...

【机器学习】李宏毅——自监督式学习

,请继续往下阅读将会逐渐清晰这个定义。1.1、BERT的maskingBERT的架构可以简单地看成跟Transformer中的Encoder的架构是相同的(可以参考我这篇文章[点此]([机器学习]李宏毅——Transformer - 掘金 (juejin.cn))),其实现的功能都是接受一排向量,并输出一排向量。而BERT特别的地方在于它对于接受的一排输入的向量(通常是文字或者语音等)会随机选择某些向量...

【机器学习】李宏毅——Transformer

Transformer具体就是属于Sequence-to-Sequence的模型,而且输出的向量的长度并不能够确定,应用场景如语音辨识、机器翻译,甚至是语音翻译等等,在文字上的话例如聊天机器人、文章摘要等等,在分类问题上如果有问题是一些样本同时属于多个类也可以用这个的方法来求解。只要是输入向量,输出向量都可以用这个模型来求解。那么Seq2seq的大致结构如下: 也就是有一个Encoder和一个Decode...

【机器学习】李宏毅——自注意力机制(Self-attention)

前面我们所讲的模型,输入都是一个向量,但有没有可能在某些场景中输入是多个向量,即一个向量集合,并且这些向量的数目并不是固定的呢? 这一类的场景包括文字识别、语音识别、图网络等等。那么先来考虑输出的类型,如果对于输入是多个数目不定的向量,可以有以下这几种输出方式: 每个向量对应一个输出:输出的数目与输入向量的数目一致,例如下图的词性识别、语调识别、状态识别等等: 只有单个输出:这种应用于例如判断一段话的正负...
© 2023 LMLPHP 关于我们 联系我们 友情链接 耗时0.012791(s)
2023-02-06 08:41:06 1675644066