Talk·信息
▼
主题：面向文本/音乐序列任务的Transformer注意力机制设计
嘉宾：微软亚洲研究院研究员 宋恺涛
南京大学硕士研究生 余博涛
时间：北京时间 11月22日 (周二) 20:00
地点：TechBeat人工智能社区
http://www.techbeat.net/
点击下方链接，即可观看视频
Talk·介绍
▼
Transformer凭借其强大的注意力机制，逐渐成为文本、语音、音乐、图像等任务的通用模型结构。然而，在典型的序列任务中，Transformer的注意力机制还有比较大的提升空间，以实现高效的序列建模。在本次talk中，我们将介绍在文本和音乐序列任务中的Transformer注意力机制设计，包括1）Transcormer，通过设计三流注意力机制（Triple-stream Self-attention）和滑动语言模型（Sliding Language Models）来实现高效的语言打分；2）Museformer，通过设计细粒度-粗粒度（Fine- and Coarse-Grained）结合的注意力机制以实现高效的音乐生成。
分享一
当下基于Transformer的语言模型是否已经能够满足自然语言处理中的所有任务？如何针对不同的任务来设计更加有效的语言模型呢？我们在NeurIPS 2022上针对语言评分这一任务特性，设计了一个全新的Transformer模型——Transcormer。该模型提出了一个全新的滑动语言模型，并设计了一种三流自注意力机制 。基于这样的设计，Transcormer模型能够在利用双向信息的同时，只需要计算一次便可以得到每个单词的概率分布。该方法在解决语言评估的任务上，具有更好的性能和更高的效率。
Talk提纲如下：
-
语言评分的任务定义
-
过去预训练模型的优缺点
-
滑动语言模型的设计
-
实验结果
-
工作总结
分享二
随着深度学习的快速发展，自动音乐创作成为新兴研究方向。Transformer模型被应用于音乐生成任务中并取得良好效果，但长序列建模（如何高效建模通常长度超过10000的音乐序列）和音乐结构建模（如何使生成的音乐具有更好的音乐重复结构）仍然是该领域的重大挑战。因此，在NeurIPS 2022上，我们提出Museformer，它使用一种细粒度和粗粒度相结合的注意力机制来解决这些挑战。
Talk提纲如下：
-
AI+艺术
-
背景介绍：symbolic music，音乐生成中的挑战
-
Museformer模型和细-粗注意力机制的核心思想和具体设计
-
实验和结果分析
-
总结
Talk·预习资料
▼
[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[2] Improving Language Understanding by Generative Pre-Training
[3] XLNet: Generalized Autoregressive Pretraining for Language Understanding
[4] arXiv: https://arxiv.org/abs/2210.10349
[5] Demo: https://ai-muzic.github.io/museformer
[6] Code: https://github.com/microsoft/muzic
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
Talk·嘉宾介绍
▼
宋恺涛
微软亚洲研究院研究员
宋恺涛，微软亚洲研究院。博士毕业于南京理工大学计算机科学与应用专业。研究方向为自然语言处理，包括机器翻译，预训练模型，语言生成等领域。在ICML、NeurIPS、KDD、ACL、IJCAI、ICCV、TIP、COLING、ICASSP、InterSpeech等顶级会议及期刊发表了多篇论文，其谷歌学术被引2200+余次。他的多项研究成果应用在微软的产品中。
个人主页：
https://scholar.google.com/citations?user=LLk9dR8AAAAJ&hl=en
余博涛
南京大学硕士研究生
余博涛，南京大学硕士研究生，导师为胡伟副教授，正在寻求海外读博机会。主要研究方向包含自然语言处理、AI音乐和深度学习。
个人主页：
https://btyu.github.io/
-The End-
关于TechBeat人工智能社区
▼