Talk·信息
▼
主题：微信AI大规模预训练语言模型WeLM
嘉宾：微信AI高级研究员苏辉
时间：北京时间 11月9日 (周三) 20:00
地点：TechBeat人工智能社区
http://www.techbeat.net/
点击下方链接，即可观看视频
Talk·介绍
▼
自 GPT3 以降，NLP大模型进展颇丰。相比小模型，大模型表现出的“零样本/少样本”学习能力众所瞩目。除此之外，在多语言(multilingual)/多任务等角度的探索也正在谱写大模型百家争鸣的新篇章。
本次talk介绍微信AI预训练模型 WeLM 的实践经验以及背后的思考。WeLM, 一个学富五车(well-read)的10 Billion 模型，在零样本以及少样本的情境下能够完成多种 NLP 任务（包括多语言任务），且进一步微调 WeLM 后能达到更好的零样本学习能力。申请API后用户可以利用 WeLM 生产数据/部署应用，让大模型成为真正能落地且实用的工具，让不可能三角变成可能。
-
Motivation (为什么要训练一个新的大模型)
-
What is WeLM (WeLM可以做些什么)
-
Inside of WeLM (架构选择/数据/训练细节)
-
Application development by Prompting (如何构造好的prompt、如何调用API)
-
Multitask Finetuning (多任务Finetuning实践)
-
Others and the Future (未来展望)
Talk·预习资料
▼
-
WeLM官网
-
WeLM: A Well-Read Pre-trained Language Model for Chinese
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
Talk·嘉宾介绍
▼
苏辉
微信AI高级研究员
苏辉，微信高级算法研究员，主要研究方向为大规模预训练语言模型、对话系统、文本摘要、文本对抗/文本鲁棒性；同时负责微信对话系统和微信安全等业务的产品落地；
在学术方面，苏辉在ACL, EMNLP, AAAI等国际知名会议发表20余篇论文，累计引用次数超过1300次，多年担任ACL，EMNLP，AAAI等国际顶级会议的审稿人。他在2018年于中科院软件所获得工学硕士学位。
个人主页：
http://huisu.me/
-The End-
关于TechBeat人工智能社区
▼