并行多任务学习论文阅读(二)同步和异步优化算法

1、并行与分布式多任务学习(Multi-task Learning, MTL)简介我们在上一篇文章《并行多任务学习论文阅读(一)多任务学习速览》(链接:https://www.cnblogs.com/lonelyprince7/p/15481054.html)中提到,实现多任务学习的一种典型的方法为增加一个正则项:\[\begin{aligned} \underset{\textbf{W}}{\min} & \su...

并行多任务学习论文阅读(一):多任务学习速览

最近导师让我做并行多任务学习方面的工作,我开始着手阅读这方面的论文并归纳一个大致的速览。首先,我们看看什么是多任务学习,然后我们主要聚焦于基于正则化的多任务学习方法(这也是目前学术界主要的并行对象),并在此基础上讨论如何分布式并行。1、多任务学习介绍类似于迁移学习,多任务学习也运用了知识迁移的思想,即在不同任务间泛化知识。但二者的区别在于: 迁移学习可能有多个源域;而多任务学习没有源域而只有多个目标域。迁移学习注...

并行多任务学习论文阅读(三):运用代理损失进行任务分解

1 代理损失函数——一种并行化技巧我们在本系列第一篇文章《并行多任务学习论文阅读(一)多任务学习速览》(链接:https://www.cnblogs.com/lonelyprince7/p/15481054.html)中提到,实现多任务学习的一种典型的方法为增加一个正则项:\[\begin{aligned} \underset{\textbf{W}}{\min} & \sum_{t=1}^{T} [\frac{1}...

并行多任务学习论文阅读(五):论文阅读总结

并行多任务学习论文阅读(五):论文阅读总结做为最后一篇并行多任务学习的论文阅读记录,我决定对我目前为止粗读和精读的论文进行一次总结,然后陈述一些个人对该研究领域的见解和想法。论文总结归纳目前已经有许多论文对多任务学习提出了并行化策略,我们可以大致概括如下几类:(1) 基于近端梯度的同步算法描述 多任务学习优化中首先面临的问题即目标函数\(F(\bm{\theta}) = f(\bm{\theta}) + g(...
© 2021 LMLPHP 关于我们 联系我们 友情链接 耗时0.007068(s)
2021-11-27 19:57:47 1638014267