题目: 随机梯度算法与方差缩减算法


报告人:杨卫红 教授(复旦大学)

 

时间:202275日,13:30-15:00

腾讯会议 ID217-283-244

 

摘要: 随着人工智能的兴起,随机梯度算法受到越来越多的重视。在实际计算中,随机选取一些样本的梯度近似目标函数的梯度可以对目标函数进行下降。如此的随机梯度算法方差会比较大,为此有学者提出了方差缩小算法方程缩减算法需要在外迭代中计算一个全梯度,这样的缺点是运行速度非常慢。为了提高随机梯度算法的速度,有学者提出了拟牛顿随机梯度算法和拟牛顿方程缩减算法。我们将对这些算法进行介绍,同时介绍我们的一个改进的 SVRG 算法。数值实验表明改进的算法加快了算法的收敛速度。在理论上我们还证明了算法的收敛性。


邀请人:张雷洪