2023年8月17日（周四）9:30，由中国人工智能学会（CAAI）主办、CAAI人工智能基础专委会承办、并行科技协办的系列公益直播讲座AI云播课第7期将在线举办。届时，渥太华⼤学电⼦⼯程与计算机学院茆永轶教授将围绕“从信息论的视⻆透视机器学习的泛化”在线开讲。

特邀讲师简介

茆永轶于1992年获得东南⼤学⽣物医学⼯程学⼠学位，于1995年获得南京医科⼤学医学学⼠学位，于1998年在加拿⼤多伦多⼤学医学⽣物物理系获得了硕⼠学位，于2003年获得多伦多⼤学电⼦⼯程博⼠学位，并于同年加⼊渥太华⼤学电⼦⼯程与计算机科学学院担任助理教授。2008年晋升为副教授，2012年晋升为正教授。研究领域涵盖通信、编码、信息论和机器学习，⽬前主要关注理解和改进现代深度学习范式、机器学习在计算机视觉、⾃然语⾔处理、知识库、通信、⽣物学和医学等领域的应⽤，以及机器学习的基础理论。

直播摘要

深度学习的蓬勃发展给统计学习理论提出了巨⼤挑战。具体来说，深度神经⽹络通常具有极⼤的容量，根据统计学习理论，这些⽹络应该会在训练数据上过拟合，在未曾⻅过的测试数据上表现出糟糕的泛化性能。然⽽⼤量证据表明事实并⾮如此。经典的统计学习理论⽆法解释深度学习的泛化可以归因于这些理论未能考虑数据分布或学习算法。⾃从[Xu and Raginsky，2017]的开创性⼯作以来，信息论在分析机器学习算法的泛化性能⽅⾯展现出巨⼤的潜⼒，因为基于信息论的泛化界能够同时考虑数据分布和学习算法。在本次报告中，茆永轶教授将选择性地介绍⼀些我们组在这⼀领域的⼯作。他将介绍其为⽤随机梯度下降（SGD）训练出来的模型提供了新颖的基于信息论的泛化界以及它对[Neu et al，2021]中的泛化界的显著改善。另外他还将介绍其在[Steink and Zakynthinou，2020]的超样本设置下取得的迄今最紧的基于信息论的泛化界。本次报告的内容主要基于茆永轶教授及其博⼠⽣汪⼦乔合作的以下论⽂。

Ziqiao Wang and Yongyi Mao, “On the generalization of models trained with SGD: information-theoretic bounds and implications”, ICLR 2022.

Ziqiao Wang and Yongyi Mao, “Tighter information-theoretic bounds from supersamples”, ICML 2023.

内容预告

1）深度学习对统计学习理论的挑战

2）信息论作为研究泛化⼯具的优势

3）⽤信息论为SGD训练出的模型做泛化界

4）[Steink and Zakynthinou，2020] 的超样本设置以及相关的信息论泛化界5）在超样本设置下迄今最紧的信息论泛化界

P.s. ：直播间将进行弹幕抽奖，送出精美小礼品，千万别错过哦！

关于AI云播客

AI云播课是由中国人工智能学会主办、人工智能基础专委会承办、并行科技协办的系列公益直播讲座，以分享AI前沿学术成果、解读AI热点话题为出发点，以普及AI领域高性能计算应用为落脚点，依托互联网直播平台，面向人工智能领域的研发者、从业者和高校师生，展开场景化AI算力应用分享，孵化AI和高性能计算创新应用人才。

AI云播课于2023年1月正式开播，每月举办一期，每期邀请一位人工智能不同领域的国内外著名专家学者进行一个小时左右的主题报告分享。直播平台为视频号【并行科技】和B站【并行科技】。

观看往期直播回放：https://space.bilibili.com/506735836