伴随着机器学习与人工智能技术的发展，大数据和大模型技术逐渐渗透各个行业，但其自身技术的不完善以及监管体系的缺失带来了一系列问题。因此，可信机器学习的研究愈发重要。为了加强相关领域研究者之间的联系与合作，推动数据科学、机器学习和统计与学习在可信机器学习方面开辟新的研究方法，中国运筹学会数学规划分会和北京交通大学、北京工业大学、首都师范大学、中国人民大学、中国科学院数学与系统科学研究院等拟定于2024 年7月5日-7月15日联合开设统计优化与学习理论和应用实践的短期课程，特邀请阿尔伯塔大学孔令龙教授和姜蓓教授、加州大学伯克利分校崔莹教授、明尼苏达大学双城分校孙举教授、北京大学袁坤教授、华东师范大学王祥丰教授和同济大学李文浩博士集聚北京交通大学，举办为期11天的短期课程，具体安排如下：
【课程安排】
1. Statistical Learning and Optimization with Conformal Inference and Fairness
时间：2024年7月5-10日北京时间上午8:30-11:30
主讲人：阿尔伯塔大学孔令龙教授，姜蓓教授
内容简介：Conformal inference plays an important role in constructing valid (with respect to coverage error) prediction bands for individual forecasts in Statistical learning and optimization. The appeal of conformal inference lies in the fact that it relies only on a limited number of parametric assumptions. This short course is divided into two parts. In the first part, we will cover the theory of conformal prediction, work through several examples, and then move on to some new developments with potential trends in the field. Fairness in machine learning refers to the attempts to correct algorithmic biases in automated decision processes that use machine learning models to make decisions. During the course of a machine-learning process, computers may make decisions that are perceived to be unfair if they are based on variables that are deemed to be sensitive. In this regard, there are several factors, such as gender, ethnicity, sexual orientation, and disability. During the second half of this course, we will discuss the topic of fairness analysis in the context of statistical machine learning. We will begin by discussing various definitions of fairness and then discuss ways in which fairness can be enforced. Additionally, some state-of-the-art methods will also be covered during the course of the course. Toward the end of the course, open problems will be posed for further potential directions.
授课教师简介：孔令龙是加拿大阿尔伯塔大学数学与统计科学系教授。加拿大统计学习研究主席，加拿大 CIFAR 人工智能主席，阿尔伯塔机器智能研究所 (Amii)研究员，现担任Journal of American Statistical Association和The Canadian Journal of Statistics等刊物的编委。在AOS、JASA、JRSSB等顶级期刊和NeurIPS、ICML、ICDM、AAAI、IJCAI等顶级会议上发表同行评议文章90余篇。主要研究方向为高维和神经影像数据分析、统计机器学习、稳健统计和分位数回归以及智能健康人工智能。
姜蓓是加拿大阿尔伯塔大学数学与统计科学系副教。于2008年获得阿尔伯塔大学生物统计学硕士学位，2014年获得密歇根大学生物统计学博士学位。主要研究领域包括隐私数据分析、贝叶斯分层建模、多视图数据集成的联合建模等。相关研究成果被广泛应用于妇女健康、心理健康、神经学、生态学等领域。现已在JASA，JRSSB，NeurIPS等期刊及会议上发表30余篇论文。
2. Reinforcement Learning with LLMs for Operations Research: Unlocking New Possibilities
时间：2024年7月5-6日北京时间下午14:30-17:30
主讲人：华东师范大学王祥丰教授，同济大学李文浩博士讲授
内容简介： This half-day tutorial is meticulously crafted to usher participants into the dynamic intersection of reinforcement learning (RL) and operations research (OR). Our aim is to unfold the immense potential of RL in addressing a broad spectrum of OR challenges, especially for cloud resource scheduling and multi-agent pathfinding. This enriching journey will navigate through key areas including the scope of OR, the synergy between RL and OR, diverse industry case studies (including Huawei Cloud and Geekplus Inc.), and pioneering future directions in both realms. LLMs will also be introduced into the entire methodology to enhance the efficiency of related algorithms. Participants will be immersed in a hands-on learning environment, engaging in interactive sessions and comprehensive case studies. This experience is designed to equip attendees with the skills to apply RL with LLMs strategies to real-world OR problems effectively. The tutorial caters specifically to RL and LLMs professionals and enthusiasts eager to expand their horizons into the vast domain of OR. By the conclusion of this tutorial, attendees will not only develop a deep appreciation for the diversity of OR problems but also acquire the capability to devise and implement innovative RL solutions.
授课教师简介： 王祥丰是华东师范大学计算机科学与技术学院/数学科学学院教授，主要研究方向是分布式优化、学习优化、多智能体学习等。获得中国运筹学会青年科技奖提名奖，并且2021年获得IEEE信号处理学会最佳论文奖，2022年入选上海市青年科技英才启明星。与华为云在云计算虚拟机调度、资源池规划等方面密切合作，获得华为云2023年度技术合作优秀合作伙伴奖。已在IEEE TPAMI、JMLR、ICML、ICLR、MP、MOR等人工智能/运筹学国际权威期刊/会议发表论文50余篇。目前担任中国运筹学会算法与应用分会常务理事、数学规划分会青年理事、CSIAM数学与产业专委会委员等。
李文浩是同济大学软件学院预聘助理教授，李博士主要研究方向为深度强化学习、多智能体系统、语言智能体等。在机器学习顶级期刊JMLR、TPAMI、TCYB以及顶级会议ICLR、ICML、NeurIPS、CVPR、IJCAI、KDD、AAMAS、ICRA上发表论文20余篇，获得AAMAS 2021学生奖学金，并受邀在DAI（2021）会议作口头报告。李博士主持博士后自然科学基金面上项目1项，参与国家自然科学基金面上项目以及青年基金项目2项，入选2020年腾讯“犀牛鸟”精英人才培养计划，获得上海市教育委员会评定的“2022年度上海市优秀毕业生”、上海市计算机学会评定的“2022年度优秀博士论文奖提名奖”等荣誉称号。
3. 面向大语言模型的高效最优化方法
时间：2024年7月7-9日北京时间下午14:30-17:30
主讲人：北京大学袁坤教授
内容简介：近年来，大语言模型在识别、理解、决策、生成等诸多任务中取得了巨大成功，被视为通向通用人工智能的关键技术。本课程将介绍面向大语言模型的前沿最优化算法，这些算法在大语言模型的训练、推理和微调过程中发挥着关键作用。本课程的内容包括四部分：第一部分将介绍大语言模型的基本概念和常见架构；第二部分将讨论随机优化算法基础，包括随机梯度下降法, 动量法, 自适应算法等；第三部分将介绍大模型的高效训练算法，包括混合精度训练，通信高效的分布式训练算法等；第四部分将介绍大模型的高效微调算法，包括低秩微调算法，零阶微调算法，坐标轮换微调算法等。通过本课程的学习，学生将能够深入了解大语言模型中的高效最优化算法，为面向大语言模型的研究和应用打下坚实的基础。
授课教师简介：袁坤在北京大学国际机器学习研究中心任助理教授。他曾在2018年到瑞士洛桑联邦理工学院任访问研究员，2019年至2022年在阿里巴巴达摩院美国西雅图研究中心任高级算法专家。他目前主要关注如何为深度学习、联邦学习、以及边缘计算中的大规模问题设计快速且可靠的分布式优化与学习算法。他在2018年获得IEEE信号处理协会青年作者最佳论文奖。
4. Stochastic Optimization for trustworthy machine learning
时间：2024年7月11-15日北京时间上午8:30-11:30
主讲人：加州大学伯克利分校崔莹教授
内容简介：The purpose of this short course is to introduce the fundamental understanding of the basic theory, models and algorithms for stochastic optimization, and with illustrations of how the theory and methods can be applied to trustworthy machine learning and related disciplines. In the process, students will also learn about optimization under uncertainty and related analytical tools.
授课教师简介：崔莹是美国加州大学伯克利分校工业工程与运筹学系助理教授。曾担任明尼苏达大学助理教授。她的研究方向是数据科学的数学基础，重点是运筹学、机器学习和统计估计的优化技术，对非光滑性大规模非线性优化问题的高效算法十分感兴趣。她是专著《Modern Nonconvex Non-differenable Optimization》的合著者。
5. When Constrained Optimization Meets Deep Learning
时间：2024年7月11-15日北京时间下午14:30-17:30
主讲人：明尼苏达大学孙举教授
内容简介：The success of current deep learning (DL) frameworks relies on massive data. When data are limited, prior knowledge could complement it. Moreover, DL models do not always behave in ways that humans hope for, e.g., violating physical laws, making biased predictions, and being sensitive to small distribution shifts in deployment. To improve the trustworthiness of DL models in these directions, the desired properties often need to be explicitly modeled. Integrating prior knowledge and modeling desired properties is crucial to the development of trustworthy and safe DL models, especially in data-limited scenarios. In this short course, we introduce the basics of deep learning and highlight the role played in numerical optimization.We sample important hard-constrained DL problems arising from promoting the trustworthiness and safety of DL, discuss the major algorithmic ideas used in practice, and reveal important research gaps between optimization and constrained DL problems. Toward the end, we describe how developments in DL feed optimization with refreshing ideas for tackling difficult optimization problems effectively.
授课教师简介：孙举是明尼苏达大学双城分校计算机科学与工程系的助理教授。曾获SPARS 2015年度最佳学生论文奖、2017年New World Mathematics Awards博士论文优秀奖和2021年AAAI学术新星项目。他的研究兴趣包括计算机视觉、机器学习、数值优化、数据科学、计算成像和医疗保健。他最近的工作主要集中在深度学习的基础和计算，以及将深度学习应用于解决具有挑战性的科学、工程和医学问题。
【开课说明】
举办地点：北京市海淀区北京交通大学
举办方式：线上和线下结合
食宿：提供午餐、晚餐，住宿等其它费用自理
选课时间：2024年6月10日-7月4日
【报名及审核通知】
1. 报名方式：点击网址https://f.wps.cn/g/DU01Boev/或扫面文末二维码填写报名信息，提交相应材料。
2. 线下参加的学员在报名时需提交申请表(见附件1)和1封专家推荐信(须有推荐人的手写签名，研究生由导师推荐即可)；线上参加的学员可不提交。
3. 报名截止日期为2024年5月30日，审核后将于2024年6月5日后以邮件方式通知学员。
【课程联系人】
胡明伟，15801537896，21121623@bjtu.edu.cn
吴佳梅，17779149782，21121637@bjtu.edu.cn
赵 航，18801236286，23111520@bjtu.edu.cn
北京交通大学数学与统计学院
2024年4月22日
