机器学习系统领域（MLSys）有哪些顶级的实验室呢？

莺歌燕舞

主要是想问一下从system转向做mlsys的一些组，不是那些搞联邦学习的。能介绍一下最好了。

原文地址：https://www.zhihu.com/question/458867286

卡卡

大家好，我是苗旭鹏 （Xupeng Miao），经过了5年的PhD学习和2年的Postdoc生活，我在今年（2024）秋季正式加入了普渡大学（Purdue University）计算机系，担任助理教授（Assistant Professor）。这里也给自己挖个坑，等后面有机会在知乎上开个帖子分享一下土博在北美找教职的体验。目前，我的课题组正式开始招生了，主要面向2025年秋季入学的博士生、随时可以开始参与科研项目的实习生（可远程）以及博士后，以下是详细的招生广告：
个人简介：

苗旭鹏（Xupeng Miao）博士于2024年秋季开始在普渡大学（Purdue University）计算机系担任Kevin C. and Suzanne L. Kahn New Frontiers助理教授（Assistant Professor）。在加入Purdue之前，他在卡内基梅隆大学担任博士后研究员，与Zhihao Jia和Tianqi Chen教授及其研究团队一起工作。在此之前，他于2022年在北京大学计算机学院获得博士学位，导师是崔斌教授。他的主要研究兴趣包括机器学习系统，数据管理和分布式计算，主持或参与了多个明星开源系统的设计与研发，如 Hetu、FlexFlow Serve、Angel 等，已在国际顶级学术会议和期刊上发表论文 50 余篇，涵盖操作系统（OSDI/SOSP）、分布式计算（ASPLOS/NSDI）、数据管理（SIGMOD/VLDB）等多个计算机系统领域，并在ICML 2024和SIGMOD 2024大会上做Tutorial报告。此外，他还担任了MLSys 2025的AE Co-Chair以及多个相关领域国际会议/期刊评审。他曾获得2022 ACM 中国优秀博士论文奖（全国奖）、VLDB 2022 最佳论文奖、ASPLOS 2024 Distinguished Artifact Award 、ACL 2024杰出论文奖、世界人工智能大会云帆奖·璀璨明星等多项荣誉。
个人主页：https://hsword.github.io
联系方式：xupeng@purdue.edu
招生信息：

课题组目前计划招收2025秋季入学的多位博士生，并且长期欢迎本科，硕士和博士生的访问、实习与合作，研究方向重点是机器学习系统（System for ML）优化，感兴趣的同学可以直接发邮件联系（附CV和成绩单），博士申请人除邮件联系以外还需通过Purdue官方网站说明的申请流程准备材料并提交申请。
学校简介：

普渡大学（Purdue University）是一所世界著名的研究型大学，创建于1869年，十大联盟创始成员，美国大学协会成员校，公立常春藤。普渡大学主校区位于美国印第安纳州的西拉法叶市（West Lafayette），毗邻芝加哥和印第安纳波利斯。普渡大学于1962年创办了美国高校首个计算机科学系，并长期位居全美高校排名前20名，例如，在CS Ranking （2014-2024）中总排名第13，Systems方向排名第8，在US News 2024中排名第19。


<hr/>希望申请的同学对MLSys研究有足够的热情！
对我的过往研究感兴趣的同学可以查看我个人主页上的论文列表，或者我之前的知乎文章和回答，比如：
Hsword：CMU发布「投机式推理」引擎SpecInfer，大小模型联动让LLM推理提速2-3倍！Hsword：北大河图发布大模型自动并行训练神器「惊破天」Galvatron，入选国际顶会VLDB2023Hsword：北大团队自研AI框架“河图”提出稀疏大模型训练新架构由于收到的邮件太多，对于研究经历不够匹配的同学或者模版式来信，恕不能一一回复，望大家理解～

大力水手

首先大家应该看 机器学习系统领域（MLSys）有哪些顶级的实验室呢？ - 乔枫惜的回答 - 知乎
机器学习系统领域（MLSys）有哪些顶级的实验室呢？
这个回答下边的基本上都是四大和一些超级牛校啊…实在是太难了。讲讲看过的所有mlsys教授吧，帮大家节省一些时间。 找大佬基本上就是去翻Ion 组 出来 的博后和博士就可以了。Ion Stoica's Home Page
根据sonta 大佬说， 还有  Stanford   Chris Ré 的学生们。  比如  chicago 的副教授 ce zhang.
CMU的Catalyst， zhihao jia 在做 sys for llm。
普林斯顿 Tri Dao  ap今年在 Together.AI.  做transformer 机器学习系统
康奈尔 Udit Gupta 做处理器，他在纽约tech校区
uiuc  Charith Mendis  挺好的， ap, 好像做编译jax。 fan lai 明年去uiuc了. 他要在meta待一年。
ucla  Cho-Jui Hsieh 。
yale Wenjun Hu 24年在休假。 Anurag Khandelwal 做serverless 云计算  
u chicago   Sanjay Krishnan  DB 和机器学习，  daniel kang 机器学习的视频分析 不知道算不算 mlsys。  
michigan  Mosharaf Chowdhury sys for AI。    Mingyan Liu 正教授 资源分配。 Barzan Mozafari 副教授， 做  db for ml 。 Trevor Mudge 教授 3w引用， arch for gnn 。Ma, Lin ml for db ,Ronald Dreslinski 体系结构 for ml , Mars, Jason  arch 4 ml  。
duke   matt lentz ap 主要做移动网络， 在异构基础设施上服务和优化机器学习工作流 。  Hai "Helen" Li 正教授，13000引用 。
osu  Jia (Kevin) Liu  
uga Geng Yuan ，  Wei Niu， https://zhuanlan.zhihu.com/p/650836884
boston university   Vasiliki (Vasia) Kalavri 图处理，流处理系统
Iowa State University  Ali Jannesari  异构 GNN 分布式计算
George Mason University zhuangdi zhu    ， Xiang Chen
houston 大学  Feng Yan
NCSU北卡州立  Xipeng Shen  加速GPU，加速设备计算 ，
university of iowa  peng jiang  
滑铁卢大学  张弘 ap，sys for ml
Rutgers  罗格斯大学   Hang Liu ece 。 Zhao Zhang 做hpc for ml，ap
Minnesota，Twin Citie    Jon Weissman ， Ali Anwar   ， George Karypis， chandra ，
utah  P Sadayappan  大牛正教授 做矩阵分解for ml。 编译加速。
Rochester  ， Tony Geng FPGA, GPU for gnn 。
uconn   Caiwen Ding GPU编程for ml
UCLA  Blaise-Pascal Tine 做硬件协同
eth Roger Wattenhofer
psu eecs  Chita R. Das  正教授， George Kesidis 后门中毒攻击神经网络。
UW  simon peter
威廉玛丽  Yifan Sun， 做体系结构for ml，
penn  Vincent Liu Osbert Bastani ，  Eric Wong
圣母大学 Yiyu Shi  硬件加速ml，

检验医师

我觉得楼上很多高赞回答都是冲着帽子和名校去的，所以我想在这里有点补充。首先我想澄清一个问题，就是mlsys其实搞的还是system，而不是ml+system发出paper就完事了。唯高校排名和paper论，并不合适。
下面是我了解的一些比较硬核的老师
1，UTK，Jack Dongarra的ICL。代表作大家耳熟能详，起草了BLAS，LAPACK，open MPI。包括大家今天以dag为基础的tensorflow，其实icl早就有相应的包给大规模hpc系统了（PARSEC，类似还有斯坦福的legion)。这个实验室，发paper一般，学校一般，但是做东西极其底层和硬核，一直是我非常尊敬的实验室之一。
（嗯，今天听说老爷子得图灵奖了，虽然是意料中的事情，非常开心）
2，Berkeley James Demmel和他在新加坡国大的学生You Yang。James做的比较偏算法一些，最近几年跟尤洋弄大batch分布式机器学习挺火热的。
3，我师兄johnathan mace，现在在mpi。我老板一直在做tracing，johnathan应该是最能传承他的弟子了。拿过sosp best paper，帮fb构建了tracing系统。最近也在做DNN serving。
4，斯坦福的keith winstein。serverless computing那些应用做的非常有意思，一张嘴给ppt能全程抓住你的注意力。

大力水手

因为从事相关的研究以及在准备PhD的申请，所以有一些了解，只是以自己知道为标准，排名不分先后，欢迎大家补充。
北美：业界当然是Google Brain和MSR最有影响力。CMU的Catalyst，除了大家比较熟悉的陈天奇（TVM，XGBoost，MXNet），Zhihao Jia的研究也很promising（TASO），另外两位senior的老师都已经很有名了。MIT DSAIL Lab，其中有大家比较熟悉的韩松老师（Pruning和后续一系列的Sparse工作）和Tim Kraska（Learned Index和一系列后续），MIT还有一些著名的项目譬如Halide, TACO也和现在的MLSys关系挺大，这些都离不开Saman Amarasinghe | MIT CSAIL。Stanford Dawn，有Spark的作者Matei Zaharia，除了Dawn斯坦福还有相当一些老师做MLSys相关。Berkeley RISE星光璀璨就不用介绍了，最近一个大系统是Ray。UW的SAMPL和System Lab。UMich的SymbioticLab有Mosharaf Chowdhury。System@NYU，有Jinyang Li（DGL作者Minjie Wang的导师）。UWisc有Shivaram Venkataraman。UToronto有EcoSystem - Professor Gennady Pekhimenko。
欧洲：MSR Cambridge。ETH Systems Group几位AP做MLSys，拓展宽一些的话，Arch背景的Onur Mutlu和HPC背景的Torsten Hoefler都很厉害有MLSys的项目。PARSA at EPFL。德国马普所软件系统所MPI-SWS实力也很强，最近有distributed ML serving的工作发在OSDI上。英国帝国理工的LSDS。爱丁堡大学有Luo Mai老师。Cambridge的system lab曾经非常强势，经评论区提醒CaMLSys 也可以关注一下。
国内：工业界里面MSRA的系统和网络组可能是做的最好的，字节、阿里、亚马逊ASAIL也都在特定领域里面有一些影响。国内system lab本来也少，所以很多MLSys的工作其实还是偏做性能优化的思路，清华的PACMAN和北大的高能效计算与应用中心（都偏Arch）还有一些别的组都有比较稳定的产出，上交IPADS作为国内最强的system lab现在也做一些MLSys，科大李诚老师博士毕业于MPI-SWS也是分布式系统的背景。

清风寡欲

MLSys的包含的范围很大，我所知道的实验室有以下几个：

• CMU的Catalyst Group。邢波(Eric Xing)、陈天奇(Tianqi Chen)、贾志豪(Zhihao jia)所在的实验室。
  
• Berkeley的RISE Lab。开发了Ray、Spark。RISE Lab的老师开设了AI for Systems and Systems for AI(CS294)。
  
• Stanford的AI Lab。里面有个小组叫做Hazy Research，会关注机器学习系统。还举办了一个名为Stanford MLSys Seminar Series的研讨会。
  
• UMich的Symbiotic Lab，研究计算机网络的实验室。有大数据系统和机器学习系统在通信方面的工作。学术带头人Mosharaf Chowdhury开设了Systems for AI(EECS598)这门课。
  
• NUS的HPC-AI Lab。尤洋(Yang You)主持的实验室。
  
• MSR的fiddle项目。
  

不过本人水平有限，分不清实验室的水平。