2024 年虽然已经由半,在大模型持久霸占技能圈「热搜榜单」的本日,我们将于 7 月 6 日(周六)在中国科学院打算技能研究所,举办 Meet AI Compiler 技能沙龙的第 5 期线下聚会。
本次 Meetup 分为技能分享和圆桌谈论两个环节,高朋分别来自上海交通大学、中国科学院打算技能研究所、微软亚洲研究院、北京智源人工智能研究院,期待新的聚会能为大家带来新的技能收成,结交新的同行好友~
活动详情
⏰ 韶光:7 月 6 日(周六)13:30-18:00
地点:北京市海淀区科学院南路 6 号中国科学院打算技能研究所一层报告厅
人数:200(现场座位有限,请尽早报名)
报名:扫描下方二维码报名
扫码备注「AI 编译器」加入活动群:
议程:
高朋及议程
环节 1分享高朋
内容简介:本次分享将先容 MLCEngine,一个能够在不同平台上 Universally Deployment 的 LLM 引擎。MLCEngine 既在做事器上具备 high-throughput, low-latency 的 LLM serving 能力,同时又支持在各种本地环境下无缝支配当今高质量的大措辞模型。
不雅观看本场分享,你将理解:
1. MLCEngine 的设计理念和利用办法
2. Universally Deployment 的意义
3. 针对 LLM 推理引擎发展的思考
分享主题:ElasticRoom: Multi-Tenant DNN Inference Engine via Co-design with Resource-constrained Compilation and Strong Priority Scheduling
内容简介:运行时软件中的 GPU 资源划分机制已广泛运用于作业调度程序和多租户打算系统,以提高资源利用率和吞吐量。然而,现有的 GPU 资源划分机制在面临批量异构 DNN 推理要求的时候无法同时提高 GPU 资源利用率并确保实时要求的低延时。我们提出了一种创新的多租户 DNN 推理引擎 ElasticRoom,它基于 TVM 构建了资源约束编译并通过优先级调度同时实现高 GPU 利用率和实时要求的低延迟。
不雅观看本场分享,你将理解:
1. GPU 资源管理与任务调度
2. 基于 TVM 的资源约束编译
分享主题:基于块 (Tile) 抽象的高效深度学习编译系统
内容简介:随着深度学习算法和硬件的快速发展,业界对高效、快速的模型支配有了更高哀求,深度学习编译器成为了一种新的连接模型打算表达和底层硬件实行的路子。然而,如何在不同硬件上高效支持快速发展的深度学习运用仍旧存在很多寻衅。本次分享将先容我们基于统一的块 (Tile) 抽象,在深度学习编译领域的一系列探索性事情。
不雅观看本场分享,你将理解:
1. 基于块 (Tile) 抽象的深度学习编译栈
2. 在深度学习运用处景,如何通过块 (Tile) 抽象优化全局访存效率
3. 在深度学习运用处景,如何通过块 (Tile) 抽象支持低精度深度学习打算
分享主题:基于 Triton 的大模型算子库 FlagGems 创新实践
内容简介:基于 OpenAI 的 Triton 措辞,我们开拓了高性能的通用算子库 FlagGems,为 PyTorch 框架下的大模型供应推理与演习加速。针对 Triton 的编程特点,我们运用了运行时优化和自动代码天生两项技能创新,拓展了算子的表达能力,提高了算子的性能表现。
不雅观看本场分享,你将理解:
1. 认识 Triton 编程措辞,打仗 Triton 开源生态
2. 理解 FlagGems 算子库及其开拓进展
3. 理解 FlagGems 中运用的运行时优化技能和自动代码天生技能
环节 2圆桌环节
圆桌主题:Transformer 时期的跨异构芯片编译优化
主理方及互助伙伴
HyperAI超神经是海内领先的人工智能及高性能打算社区,旨在通过供应数据集加速下载、在线教程演示、论文深度解读、顶会日历集成等多种根本举动步伐,助力中国的数据科学与⼈⼯智能⾏业的开拓者、爱好者学习、理解、实践,与社区⼀起构建⼈⼯智能的未来。目前超神经官网已经上线数千个经典及优质公开数据集和教程,并运营海内最生动的 AI 编译器社区,HyperAI超神经也是本系列活动的唯一主理方。
访问官网:https://hyper.ai/
OpenBayes贝式打算是海内领先的高性能打算做事供应商,通过为新一代异构芯片嫁接经典软件生态及机器学习模型,进而为工业企业及高校科研供应更加快速、易用的数据科学打算产品,其产品已被数十家大型工业场景或头部科研院所所采取。
访问官网:https://openbayes.com/
MLC.AI 社区成立于 2022 年 6 月,并由 Apache TVM 紧张发明者、机器学习领域著名的青年学者陈天奇,带领团队上线了 MLC 线上课程,系统先容了机器学习编译的关键元素以及核心观点。
2022 年 11 月,在 MLC.AI 社区志愿者的共同努力下,首个完全的 TVM 中文文档上线,并成功托管至 HyperAI超神经官网,进一步为对机器学习编译感兴趣的海内开拓者,供应了打仗并学习一门新技能的根本设置——文档。
MLC 线上课程:https://mlc.ai/
TVM 中文文档:https://tvm.hyper.ai/
中国科学院打算技能研究所(简称打算所)创建于 1956 年,是中国第一个专门从事打算机科学技能综合性研究的学术机构。打算所研制成功了我国第一台通用数字电子打算机,并形成了我国高性能打算机的研发基地,我国首枚通用 CPU 芯片也出身在这里。
打算所是我国打算机奇迹的摇篮。伴随着打算所的发展,先后为国家培养了几百名我国最早的打算技能专业职员,在这里事情或学习过的院士有二十余位。随着学科与技能发展,从打算所陆续分离出西安微电子所、打算中央、软件所、网络中央、微电子所和信工所等多个研究机构,孵化了遐想、曙光、龙芯、寒武纪等高技能企业。
中国打算机学会高性能打算专业委员会(Technical Committee of HPC ,China Computer Federation 缩写 CCF TCHPC),于 2005 年经中国打算机学会批准成立,作为中国打算机学会下属专业委员会,是高性能打算学术研究、组织高性能打算领域学术会议、产学运用做事的威信性机构。
本着「打造学术平台、促进家当互换、推进运用落地、平衡软硬件生态、做事行业发展、沟通产学研用」原则义务,致力于推进中国高性能打算领域的研究与发展,构建高性能打算学术、家当互助互换平台,对支撑科技发展创新,促进社会进步,增强我国综合国力和国际竞争力有着不可替代的主要浸染和意义。
2011 年 6 月,中国科学院正式成立青年创新促进会(以下简称「青匆匆会」),这是中科院对全院 35 岁以下青年科技人才进行综合培养的创新举措,旨在通过有效组织和支持,联络、凝聚全院青年科技事情者,拓宽学术视野,促进相互互换和学科交叉,提升科研活动组织能力,培养造就新一代学术技能带头人。
活动支持
活动行:扫码跳转至活动行报名
扫码备注「2024 AI 编译器」加入活动群
考虑到本场活动的园地空间情形,我们仅开放了 200 个到场名额,建议大家尽早报名锁定席位。
7 月 6 日 13:30-17:40,期待新老朋友相聚!