2024年11月13日,备受瞩目的全国大学生计算机系统能力大赛智能计算创新设计赛(先导杯)决赛在天津大学隆重举行。本次大赛由教育部指导,全国大学生计算机系统能力大赛组委会主办,天津大学承办,旨在推动计算机技术创新,培养高素质专业人才,为国家科技发展贡献力量。
本届“先导杯”首次对本科学生开放,共吸引了来自武汉大学、天津大学、华中科技大学、中国科学院软件研究院等高校和科研院所的200余支赛队、上千名选手参赛。经过激烈的初赛比拼,最终在两个赛道上,各有16支队伍脱颖而出,晋级全国决赛。在此次赛事中,西南石油大学计算机与软件学院超算与并行计算团队派出的“梦溪湖”队(何广勇、孔星权、刘潘毅)和“石油魂”队(郑云鹤、关忠林、梁建新、王政涵)在多模态大模型卷积算子优化赛题中表现出色,双双荣获全国优秀奖,并分别获得两台笔记本电脑。
(获奖名单)
挑战与创新:卷积算子优化的技术突破
在多模态大模型中,卷积运算不仅用于图像处理,还可以扩展到其他模态的数据,是深度学习中常用的操作之一,但是由于其计算量较大,在大型神经网络中可能成为性能瓶颈,导致训练时间过长。
在比赛中,参赛队伍需要通过并行编程等技术手段优化卷积运算。初始算法包含7层循环,涉及多个维度(批次、输出通道、输出图像高、输出图像宽、输入通道、卷积核高、卷积核宽)。其中,非相关的循环可以通过分块展开,但由于k和c维度的依赖性,限制了c、r、s维度的分块展开。同时,初始并行算法频繁访问全局内存,且数据读取不连续,导致性能受限。主要挑战在于如何减少数据搬运开销和有效安排线程分布,Baseline还存在大量重复计算的问题。
“梦溪湖”队通过调整循环顺序、使用Winograd算法进行优化、将3x3分块转化为4x4分块、采用列访问共享内存方式、改为朴素乘法卷积形式等手段,将原19681微秒的运行时间优化至2629微秒,取得了约7.49倍的加速比。
“石油魂”队则采用隐式通用矩阵乘算法,将卷积运算转换为矩阵乘运算加速,利用三重For循环融合为一个循环,形成隐式矩阵乘,使用共享空间和增大单线程计算任务量等优化技术,将原程序的运行时间优化至2136微秒,取得了约9.21倍的加速比。
指导教师的支持与团队协作
“梦溪湖”队和“石油魂”队的出色表现离不开两位指导老师的悉心指导。彭博老师和张全老师在备赛期间为队员们提供了重要的技术支持与精神鼓励,帮助他们深入理解并掌握相关技术。在比赛过程中,老师们通过线下会议组织队员进行答辩演练,并对内容进行了详细的指导与修改,确保队员们在比赛中充分展现出团队协作和创新能力。
(左一孔星权,左二刘潘毅,正中张全老师,右二王政涵,右一何广勇)
展望未来
本届全国大学生计算机系统能力大赛智能计算创新设计赛(先导杯)圆满落幕,吸引了来自全国各地的众多高校参赛队伍,推动了智能计算技术的创新与应用。这不仅为学生们提供了一个展示才华的平台,也促进了各高校之间的学术交流与合作。
同时感谢西南石油大学高性能计算中心的大力支持。中心为我们的超算与并行计算团队提供了先进的计算资源和技术支持,确保队员们能够在比赛中充分发挥实力。正是由于中心的支持,团队才能在技术创新和优化方面取得显著进展,为此次比赛的成功奠定了坚实基础。我们对高性能计算中心表示衷心的感谢,并期待未来继续携手共进,推动更多科技创新。
在科技不断发展的今天,超算与并行领域作为推动科学技术进步的重要力量,需要更多的智慧与创新。超算团队的成员们将会继续保持奋发图强的精神,勇于迎接未来的挑战。将会继续努力,不断突破,在未来的科研与技术创新中为行业做出更大的贡献。