补充资料#

AI4SC 经典工作及其实现#

Deep Learning for Parallelism#

DeepSpeed 微软发布的深度学习并行训练库，基于Pytorch，可以训练类似Chatgpt的大规模语言模型。

image-20230419094520652

实验管理#

image-20230419094553171

Aim#

image-20230419094626673

图片1

image-20230419094717479

image-20230419094724098

Tuning#

image-20230419101829158

OmegaConf and Hydra#

image-20230419101903558

Deep Learning suite#

PyTorch Lightning是基于PyTorch的神经网络训练框架，能快速的实现并行训练、训练监督、混合精度等高阶功能。

image-20230419101927264

其他相关Python库#

Nvidia Modulus是nvidia实现的一个开箱即用的AI4SC工具箱，支持PINN和FNO等多种框架，且支持多种变种，其文档是很好的了解各种新工作的工具。