工作職責(zé):?1、參與GPU單機(jī)多卡/多機(jī)多卡訓(xùn)練框架平臺體系化的設(shè)計和建設(shè)工作,提升框架易用性,支撐大模型能力建設(shè)和落地應(yīng)用;???2、參與LLM模型的并行訓(xùn)練加速,提升大規(guī)模神經(jīng)網(wǎng)絡(luò)在海量數(shù)據(jù)上的訓(xùn)練效率和穩(wěn)定性。?
???任職要求:?
???1、編程基本功扎實(shí)、熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,熟練使用?Python/C++?編程;?2、熟悉TensorFlow、PyTorch、DeepSpeed、Megatron、ColossalAI等深度學(xué)習(xí)框架,有實(shí)際的大模型訓(xùn)練、調(diào)優(yōu)的項(xiàng)目經(jīng)驗(yàn);??
???3、閱讀過Transformers源碼,熟悉底層原理,了解FlashAttention等框架;??
???4、有過大模型微調(diào)經(jīng)驗(yàn),熟悉常見技術(shù)如SFT,P-tuning,?LoRA等;?
???5、熟悉模型訓(xùn)練原理和?Optimizer?基本原理,了解分布式訓(xùn)練基本方法,對混合精度訓(xùn)練、數(shù)據(jù)并行等訓(xùn)練加速方法熟悉者優(yōu)先;?
???6、具有深度學(xué)習(xí)推理加速和優(yōu)化的經(jīng)驗(yàn),熟悉常見的加速技術(shù),如剪枝、量化、分布式推理等,并能夠根據(jù)不同場景和硬件平臺進(jìn)行針對性的優(yōu)化。