【文心一言-大模型基座-预训练团队:招聘文本与全模态理解算法工程师/研究员/实习生】 百度文心(ERNIE)基座模型团队长期致力于预训练大模型与多模态基础技术的研究与落地,在语言、视觉及多模态统一建模方向拥有长期积累。在这里,你将使用业界领先规模的 GPU 与数据资源,与顶尖研究员和工程团队紧密合作,深度参与与主导文心ERNIE下一代大语言模型与多模态理解模型相关技术的攻坚研发与创新研究,共建业界领先的大模型基座。 【岗位职责】 1. 参与或主导文本与全模态理解大模型预训练的创新研究与算法落地; 2. 探索方向包括不限于:高效网络结构,长文稀疏注意力,多模理解编码器,音视频与长视频理解,高质量预训练数据构建等; 3. 参与大规模分布式训练、推理的基础架构搭建与性能优化; 4. 跟进前沿研究进展,撰写高水平学术论文与技术报告(相关资源支持Scaling扩展,创新算法成为业界标杆)。 【岗位要求】 1. CS/AI/ML 等相关背景,社招/校招/实习生均可; 2. 在文本/图像/视频/语音理解等领域有项目或研究经验; 3. 具备扎实的代码能力,良好的学习与协作能力,大规模模型训练经验优先; 4. 顶会论文(CVPR/ICCV/ACL/NeurIPS/ICLR/ICML 等)、竞赛经历(ACM/Kaggle)优先。 【加分项(满足其一即可)】 1. 数据方向:熟悉文本或多模理解数据构建经验,具备工业级,大规模预训练数据处理、清洗、过滤或合成经验。 2. Infra方向:熟悉、使用并基于Megatron分布式框架进行开发与训练,了解各分布式训练算法与算子加速开发。 3. 后训练方向:熟悉文本或多模理解后训练算法,具备推理框架(如 SGLang/vLLM)或 RL 框架(如 veRL)的使用或开发经验。 【联系方式】 欢迎联系:hanxiaotian@baidu.com