职位描述
岗位职责1、参与LLM推理服务框架分布式架构设计,关键技术验证,参与相关模块的工程化实现;2、参与大模型推理引擎的研发和优化,包括推理系统优化、模型量化压缩和模型部署;3、参与LLM分布式推理的性能优化,包括基础设施系统优化,综合平衡算法效果和推理速度,加快算法迭代速度;任职条件1、本科及以上学历,计算机相关专业优先;2、3年以上软件开发经验,有推理引擎开发经验,工程能力强的候选人优先;3、熟悉主流的大模型推理框架Vllm/Sglang/TensorRT-LLM等;4、必须熟悉Python,有具有扎实的C++能力优先,具有良好的编程习惯,熟悉Pytorch、Tensorfl ow等一个或多个深度学习框架开发;5、有大模型项目落地经验优先。
企业介绍
网宿科技(300017)成立于2000年,2009年于深交所创业板首批上市(300017),是全球化的信息基础设施平台服务提供商,业务遍及全球70多个国家和地区。公司始终致力于助力产业数字化转型升级,满足用户随时随地、安全、可靠的数据处理及交互需求。公司专注于边缘计算、云分发、云安全、云计算、云服务及绿色数据中心业务,帮助企业技术创新实践,是产业数字化转型升级值得信赖的合作伙伴。