加入我们

充分挖掘代际领先的 3bit 向量量化大模型压缩技术优势，研发构建自主可控的模型压缩、算子及工具链、推理框架、智能体框架全栈闭环大模型生态平台。

• 负责大模型推理框架的研发与优化，提升模型在 GPU/NPU 等硬件上的推理效率与吞吐量；
• 研究并实现的大模型压缩压缩、KV Cache 压缩，在保证模型精度和生成质量的前提下大幅降低显存占用与计算开销；
• 深入 GPU/NPU 硬件架构，进行核心算子开发与性能调优，设计面向向量化推理的高效 kernel，充分发挥底层硬件计算能力；
• 构建和优化大模型推理引擎，支持动态 Batch、Continuous Batching、KV Cache 优化等先进推理加速技术，实现与推理框架的端到端融合加速；
• 将压缩与推理加速能力落地到实际业务场景，持续优化端到端延迟、吞吐量和资源成本；
• 跟踪业界前沿技术动态，探索在大模型推理中的新算法与新硬件适配，保持技术领先性。

• 计算机、人工智能、电子工程等相关专业，硕士及以上学历，2年以上算法或系统开发经验；
• 精通大模型压缩、KV Cache 压缩：熟悉（INT8 / FP8 / INT4）的优劣对比与混合部署策略；
• 精通 GPU/NPU 硬件架构及算子开发与优化：熟练掌握 CUDA/C++ 编程，有 Tensor Core 算子开发经验，熟悉 NPU 架构（如 Ascend、Rockchip NPU 等），能够自定义解码 kernel 和查表算子，进行算子级别的性能分析与调优；
• 精通大模型推理框架开发：深入理解并熟练使用至少一种主流推理框架（vLLM、TensorRT-LLM、llama.cpp、TGI等），具备推理引擎核心模块开发能力（如 Attention kernel 优化、PagedAttention 实现、Continuous Batching 调度器开发等）；
• 扎实的深度学习与编码理论基础，熟悉 Transformer 架构及其变体（如MoE、Long-context等），有大模型训练或微调经验者优先；
• 优秀的工程能力和系统思维，能够在精度、延迟、吞吐量和显存消耗之间进行权衡与优化；
• 良好的团队协作与沟通能力，能够独立完成技术方案设计与评审。

• 在向量化压缩方向有系统性研究成果，如 Codebook 优化、动态码本、跨层共享码本、量化感知训练（QAT）等方面的深度实践；
• 有大模型端到端推理优化项目经验，推荐吞吐量达到或超过业界 SOTA 水平；
• 在 NeurIPS、ICML、ICLR、ACL、OSDI、SOSP 等顶级会议或期刊发表过相关论文。