VLA算法工程师

地点： 杭州 到岗： 尽快（滚动招募） 周期： 3–6 个月（每周 ≥3 天；优先 4–5 天） 转正通道： 表现优秀者可转正为正式算法工程师 薪酬： 按出勤计 职位核心亮点 (Why Us?) 国内稀缺的 UMI + VLA 全链路闭环团队 我们是国内目前为数不多真正深耕并跑通 UMI (Universal Manipulation Interface) 采集方案 + VLA (Vision-Language-Action) 模型全流程的团队。 在这里，你将告别“对着公开数据集调参”的“云玩家”模式，掌握从 低成本手持数据采集 -> 自动化数据清洗 -> 模型架构设计 -> 大规模训练 -> 真机零样本部署 的核心 Know-how。这是具身智能落地的“最后一公里”，也是行业最稀缺的实战经验。 顶级赛事与学术生态 ICRA 实战：直接参与 ICRA 2026 机器人双臂交互比赛，与全球顶尖团队同台竞技。 硬核资源与算力 算力自由：配置 A100/H800 高性能计算集群，训练不排队。 真机阵列：拥有 Pika, Piper, xArm6, Duco-gcr5-910 等多款学术&工业级机械臂，提供从单臂到双臂协作的完整实验场。 工作内容 VLA（Vision-Language-Action）算法研发 与后端开发、算法同学协作，围绕模仿学习（IL）、多模态理解（VLM/VLA）、强化学习（RL）推进具身智能算法原型： 从多源数据（相机/力矩/编码器/操作日志）构建感知-决策-控制闭环； 训练与微调视觉-语言-动作策略（行为克隆、RLPD、辅助自监督任务）； 在缝纫/物料搬运等真实工位验证可复现的策略性能与稳健性。 评测体系与Bench构建 主导/共建全面、客观、可比的VLA评测： 指标设计：成功率、恢复能力、延迟/抖动敏感度、对扰动与遮挡的鲁棒性； 基准集：多场景任务脚本、可重复的场景重放（HIL/SiL/日志回放）； 评测工具链：数据整理、打分器、可视化Dashboard与自动化回归。 数据引擎与标注/合成 数据采集与清洗：示教轨迹、口令/动作配对、多模态对齐（时序对齐/时钟同步）； 数据增强：相机域迁移、光照/材质扰动、语言指令改写； 合成/仿真数据：在Gazebo/Isaac Sim/Mujoco生成带真实噪声模型的合成样本。 落地与系统协同 与后端/控制同学协作，将模型以gRPC/REST/ROS 2 bridge服务化； 优化在线推理延迟与吞吐（TensorRT/ONNX Runtime/半精度/张量并行）； 面向工位安全与合规，加入守护与保险丝逻辑（action filters、safety checks）。 论文复现与技术探索 跟进多模态/模仿学习/生成控制前沿工作并完成关键论文复现； 输出技术报告与内部Tech Talk，沉淀最佳实践。 我们在找这样的人（基础要求） 计算机/人工智能/控制/机器人等相关专业，硕士及以上学历；具备扎实AI理论基础与可落地的工程能力。 熟练掌握深度学习基础与训练套路，能够熟练使用 PyTorch 或 TensorFlow 之一；了解分布式训练与模型调参。 掌握但不限于 多模态大模型、模仿学习、强化学习、生成模型 等方向的核心方法与代表性工作。 熟练 Python/C++（其一精通、其二熟悉更佳）；具备良好的工程规范、代码整洁度与文档习惯。 有 ROS/ROS 2 使用经验（话题/服务/动作/参数/rosbag基础流转）；能与机器人系统配合完成端到端实验。 具备良好的问题分解能力与沟通协作意识，每周稳定出勤；能展示项目/论文/竞赛/仓库者优先。 加分项（任一项即可） 有端到端机器人操作相关算法研发与项目落地经验（示教学习、动作生成、视觉伺服、策略微调）。 熟悉 Isaac Sim/Gazebo/Mujoco 等机器人仿真平台与数据合成流程；有 HIL/SiL 经验。 参与/主导过多模态评测体系或公开Benchmark搭建；有指标与协议设计经验。 在 CV/ML/Robot 顶会（CVPR/ICCV/ECCV/NeurIPS/ICLR/CoRL/RSS/ICRA/IROS 等）发表论文或有相关竞赛获奖经历。 熟悉 TensorRT/ONNX Runtime/半精度/蒸馏/剪枝 等推理与部署优化；具备小型化/实时化经验。 技术栈 模型训练： PyTorch / TensorFlow、Lightning/Accelerate、DALI、Weights & Biases 多模态与策略： CLIP/InternVL/LLM 接口、行为克隆/RLPD/DAgger、分层策略与语言条件策略 数据与评测： NumPy/Pandas、HDF5/Parquet、评价脚本与可视化（Matplotlib/Plotly） 部署与服务： ONNX/TensorRT、gRPC/REST、ROS 2 bridge、异步队列/缓存（ZeroMQ/Redis 可选） 仿真与可视化： Isaac Sim / Gazebo (Ignition) / Mujoco、RViz2 机器人接口： ROS 2、rosbag2、MoveIt 2（配合策略回放）、基础控制接口联调 DevOps： Git/GitHub、GitHub Actions、Docker/NVIDIA Container、CMake/colcon 实习安排与保障 导师制： 每周 1:1 指导 + Code Review + 学习路径建议。 设备环境： 高性能显卡服务器（A100）；学术&工业级机械臂测试位（Pika & Piper， xarm6， duco-gcr5-910）；必要防护与安全培训。 学习成长： Tech Talk/读书会/论文共读；问题来自真实产线。 知识沉淀： 要求提交实验记录、设计文档与复盘报告，进入公司知识库与评测基线。 面试流程 简历筛选 + 作品集（含 GitHub/论文/竞赛） HR电话面（15-30min） 技术面（30-60min）：算法原理 + 工程落地 + 小型Coding/读题/评测设计