VLA

Kinger2026/7/23大约 5 分钟

在深入探讨 VLA（Vision-Language-Action，视觉-语言-动作模型） 的参数之前，我们先为它下一个极其形象的定义：如果说 LLM（大语言模型）是 AI 的“大脑”，那么 VLA 就是给这个大脑接上了“眼睛”和“四肢”，它是具身智能（Embodied AI、机器人、自动驾驶）的核心驱动引擎。

在 VLA 的训练和推理中，参数和指标跨越了计算机视觉（CV）、自然语言处理（NLP） 和 机器人控制（Control/Action） 三大领域。作为 AI Infra SRE，你面对的将是一个前所未有的“多模态混合参数矩阵”。

我们直接把 VLA 的核心参数、配置和监控指标扒开来看：

一、输入端参数（“眼睛”与“耳朵”）

VLA 需要同时接收视觉（图像/视频）和语言（人类指令），在输入端有几个决定显存生死的关键参数：

1. Image/Video Resolution (图像/视频分辨率)

常见配置： 224x224、336x336 甚至 512x512。
SRE 显存视角： 机器人摄像头拍到的图片，不能直接喂给模型，必须先切成一个个的 Patch（图像块，通常是 14x14 或 16x16）。分辨率越高，切出来的 Patch Token 就越多。
惊人的显存暴涨： 图像 Token 的数量随着分辨率呈二次方增长。如果从 224 提升到 448，视觉部分的显存开销会直接翻 4 倍，前向传播时会产生极其恐怖的激活值（Activations）。

2. Frame Rate / History Window (帧率与历史时序窗口)

常见配置： FPS=5 或 FPS=10；历史窗口为最近的 6-10 帧。
SRE 视角： 机器人干活是连续的，VLA 不能只看当前这一眼，它必须记得前几秒发生了什么（比如“手正在往下放”）。这意味着输入端是一个 [Batch, Time, Channels, Height, Width] 的 5 维超大张量（Tensor），极其消耗显存。

二、动作输出端参数（“四肢的控制台”）

这是 VLA 独有、而 LLM 完全没有的参数维度。模型输出的不再是文字概率，而是机器人的动作指令。

1. Action Space (动作空间) 与 DoF (自由度)

概念： 模型能控制机器人做哪些动作。最经典的是 7-DoF（7自由度机械臂）。
核心参数： * EEF Position (末端执行器位置)： $[x, y, z]$ 三维空间坐标。
EEF Orientation (末端执行器姿态)： $[roll, pitch, yaw]$（翻滚、俯仰、偏航角）。
Gripper (夹爪状态)： $[0 \text{ 到 } 1]$ 的连续值（代表夹爪开合度）。
Action Dimension (动作维度)： 上述参数拼在一起，通常是一个 7 维或 8 维的向量。模型每一步推理，就是要吐出这 7 个数字。

2. Action Chunking Size / Horizon (动作分块大小 / 预测步长)

概念： 极其关键的性能参数！模型预测一次，连续执行几步。
如果 Chunking Size = 1：模型看一眼图片，吐出一个动作，机器人动一下；然后再看一眼，再动一下。
如果 Chunking Size = 8：模型看一眼图片，直接预测出接下来的 8 步动作序列，机器人连续动 8 下。
SRE 性能权衡（Trade-off）： * 调大 Chunking Size 能大幅减轻推理服务器的压力（QPS 骤降），因为模型不需要频繁做全量矩阵乘法。
但代价是如果环境发生突变（比如有人突然推了机器人一下），机器人由于还在死板地执行那 8 步旧动作，无法及时做出反应（反馈延迟变高）。

三、模型架构与分布式参数（“大脑的组织形式”）

VLA 通常是由多个模型“拼接”而成的：

1. Vision Encoder (视觉编码器) 与 Projector (投影矩阵)

常用模型： SigLIP、CLIP 或 ViT。
参数量： 通常在几百 M 到几 B 之间（如 300M - 2B）。
SRE 运行特征： 在训练 VLA 时，算法团队经常会选择冻结（Freeze）视觉编码器的参数（不对其求导），以此来省下巨大的显存空间和计算算力。

2. LLM Backbone (语言大模型底座)

常用模型： Qwen2-7B、Llama3-8B 或者是更轻量级的 2B/3B 模型。
SRE 分布式切分策略： * 因为 VLA 包含了“视觉”和“语言”两部分，你在配置 FSDP2（完全分片数据并行） 或 TP（张量并行） 时，不能再无脑全局切分。
现代 VLA 框架（如 OpenVLA）通常支持非对称切分（Asymmetric Sharding）：由于视觉编码器参数小且被冻结，让它在每张卡上全量复制（Replicate）；而对于那 8B 的 LLM 底座，则利用 FSDP2 基于 DTensor 进行优雅的按行/按列切分（Shard），最大化压榨显存效率。

四、 SRE 核心监控指标（“怎么看机器人卡不卡？”）

普通的 LLM 训练和推理我们看 TTFT（首字延迟），但 VLA 落地到工厂或无人车上时，监控盘上的指标变成了绝对的“安全红线”：

1. Control Loop Frequency (控制循环频率 / HZ)

定义： 机器人一秒钟能完成多少次“采集图像 $\rightarrow$ VLA 推理 $\rightarrow$ 机械臂运动”的闭环。
SRE 监控红线： 具身智能的及格线通常是 5Hz - 10Hz（一秒钟更新 5 到 10 次动作）。如果因为你的线上 VLA 推理集群拥堵、或者网络通信延迟，导致频率掉到了 2Hz，机器人的动作就会表现为严重的“帕金森式抖动”甚至直接撞墙。

2. Multimodal Token Throughput (多模态 Token 吞吐量)

监控什么： 视觉 Token 和文本 Token 混合后，GPU 实际的吞吐速度。
SRE 排障实战： 视觉 Token 的量极大，如果你的训练监控里发现 MFU（算力利用率） 极其低下，且经常周期性暴跌。去查你的存储和网络拓扑——大概率是高清摄像头拍摄的图像视频文件在写入分布式存储（Ceph/NAS）时产生了严重的 IO 阻塞，导致 GPU 绝大多数时间都在干等图片数据解压和加载（Data Loading 瓶颈）。

💡 SRE 总结

搞懂 VLA 的参数，本质上就是搞懂 “当视觉的超大 5 维张量”与“时序的连续动作轨迹”撞在一起时，如何进行显存和 IO 的双重调优。 你目前接触到 VLA 这个概念，是因为团队正准备尝试把你们调优好的 AI Agent、Qwen 模型往物理实体（比如机械臂、摄像头自动化或者多模态 Bot）上落地吗？