지난 포스팅 에서는 Vision-Language-Action(VLA) 가 무엇인지, VLA가 어떤 방식으로 Vision, Language, Robot State를 실제 Action으로 연결하는지 전체적인 흐름을 살펴봤습니다.

이번에는 최근 읽어본 VLANeXt: Recipes for Building Strong VLA Models 논문을 정리해보겠습니다. 😄

이 논문이 재미있는 이유는 완전히 새로운 VLA 구조 하나를 제안하는 방식이 아니라는 점입니다. 현재 VLA 연구에는 정말 다양한 구조가 존재하지만 Backbone, Policy, Action Representation, Camera Input, Proprioception, Training Objective 등이 논문마다 모두 달라서 정확히 어떤 설계가 실제 성능 향상에 중요한지 비교하기 어렵습니다.

VLANeXt는 이 문제를 해결하기 위해 RT-2/OpenVLA와 비슷한 단순한 VLA에서 시작해서 500개가 넘는 통제 실험을 수행하고, 강한 VLA를 만들기 위한 12개의 Recipe를 정리 합니다.

쉽게 이야기하면

Simple RT-2 Style VLA
        ↓
500+ Controlled Experiments
        ↓
좋았던 설계들을 하나씩 선택
        ↓
VLANeXt

라고 볼 수 있습니다.

개인적으로 새로운 Module 하나보다 “VLA에서 실제로 무엇이 중요한가?” 를 하나씩 확인한다는 점에서 굉장히 공부하기 좋은 논문이었습니다.

[그림 1] RT-2 Style Baseline에서 VLANeXt까지의 Ablation Trajectory

Introduction

최근 Foundation Model의 발전으로 로봇 제어에서도 특정 Task마다 별도의 Policy를 만드는 대신, VLM의 강력한 Visual Understanding과 Language Grounding 능력을 실제 Action Generation에 활용하는 VLA 연구가 활발하게 진행되고 있습니다.

VLA를 간단하게 표현하면 다음과 같습니다.

Visual Observation + Language Instruction → Robot Action

예를 들어 카메라에서 테이블 위의 물체를 보고

“검은 물체를 서랍 안에 넣어”

라는 명령이 들어오면 모델은 물체와 서랍의 위치를 이해하고 실제 로봇의 움직임을 생성해야 합니다.

문제는 현재 VLA 연구가 저자들의 표현을 빌리면 일종의 “Primordial Soup” 상태라는 것입니다.

아이디어는 굉장히 많지만 논문마다 Training Protocol과 Evaluation Setting이 달라서

“도대체 어떤 설계가 실제로 중요한가?”

를 명확하게 알기 어렵다는 것이죠.

예를 들어 어떤 모델이 좋은 성능을 보였다고 해도

VLM Backbone이 더 강해서 좋은 것인지
Policy Network가 커서 좋은 것인지
Action Chunking 때문인지
Flow Matching 때문인지
Camera를 여러 개 사용해서인지
Proprioception을 사용해서인지

정확히 분리해서 판단하기 어렵습니다.

그래서 VLANeXt에서는 VLA Design Space를 크게 세 가지로 나누고 동일한 Framework 안에서 하나씩 비교합니다.

Foundational Components
Perception Essentials
Action Modelling Perspectives

그리고 LIBERO뿐 아니라 Camera, Robot, Language, Light, Background, Noise, Layout 등의 Unseen Perturbation을 추가한 LIBERO-plus 에서도 평가합니다.

즉 단순히 학습한 Task를 잘 수행하는 것뿐만 아니라 환경이 조금 바뀌어도 잘 동작하는 Generalization과 Robustness 를 중요하게 봅니다.

1. Foundational Components

먼저 VLA의 기본 구조부터 하나씩 바꿔봅니다.

Baseline은 RT-2/OpenVLA 스타일입니다.

Continuous Action을 바로 출력하지 않고 일정한 Bin으로 나눈 뒤, 잘 사용하지 않는 Text Token 일부를 Action Token으로 재활용합니다.

Image + Language
      ↓
     VLM
      ↓
Action Token Classification

LLM이 다음 단어를 생성하듯이 Action도 Token으로 생성한다는 굉장히 직관적인 방식입니다.

하지만 여기서 한 가지 의문이 생깁니다.

Language Token Space와 Robot Action Space가 정말 같은 공간에서 처리되어야 할까요?

Separate Policy Head

첫 번째 변화는 Action을 Text Token Space에서 분리하는 것입니다.

기존에는 VLM이 Action Token까지 직접 예측했다면, 별도의 Policy Head를 추가합니다.

Image + Language
      ↓
     VLM
      ↓
Dedicated Policy Head
      ↓
    Action

실험 결과 LIBERO 성능이 19.8 → 30.2 로 증가합니다.

즉 Language와 Action을 같은 Token Space에 억지로 넣기보다 Action Prediction을 Linguistic Token Space에서 분리하는 것 이 더 효과적이었습니다.

저는 이 결과가 VLA를 이해할 때 꽤 중요한 포인트라고 생각합니다.

VLM은 “무엇을 해야 하는가?”에 대한 Semantic Representation을 잘 만들 수 있지만, 실제 로봇의 Continuous Control Signal을 만드는 것은 또 다른 문제이기 때문입니다.

Larger Policy Module: MetaQuery

그렇다면 Policy Head를 더 강하게 만들면 어떨까요?

저자들은 하나의 Class Token 대신 16개의 Meta Query 를 사용하고, Policy Network도 2 Layer에서 12 Layer 로 크게 확장합니다.

[그림 2] Text Token Reuse, Separate Policy Head, MetaQuery 비교

결과는 꽤 크게 좋아집니다.

Separate Head        : 30.2
Large Policy Module  : 64.4

VLM이 아무리 좋은 Representation을 만들어도 실제 Action으로 변환하는 Policy의 Capacity가 부족하면 그 정보를 제대로 활용할 수 없다는 의미로 볼 수 있습니다.

그래서 최종 VLANeXt에서도 Dedicated Large Policy Module 을 사용합니다.

Action Chunking

기존 Baseline은 한 번에 Action 하나를 예측합니다.

a_t

하지만 실제 로봇 행동은 서로 연결된 Sequence이기 때문에 여러 Future Action을 한 번에 예측하는 Action Chunking 을 적용합니다.

예를 들어 Chunk Size가 8이라면

\[A_t = [a_t, a_{t+1}, ..., a_{t+7}]\]

을 한 번에 예측합니다.

LIBERO-plus에서 Chunk Size가 길어질수록 성능이 증가했고 최종적으로 Chunk Size = 8 을 사용합니다.

Action을 한 Step씩 독립적으로 보는 것보다 일정 구간의 Trajectory를 함께 모델링하면 앞으로 어떤 움직임을 수행하려는지 더 일관된 Temporal Context 를 학습할 수 있습니다.

여기서 뒤에서 나올 Temporal Observation History와 헷갈리면 안 됩니다!!

Action Chunking: 현재 Observation → 미래 Action 여러 개
Temporal Observation: 과거 Image 여러 개 → Action

둘은 서로 다른 개념입니다.

Action Learning Objective

다음은 Action을 어떤 Objective로 학습할지 비교합니다.

기존 OpenVLA 방식처럼 Action을 256개의 Bin으로 나누는 Classification 외에도 다음 방법을 비교합니다.

Bin Classification
VQ-VAE Classification
Regression
DDIM
Flow Matching

단순 Ablation 단계에서는 Regression이 가장 높은 성능을 보였습니다.

Bin Classification : 43.4
VQ-VAE             : 36.5
Regression         : 48.4
DDIM               : 48.3
Flow Matching      : 45.0

여기서 숫자는 LIBERO-plus Total 기준입니다.

즉 Continuous Action을 굳이 Discrete Token으로 바꾸는 것보다 Continuous Objective로 학습하는 것이 유리했습니다.

그런데 최종 VLANeXt에서는 Regression이 아니라 Flow Matching 을 사용합니다.

저자들은 모델 성능이 높아지는 영역에서는 Flow Matching이 정밀한 Control Signal을 표현하는 데 더 유리하고 결국 Regression보다 좋아지는 경향을 관찰했다고 설명합니다.

따라서

“Regression이 항상 나쁘고 Flow Matching이 항상 좋다”

라기보다, 단순한 Setting에서는 Regression도 굉장히 강하지만 최종적으로 더 강한 VLA를 만들기 위해 Flow Matching을 선택했다고 이해하는 것이 정확합니다.

Stronger VLM Backbone

VLM Backbone도 비교합니다.

PaliGemma-3B
      ↓
LLaMA3.2-3B + SigLIP
      ↓
Qwen3-VL-2B
      ↓
Qwen3-VL-4B

강한 VLM일수록 VLA 성능도 일관되게 좋아졌습니다.

LIBERO-plus 기준으로

PaliGemma-3B       : 18.9
LLaMA3.2 + SigLIP : 45.0
Qwen3-VL-2B       : 53.7
Qwen3-VL-4B       : 64.8

를 기록합니다.

그렇다면 가장 좋은 Qwen3-VL-4B를 사용하면 될 것 같지만, VLANeXt는 성능과 효율성을 고려해서 Qwen3-VL-2B 를 사용합니다.

이 논문이 단순히 최고 성능만을 위해 모든 모듈을 크게 만들기보다 Performance-Efficiency Trade-off 를 계속 고려한다는 점도 특징입니다.

VLM-Policy Connection

개인적으로 Section 2.1에서 가장 재미있었던 부분입니다.

VLM과 Policy를 어떻게 연결할지 세 가지 방법을 비교합니다.

Loose Connection

VLM과 Policy가 거의 분리되어 있고 Meta Query를 통해 정보를 전달합니다.

Tight Connection

π 계열 모델처럼 VLM과 Policy를 Layer-by-Layer로 직접 연결합니다.

Soft Connection

두 방법의 중간입니다.

Layer-by-Layer로 연결하되 VLM과 Policy 사이에 Learnable Query를 Latent Buffer로 삽입 합니다.

[그림 3] Loose, Tight, Soft VLM-Policy Connection

LIBERO-plus 결과는

Loose : 53.7
Tight : 55.4
Soft  : 56.2

로 Soft Connection이 가장 좋았습니다.

VLM이 만드는 Representation은 기본적으로 Text/Semantic Space에 가깝고 Policy가 필요한 것은 Physical Action Space입니다.

Learnable Query Buffer는 이 두 공간 사이에서

Semantic Representation
        ↓
 Learnable Latent Query
        ↓
  Physical Action Space

와 같은 일종의 Interface 역할을 한다고 생각할 수 있습니다.

결국 Section 2.1의 핵심은

강한 VLM만 사용하는 것이 아니라, 강한 Dedicated Policy와 두 모듈을 연결하는 적절한 Interface가 함께 필요하다

는 것입니다.

2. Perception Essentials

Section 2.1에서 모델의 기본 Architecture를 정했다면 이제 모델에게 무엇을 보여줄 것인가?를 살펴봅니다.

크게 세 가지를 비교합니다.

Temporal Observation History
Multi-View Camera
Proprioception

Temporal Observation History

Qwen3-VL은 Video Understanding 능력도 가지고 있으니 현재 Frame 하나만 보는 것보다 과거 Frame 여러 장을 함께 보면 더 좋을 것 같습니다.

Current Frame
I_t

대신

I_(t-2), I_(t-1), I_t

를 같이 넣는 방식입니다.

그런데 결과는 오히려 떨어졌습니다.

Current Frame Image           : 56.2
Temporal Observation History  : 50.2

Video Pretraining을 받은 VLM이라고 해서 과거 Frame을 추가하는 것이 반드시 Robot Action Learning에 도움이 되는 것은 아니었습니다.

저자들은 비슷한 Frame이 반복적으로 들어오면서 Redundant Temporal Information이 Noise가 되거나 모델의 Attention을 분산시킬 수 있다 고 해석합니다.

여기서 재미있는 점이 있습니다.

앞에서는 미래 Action 여러 개를 예측하는 Action Chunking은 성능을 향상시켰습니다.

반면 과거 Image를 여러 개 넣는 Temporal History는 오히려 성능이 떨어졌습니다.

즉

Output의 Temporal Horizon은 길게 보는 것이 좋았지만, Input Image의 Temporal History를 무작정 늘리는 것은 좋지 않았다

는 결과입니다.

Multi-View Camera

Temporal History와 완전히 반대의 결과가 나온 것이 Multi-View입니다.

기존 Third-Person Camera에 Wrist Camera를 추가합니다.

Third-Person Camera
        +
   Wrist Camera

LIBERO-plus에서

Third-Person Only : 56.2
Multi-View        : 80.5

로 굉장히 큰 성능 향상을 보였습니다.

Third-Person Camera는 전체 작업 공간과 물체의 위치를 보기 좋고, Wrist Camera는 Gripper 근처의 세밀한 관계를 보기 좋습니다.

즉

Global Spatial Context
        +
Local Manipulation Context

가 서로 보완적인 정보를 제공하면서 Spatial Ambiguity를 크게 줄일 수 있습니다.

단순히 이미지 수가 많아서 좋은 것이 아니라, 서로 다른 Viewpoint가 Complementary Geometric Cue를 제공하는 것이 중요하다 고 볼 수 있습니다.

Proprioception Conditioning

Proprioception은 로봇 자신의 내부 상태입니다.

대표적으로 다음 정보가 포함될 수 있습니다.

Joint Position
Gripper State
End-Effector State
Robot Motion History

쉽게 이야기하면 로봇에게

“지금 내 몸이 어떤 상태인가?”

를 알려주는 정보입니다.

여기서 VLANeXt는 Proprioception을 사용할지뿐만 아니라 어디에 넣는 것이 좋은지 까지 비교합니다.

[그림 4] Proprioception Conditioning 위치에 따른 비교

LIBERO-plus 결과는 다음과 같습니다.

No Proprioception             : 80.5
Proprioception → VLM          : 87.7
Proprioception → Policy       : 83.4
Proprioception → VLM & Policy : 84.8

가장 좋은 방법은 Proprioception을 VLM에 넣는 것 이었습니다.

이 결과는 상당히 재미있습니다.

일반적으로 Joint State와 같은 값은 Low-Level Control에 가까우니 Policy에 바로 넣는 것이 자연스러워 보입니다.

하지만 VLM 단계에서 넣으면

Vision + Language + Robot State

를 처음부터 함께 Fusion할 수 있습니다.

예를 들어

“검은 물체를 서랍 안에 넣어”

라는 명령을 받았을 때 VLM이 물체와 서랍의 위치뿐 아니라 현재 자신의 팔 위치까지 함께 고려한 Representation 을 만들 수 있습니다.

반대로 Policy에 직접 Proprioception을 넣으면 Policy가 Vision과 Language보다 Robot State에 지나치게 의존하는 Shortcut을 학습할 가능성이 있다고 저자들은 해석합니다.

즉 Proprioception에서는

무엇을 넣는가만큼 어디에 넣는가가 중요했습니다.

추가로 Linear Projector와 Transformer Projector도 비교합니다.

Transformer Projector가 LIBERO-plus에서 88.8 로 Linear의 87.7 보다 약간 좋았지만, 저자들은 복잡도를 줄이기 위해 최종 모델에서는 Linear Projector 를 선택합니다.

3. Action Modelling Perspectives

이제 마지막으로 Action 자체를 어떤 문제로 바라볼지 살펴봅니다.

두 가지 아이디어를 실험합니다.

World Modelling
Time-Series Forecasting

World Modelling

Action만 예측하지 말고

“이 Action을 수행한 뒤 세상이 어떻게 변할까?”

까지 예측하게 만들면 더 좋은 Action Representation을 배울 수 있지 않을까요?

이를 위해 Future Image를 함께 예측하도록 Auxiliary World Modelling Objective를 추가합니다.

[그림 5] Action Prediction에 World Modelling Objective를 추가한 구조

Future Frame은 Action Chunk와 맞춰 8 Step 뒤를 예측하고, Emu3.5 Image Tokenizer를 통해 Future Image Token을 Next-Token Objective로 예측합니다.

결과는

Normal          : 87.7
World Modelling : 90.3

으로 좋아집니다.

즉 Future Observation을 예측하는 것이 Action Generation에도 실제로 도움이 되었습니다.

그런데 문제가 하나 있습니다.

Training Time이 거의 3배 가 됩니다.

성능은 좋아졌지만 계산 비용이 너무 커서 최종 VLANeXt에서는 World Modelling을 사용하지 않습니다.

이 부분에서도 최고 성능만 보는 것이 아니라 효율성까지 고려한 Recipe 라는 논문의 방향을 확인할 수 있습니다.

Action as Time-Series Forecasting

World Model보다 더 재미있는 결과가 나오는 부분입니다.

Action Chunk는 결국

\[a_t, a_{t+1}, ..., a_{t+7}\]

처럼 시간에 따라 변화하는 Sequence입니다.

그렇다면 이것을 단순한 Action Vector가 아니라 Time-Series 로 볼 수도 있습니다.

VLANeXt는 Time-Series Forecasting 분야의 아이디어를 가져와 Action Trajectory를 Frequency Domain 에서도 비교합니다.

먼저 DCT(Discrete Cosine Transform)를 적용합니다.

\[A \rightarrow DCT(A)\]

그리고 Predicted Action과 Ground-Truth Action의 Frequency Domain MSE를 Auxiliary Loss로 추가합니다.

여기서 모든 Frequency에 같은 Weight를 주지 않습니다.

Low-Frequency Component: 높은 Weight
High-Frequency Component: 낮은 Weight

를 사용합니다.

로봇의 Demonstration Trajectory에서 Low Frequency는 전체적인 움직임의 큰 흐름을 표현하고, High Frequency에는 작은 Jitter나 Noise가 많이 포함될 수 있기 때문입니다.

즉 모델이 Trajectory의 작은 흔들림까지 Overfitting하는 대신 전체적인 움직임의 구조를 더 중요하게 학습하도록 Regularization 하는 것입니다.

결과는 상당히 좋습니다.

Normal                : 87.7
World Modelling       : 90.3
Frequency Domain Loss : 93.1

World Modelling보다 성능이 높으면서도 추가 Training Overhead는 거의 없습니다.

그래서 최종 VLANeXt에서는 World Model 대신 Frequency-Domain Auxiliary Loss 를 사용합니다.

개인적으로 이 논문에서 가장 기억에 남았던 부분입니다.

Robot Action을 단순히 Control Vector로만 보지 않고

Structured Time-Series

로 바라보면서 다른 분야의 Frequency-Domain Learning 아이디어를 가져왔다는 점이 재미있었습니다.

4. VLANeXt Architecture

지금까지 성능이 좋았던 Recipe들을 하나로 합치면 최종 VLANeXt가 만들어집니다.

[그림 6] 최종 VLANeXt Architecture

전체 Pipeline은 다음과 같습니다.

Language Instruction
Third-Person Image
Wrist Image
Proprioception
        ↓
     Tokenization
        ↓
   Qwen3-VL-2B
        ↓
Meta Query / Soft Connection
        ↓
Dedicated Large Policy
        ↓
   Flow Matching
        ↓
Action Chunk (H = 8)
        +
Frequency-Domain Regularization

조금 더 정리하면 최종 Recipe는 다음과 같습니다.

Component	VLANeXt의 선택
VLM Backbone	Qwen3-VL-2B
Policy	Dedicated Large Policy
Query	16 Meta Queries
VLM-Policy	Soft Connection
Action Horizon	Chunk Size 8
Action Objective	Flow Matching
Visual Input	Third-Person + Wrist Multi-View
Temporal Image History	사용하지 않음
Proprioception	VLM에 입력
Proprioception Projector	Linear
World Modelling	사용하지 않음
Auxiliary Objective	Frequency-Domain Loss

정리하고 보면 VLANeXt에는 완전히 새로운 거대한 Module 하나가 있는 것이 아닙니다.

오히려 수많은 VLA 설계 선택을 같은 조건에서 하나씩 비교한 뒤 효과가 있었던 선택을 합리적으로 누적한 모델 이라고 보는 것이 더 정확합니다.

Benchmark Evaluation

평가에서는 기존 LIBERO와 Generalization을 더 강하게 확인할 수 있는 LIBERO-plus를 사용합니다.

LIBERO는

Spatial
Object
Goal
Long

네 가지 Suite로 구성됩니다.

LIBERO

LIBERO 평균 Success Rate는 다음과 같습니다.

OpenVLA-OFT : 97.1
VLANeXt     : 97.4

VLANeXt가 가장 높은 평균 성능을 기록하지만 기존 강력한 방법들과의 차이는 크지 않습니다.

이미 LIBERO 자체의 성능이 상당히 포화된 Benchmark이기 때문입니다.

LIBERO-plus

차이가 크게 나타나는 것은 LIBERO-plus입니다.

LIBERO-plus에서는 Camera, Robot, Language, Light, Background, Noise, Layout 등을 변화시켜 Unseen Perturbation에 대한 Robustness를 평가합니다.

OpenVLA     : 15.6
π0          : 53.6
π0-Fast     : 61.6
OpenVLA-OFT : 69.6
VLANeXt     : 83.9

특히 OpenVLA-OFT의 69.6 보다 VLANeXt가 83.9 로 크게 높았습니다.

표의 단순 차이로는 약 14.3%p 이며, 논문 본문에서는 이를 약 13%의 Success Rate Improvement로 설명합니다.

즉 VLANeXt의 장점은 이미 쉬운 환경에서 1~2%를 더 얻는 것보다 환경이 달라졌을 때 성능을 훨씬 잘 유지한다는 것 에서 더 뚜렷하게 나타납니다.

Real-World Evaluation

논문에서는 실제 로봇에서도 간단한 실험을 진행합니다.

Single-Arm은 Franka Emika, Bimanual은 ALOHA를 사용하며 다음 네 Task를 평가합니다.

Clean Table
Drawer Manipulation
Bimanual Clean Table
Basket Lifting

각 Task마다 20번 평가했을 때 VLANeXt는

Clean Table          : 14/20
Drawer               : 11/20
Bimanual Clean Table : 11/20
Lifting              : 15/20

를 기록해 OpenVLA-OFT와 π0보다 전반적으로 높은 성능을 보였습니다.

특히 DROID Pretraining Data가 Single-Arm 중심인데도 일부 Layer를 다시 초기화한 뒤 Bimanual Task로 적응할 수 있다는 점에서 Cross-Embodiment 가능성도 확인합니다.

다만 50 Episodes의 Task별 Fine-Tuning과 20회 Evaluation으로 진행된 비교적 작은 규모의 Real-World 실험이므로, 이 결과만으로 광범위한 실제 환경에서의 일반화를 확정하기보다는 Simulation Benchmark에서 얻은 Recipe가 실제 로봇에서도 유효할 가능성을 보여준 결과 정도로 보는 것이 적절할 것 같습니다.

Discussion

이 논문의 가장 큰 메시지는 단순합니다.

Bigger VLA가 항상 Better VLA인 것은 아니다.

VLANeXt는 약 2.5B 규모로, 훨씬 큰 기존 모델과 비교해도 강한 성능을 보여줍니다.

물론 Strong VLM 자체가 중요하지 않다는 의미는 아닙니다. 실제 Ablation에서도 강한 VLM일수록 성능이 좋아졌습니다.

하지만 이 논문은 Backbone Scale만큼 다음 요소들이 중요하다는 것을 보여줍니다.

VLM과 Policy를 어떻게 연결하는가?
어떤 Perception을 입력하는가?
Proprioception을 어디에 넣는가?
Action을 어떤 Objective로 학습하는가?
Action Sequence의 Temporal Structure를 어떻게 활용하는가?

특히 기억에 남는 결과는 네 가지였습니다.

1. VLM과 Policy 사이에는 Soft Connection

완전히 분리하거나 너무 직접적으로 연결하기보다 Learnable Query Buffer를 둔 Soft Connection이 가장 좋았습니다.

2. Temporal Image History보다 Multi-View

Video-capable VLM이라고 해서 과거 Frame이 반드시 유용하지 않았고, 오히려 Third-Person + Wrist Camera와 같은 Spatially Complementary View가 훨씬 중요했습니다.

3. Proprioception은 VLM에 넣기

Robot State를 단순 Low-Level Control Information으로 Policy에 바로 전달하는 것보다 Vision, Language와 함께 VLM에서 Fusion하는 것이 더 좋았습니다.

4. Action도 Time-Series다

Trajectory의 Frequency Structure를 활용하면 작은 Jitter에 대한 Overfitting을 줄이고 Generalization을 높일 수 있었습니다.

또한 World Modelling처럼 더 복잡한 Objective가 성능을 높일 수 있다는 점도 확인했지만 Training Cost가 약 3배 증가했습니다.

결국 실제 VLA를 설계할 때에는

“성능이 좋아지는가?”뿐 아니라 “그 성능을 얻기 위해 얼마나 복잡해지고 비싸지는가?”

도 같이 고려해야 한다는 점을 보여줍니다.

Conclusion

이번 포스팅에서는 VLANeXt: Recipes for Building Strong VLA Models 논문을 살펴봤습니다.

가장 간단하게 다시 정리하면 VLANeXt는

Strong VLM
+
Dedicated Policy
+
Soft VLM-Policy Connection
+
Action Chunking
+
Flow Matching
+
Multi-View
+
VLM-Side Proprioception
+
Frequency-Domain Regularization

을 조합한 VLA입니다.

하지만 중요한 것은 이 Component 목록 자체보다 이 선택들이 500개 이상의 통제 실험에서 하나씩 도출되었다는 점 이라고 생각합니다.

최근 VLA 논문들을 보면 새로운 Backbone, World Model, Reasoning Module, 3D Representation 등 굉장히 다양한 요소가 빠르게 추가되고 있는데요.

VLANeXt는 이런 상황에서

새로운 복잡한 기능을 계속 추가하기 전에 기본적인 VLA Design Space부터 제대로 이해해보자

라는 메시지를 주는 논문처럼 느껴졌습니다.