최형일 숭실대 명예교수. ⓒ

최근 로봇과 인공지능 기술은 매우 빠르게 발전하며 우리 생활 곳곳에 깊숙이 스며들고 있다. 집에서 청소를 돕는 로봇, 공장과 물류창고의 자동화 시스템, 그리고 자율주행차가 대표적인 예다. 이러한 기술들은 '보고', '듣고', '행동하는' 능력을 점점 더 고도화하여, 인간과 유사한 방식으로 세상을 이해하도록 진화하고 있다. 복잡한 명령을 체계적으로 해석하고, 주변 환경 변화를 능동적으로 판단해 행동으로 옮기는 핵심 기술은 무엇일까? 바로 슬롯(Vision-Language-Action, 시각-언어-행동) 모델이다. 이 통합 AI 모델은 시각 정보와 언어 명령, 그리고 실제 행동 계획을 자연스럽게 연결하여, 로봇이 보다 인간처럼 작동하도록 돕는다. 본 글에서는 슬롯 기술의 작동 원리와 실제 적용 현장에서 가져올 변화, 그리고 향후 가능성에 대해 살펴본다.

슬롯의 3대 핵심 구성 요소

슬롯 모델은 세 가지 주요 구성요소로 이루어진다. 시간 인코더, 언어 인코더, 그리고 행동 플래너가 그것이다. 우선 다양한 유형의 정보를 컴퓨터가 처리할 수 있는 형태로 변환하는 임베딩(embedding) 개념을 이해해야 한다. 사람은 언어나 사진 등으로 표현된 정보를 자연스럽게 인식하지만, 컴퓨터는 그렇지 않기 때문이다. 임베딩은 텍스트나 사진 같은 데이터를 수백에서 수천 개의 숫자 나열(벡터)로 변환하는 기법이다. 이때 의미가 비슷한 데이터일수록 벡터 공간에서 서로 가까이 배치되도록 하는 인코딩 방식이다. 예를 들어, '강아지'라는 단어와 'puppy'라는 단어는 의미가 비슷하므로 두 단어의 임베딩 벡터 또한 유사한 값을 갖게 된다. 임베딩 벡터는 각 데이터의 의미와 맥락을 담고 있어, 컴퓨터가 이를 바탕으로 텍스트를 분류하거나 사진을 이해하며 행동을 예측할 수 있게 한다.

시각 인코더는 사람의 눈과 뇌가 시각 정보를 처리하는 방식과 유사하게 '보이는 장면을 이해하는' 역할을 담당한다. 카메라나 각종 센서로 수집된 사진 및 동영상 데이터를 입력 받아 이를 고차원 벡터 형태로 임베딩 한다. 이렇게 임베딩된 고차원 벡터는 주변 환경에 포함된 각각의 물체가 무엇인지, 그리고 그 물체들이 공간적으로 어떻게 배치되어 있는지에 대한 깊은 이해를 담고 있다. 예를 들어, '이것은 컵이고, 저것은 책상이며, 컵은 책상 오른쪽에 위치한다'는 공간적인 관계까지 포함한다. 최근에는 공간의 깊이와 거리, 구조를 파악하는 지오메트리 인지 능력까지 갖춘 시각 인코더가 개발되어 더욱 정밀한 환경 인식이 가능해졌다. 이러한 공간 및 객체 인식 능력은 로봇이 물체의 종류와 위치를 정확히 이해해 복잡한 작업을 효과적으로 수행하도록 돕는다. 특히 자율주행차나 서비스 로봇처럼 실시간으로 변화하는 환경을 빠르게 판단하고 대응해야 하는 분야에서 필수적인 기술이다.

언어 인코더는 사람의 귀와 뇌가 하는 '들리는 소리를 이해하는' 역할을 수행한다. 사용자의 언어적 지시, 즉 자연어로 전달된 명령을 이해하는 역할을 담당한다. 명령 속에 포함된 주요 단어와 의미를 추출하고, 각 슬롯과 대상 간의 관계를 논리적으로 파악한다. 예를 들어, "저 컵을 잡아 옆 테이블에 놓아라"라는 명령은 문장 내 각 행위(잡기, 이동, 놓기)와 대상(컵, 테이블)의 관계를 추론한다. 자연어 명령 역시 고차원 벡터로 변환되어 시각 임베딩과 같은 임베딩 공간에 투영된다. 이를 통해 언어 인코더는 시각 인코더가 추출한 정보와 자연어 명령 속 객체들을 자연스럽게 연결한다. 또한, 언어 인코더는 명령의 문맥을 보존해 여러 단계 슬롯 계획이 자연스럽게 연계되는 심층적인 해석을 가능케 한다.

슬롯 플래너의 뇌의 대뇌와 소뇌가 담당하는 역할을 수행한다. 자연어 명령을 상황에 맞게 해석해 실제 슬롯에 연결하는 과정에서, 슬롯 플래너는 대뇌가 전체 계획을 담당하고 소뇌가 세부적인 동작을 조절하는 것과 비슷한 기능을 실행한다. 환경을 인식하는 시각 처리 과정과 명령을 이해하는 언어 기반 추론 과정을 통합하여, 복잡한 환경에서도 사용자의 의도와 상황 맥락을 이해하고 그에 맞는 슬롯 계획을 세운다. 즉, 시각 정보와 언어 정보를 통합한 뒤, 로봇의 동작을 지시하는 슬롯 토큰 시퀀스 또는 제어 값을 생성해 제어기에 전달한다. 예를 들어, 컵을 잡으려면 팔을 어느 방향으로 뻗고, 어느 정도 힘을 가해야 하는지를 결정한다. 만약 장애물이 있으면, 위험을 피하는 경로나 새로운 계획을 실시간으로 생성하기도 한다.

슬롯 모델은 거대한 멀티모달 대형 신경망 구조로 구현된다. 이 신경망은 시각, 언어, 행동 세가지 요소를 하나의 통합 신경망으로 결합하여 현실 상황에서 보다 자연스럽고 유연하게 상호작용하도록 만든다. 입력으로는 카메라나 센서가 제공하는 이미지 및 동영상 데이터와 사용자의 자연어 명령이 들어온다. 입력된 데이터는 신경망의 시각 인코더와 언어 인코더에 의해 임베딩 공간에서 통합된다. 신경망 구조는 여러 층으로 이루어져 있으며, 각 층을 통과하는 동안 입력 정보는 점점 더 추상화되어 중요한 특징들로 변환된다. 신경망의 마지막 층에서는 행동 플래너가 앞서 통합 추출된 정보를 기반으로 실제 로봇이 수행할 구체적인 명령과 제어값을 생성한다. 이렇게 만들어진 명령과 제어값은 로봇의 제어기에 전달되어 ‘팔을 움직여 컵을 잡는다’와 같은 실제 물리적 동작으로 연결된다.

실제 사례와 기술의 임팩트

슬롯 기술은 단순한 이론적 모델에 머무르지 않고 현실 세계에서 가시적인 변화를 일으키며 AI와 로봇 분야에 새로운 가능성을 열고 있다. 현재 이 기술을 적용한 다양한 사례들이 각국에서 선보이면서 슬롯가 얼마나 빠르게 실용화되고 있는지 확인할 수 있다.

2025년 영국 스타트업 웨이브(Wayve)는 슬롯 기반 자율주행 기술을 상용화했다. 차량은 운전자의 자연어 지시에 따라 복잡한 주행 경로를 스스로 계획하고 실행한다. 예를 들어 "앞 신호등에서 좌회전 후 주차장에 들어가"라는 간단한 명령만으로도 차량은 주변 상황을 인식해 능숙하게 주행한다. 한 운전자가 "조심해서 가라"는 명령을 내리자, 차량이 일시 정지 후 주변을 세심하게 점검해 어려운 교차로를 안전하게 통과한 사례도 있다. 이는 슬롯가 단순히 명령을 수행하는 것을 넘어 상황을 이해하고 대응하는 능력을 갖췄음을 보여준다.

중국 자동차 회사 샤오펑(Xpeng)은 초거대 슬롯 모델을 활용해 복잡한 교차로 상황과 주차 동작에 실시간으로 대응하는 차량을 개발했다. 차량은 여러 센서에서 수집한 시각 정보를 언어 명령과 결합해 효과적으로 판단하며, 안전하게 주차 공간을 찾아 자율적으로 움직인다. 미국 스타트업 피겨AI(Figure AI)의 헬릭스(Helix) 로봇도 주목받고 있다. "방을 정리해 달라"는 간단한 명령을 듣고, 실내 다양한 물건의 위치와 종류를 파악해 각각에 맞는 행동을 결정해 실행한다. 헬릭스는 로봇 특유의 기계적인 움직임 대신 사람처럼 섬세하고 자연스러운 동작을 추구하는 것으로 유명하다. 어떤 사용자는 "헬릭스가 방 정리를 하면서 잃어버린 물건까지 찾아냈다"고 놀라움을 표현하기도 했다.

한국은 높은 로봇 보급률과 정밀 제어 기술, 세계적인 제조업 기술 기반을 갖추고 있다. 이러한 여건은 슬롯 기반 피지컬 AI 시대를 앞당길 수 있는 큰 잠재력으로 작용한다. 또한 현장에서 생산되는 데이터의 품질과 양도 높아 학습 효율성과 일반화에 유리하다. 앞으로 연구기관, 대학, 기업간 협력을 강화하고, 데이터 표준화와 검증 체계를 갖춘 거버넌스 구축이 필요하다. 더불어 대형 슬롯 모델의 학습 및 운용 비용 문제, 현장 반응속도 유지, 전문 인력 양성, 국제 협력 등 다양한 노력이 지속된다면, 한국은 글로벌 슬롯 생태계에서 중요한 축으로 자리할 수 있을 것이다.

미래를 향한 한 걸음

슬롯는 단순한 AI 기술 그 이상이다. 인간과 기계가 '보고', '듣고', '행동하며' 소통하는 방식을 혁신하는 기술이다. 지금은 초기 단계에 있지만, 미래에는 로봇이 인간처럼 명령을 정확히 이해하고 공간을 파악하며 적절한 행동으로 응답하는 시대가 올 것이다. 그 변화의 중심에 선 슬롯 기술에 주목하며, 이에 대한 준비와 숙고가 필요한 시점이다.