이강욱 크래프톤 CAIO “로봇 실제로 쓰려면 ‘사회 지능’ 필요”

사람과 정확하게 대화할 수 있고 자유롭게 몸이 반응하는, 사회적인 기능을 가진 AI가 있다면 로봇도 많은 일을 할 수 있습니다.

이강욱 크래프톤 최고인공지능책임자(CAIO) 겸 루도로보틱스 최고기술책임자(CTO)는 13일 서울 코엑스에서 열린 ‘피지컬 AI 위크’에서 “로봇이 우리 실생활에서 많이 사용되지 않는 이유는 아직 사회적 지능이라는 문제를 풀지 못했기 때문”이라면서 이처럼 말했다.

피지컬 AI 위크는 과학기술정보통신부가 주최하고 피지컬 AI 얼라이언스와 정보통신산업진흥원이 주관하는 행사다. 이날 이 CAIO는 ‘사회적 지능을 갖춘 로봇을 위한 AI’를 주제로 특별강연을 진행했다. 그는 실제로 피지컬 AI를 활용할 수 있는 수준까지 끌어올리기 위해서는 몸을 잘 움직이는 신체 지능뿐 아니라 사람의 말을 알아듣고 소통하는 사회 지능이 함께 발전해야 한다고 설명했다.

이 CAIO는 현재는 상당수 로봇이 명령을 수행하는 데 그치고, 문제가 생기면 곧바로 대응하지 못한다는 점을 문제로 꼽았다. 세상에 수많은 로봇 파운데이션 모델(RFM)이 나오고 있지만, 사람과 대화하면서 일할 수 있는 RFM은 아직 존재하지 않는다고도 설명했다.

로봇이 사회적 지능을 갖추기 위해서는 시각, 청각, 촉각을 활용해 세상으로부터 ‘입력’되는 감각을 이해하고, 말하거나 행동을 취해야 한다고 설명했다. 예를 들어 사람이 여러 종류의 음료수를 두고 그 중 하나를 가져다 달라고 말하면, 로봇이 어떤 색깔의 음료수를 원하느냐면서 되물어볼 수 있어야 한다는 것이다.

이 CAIO는 또한 언어를 이해하고 대답하는 거대언어모델(LLM), 보고 들은 것을 바탕으로 움직이는 시각언어행동모델(VLA), 자신의 행동이 어떤 영향을 미칠지 예상할 수 있는 ‘월드액션모델(WAM)’ 등이 있지만 아직까지 이를 모두 아우르는 파운데이션 모델은 존재하지 않는다고 전했다.

현재 크래프톤의 자회사인 루도로보틱스는 사회적 지능을 갖춘 AI를 만들어내기 위해 여러 개의 파운데이션 모델의 기능을 합치는 작업을 진행하고 있다. 이른바 ‘루디 1.0’으로, AI 모델을 조율하는 ‘에이전트 하네스’를 통해 LLM과 VLA을 연결하고 원하는 기능을 도출하기 위한 시도다. 이 CAIO는 루디 1.0을 활용한 로봇 영상을 시연하면서, 내년 초 해당 모델을 공개할 수 있을 것으로 전망했다.

그럼에도 이 CAIO는 에이전트 하네스 방식의 근본적인 한계도 지적했다. 두 개의 시스템이 약하게 연결되어 있다 보니, 두 모델 사이에서 맥락을 정확하게 공유하기가 어렵기 떄문이다. 크래프톤은 궁극적으로는 시각, 청각, 촉각을 갖추고 말하고 행동하는 파운데이션 모델을 만드는 것을 목표로 두고 있다. 

이 CAIO는 “사회적인 기능을 가진, 쓸모 있는 로봇을 만들기 위해서는 어떤 기술이 필요한지 파악하고 연구하는 게 우리 크래프톤과 루도 로보틱스”라면서 “신체 지능을 연구하는 국내 많은 회사들이 우리와 협업할 일이 많아지길 바란다”고 말했다.

• 크래프톤, 지스타 참가작 5종 공개…펍지부터 신작까지
• 해킹 여파 내부통제부터 성과급까지…정상혁 신한은행장 집중 질타
• 스페이스X 평가손에 발목 잡힌 미래에셋…오히려 ‘매수’ 나온 이유
• [단독]’관리종목 꼬리표는 계속, 상폐는 중단’…희한한 상황에 릴레이 가처분
• 신한투자증권, 연금고객관리팀 신설…가입부터 수령까지 맞춤 관리