“AI 비용 최대 25% 절감”…베일벗은 KT 박윤영號 ‘토큰팩토리’

박윤영 KT 대표가 제시한 인공지능 전환(AX)의 핵심 축인 ‘KT 토큰팩토리’ 전략이 베일을 벗었다. KT는 글로벌 AI 게이트웨이 플랫폼 ‘오픈라우터’와 공식 파트너십을 체결하고 국내 최대 규모 AI 플랫폼을 구축한다는 구상이다.

KT 토큰팩토리는 500종에 달하는 AI 모델, 최대 25%에 달하는 토큰 절감기능, 자동 라우팅 등을 차별점으로 내세웠다. 통신사업을 통해 축적한 KT의 과금·비용관리 노하우와 보안역량을 더해 기업들의 AX를 적극 지원할 계획이다.

비용·성능 고려해 AI 모델 자동 선택

KT는 27일 서울 광화문웨스트에서 AX 사업전략 발표 행사를 열고 ‘KT 토큰팩토리’ 출시 계획을 공개했다.

KT 토큰팩토리는 지난 7월 박 대표가 ‘AX 플랫폼 컴퍼니’를 선언하면서 신성장 동력으로 꼽은 사업이다. 박 대표는  AI 시대의 새로운 경제 단위가 ‘토큰’이 될 것이라고 전망하면서, 기업들이 토큰 비용을 얼마나 효율적으로 사용하는지가 핵심 경쟁력이 될 것으로 내다봤다.

KT 토큰팩토리는 이러한 토큰 비용 최적화와 기업 보안 과제를 동시에 해결할 수 있는 맞춤형 플랫폼이다. 국내외 AI 모델을 통합 제공하며 서비스 가입부터 사용량 확인, 비용 관리, 결제까지 한 곳에서 처리할 수 있다. 오는 30일 1차 출시 시점에는 총 73종의 AI 모델을 제공하며, 12월 말까지 라인업을 500종 이상으로 확대할 예정이다.

특히 KT는 자체 개발한 AI 모델 라우팅 기술인 ‘오토 모델 라우터(Auto Model Router)’를 핵심 기능으로 내세웠다. 질문의 난이도에 따라 품질과 비용 중 어느 항목을 우선할지 등에 따라 적합한 AI 모델을 자동으로 선택해준다. 단순한 요약이나 번역, 질의에는 상대적으로 저렴한 경량 모델을, 복잡한 추론이나 분석에는 고성능 모델을 사용하는 식이다.

KT는 라우팅과 프롬프트 압축 기능을 활용해 최대 25%까지 토큰 비용을 절감할 수 있다고 설명했다. 프롬프트 압축 기능은 입력 프롬프트에서 불필요한 내용을 줄여 토큰 사용량을 낮추는 방식이다. KT는 내부 테스트 결과 프롬프트 압축으로 약 20%, 모델 라우팅으로 약 5%의 절감효과가 확인됐다고 설명했다.

박상원 KT AX사업부문장(전무)은 “AI 시장은 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “토큰팩토리를 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시키겠다”고 말했다.

보안과 자체 모델 강점…기업·공공 시장 겨냥

KT는 국내 데이터센터에서 구동하는 AI 모델 7종과 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델 등을 기반으로 멀티 AI 체계를 구축했다. 7종의 소버린 AI 모델에는 KT의 자체 AI 모델을 포함해 업스테이지, 모티프테크놀로지 등 국내 AI 모델이 포함됐으며, 향후 10종 이상으로 라인업을 강화할 방침이다.

기업 고객은 필요에 따라 국내 운영 모델만 선택하거나 특정 모델의 사용을 제한하는 등 유연한 제어를 할 수 있다. 개인정보와 유해 정보를 걸러내는 가드레일, 기업별 금칙어 설정 및 IP 대역 제한 등 보안기능도 탑재했다. 프롬프트는 원칙적으로 내부에 저장하지 않으며, 기업이 내부 감사나 이력 관리를 위해 필요하다고 판단할 경우에만 선택적으로 저장할 수 있다.

글로벌 확장성도 확보했다. KT는 국내 최초로 글로벌 AI 게이트웨이 플랫폼이자 AI 모델 마켓플레이스 1위 사업자인 오픈라우터와 파트너십을 체결해 다수의 글로벌 AI 모델을 확보했다. 이진형 KT AX 사업본부장은 “토큰팩토리는 오픈라우터처럼 여러 모델을 유통하는 사업자와, 투게더AI나 파이어웍스처럼 직접 AI 모델을 만드는 사업자의 역할을 모두 제공할 것”이라고 말했다.

통신사 과금 역량 살린다…전용망까지 함께 제공

우선 공략하는 시장은 기업(B2B) 및 공공(B2G) 분야다. 요금제는 ‘스탠다드’와 ‘엔터프라이즈’ 두 가지로 시작한다. 스탠다드 요금제는 사용한 만큼 비용을 정산하는 종량제 방식으로 후불 결제와 크레딧을 함께 지원한다. 엔터프라이즈 요금제는 사용 규모와 계약 기간에 따라 할인 혜택을 제공하는 방식으로, 기업별 전용망과 서비스 수준 협약(SLA) 등을 함께 제공한다.

국내 대표 통신사로서 쌓은 과금 역량도 강점이다. 통화 및 데이터 사용내역(CDR)과 유사하게, 토큰 이용 내역(TDR)을 구축해 AI 모델별로 사용량을 측정해 요금을 청구한다는 계획이다. 전용망을 제공하는 엔터프라이즈 요금제의 경우 AI 모델 사용량과 과금 내역, 통신 요금까지 한꺼번에 받아볼 수 있다.

아마존웹서비스(AWS)의 AI 모델 플랫폼 ‘아마존 베드록’ 등과 차별점도 명확히 했다. 이 본부장은 “아마존 베드록이 철저히 서비스형 플랫폼(PaaS)에 가깝다면, KT 토큰팩토리는 서비스형 소프트웨어(SaaS)를 함께 제공하는 방식”이라면서 “자체 개발한 모델 라우터, 가드레일, 토큰 옵티마이제이션(효율적 관리) 등 부가 기능이 더해져 있고, 오픈라우터를 포함해 다양한 입점을 동시에 추진한다는 차이가 있다”고 말했다.

• iM증권, 3분기 순익 30% 증가…브로커리지·PF 수익 확대
• 한화오션, 역대 최대 찍고 숨고르기…미래 투자로 돌파구
• 질주하는 ‘K뷰티’…아마존이 내놓은 ‘성장 지속’ 해법은
• 삼성물산, 스타트업 기술로 래미안 ‘업그레이드’
• ‘나로호 기지’ 고흥에 우주발사체 국가산단 조성한다