AI 심리 상담 앱 개발자가 직접 서비스 접은 까닭

FORTUNE Korea 2025년 11월 29일 오전 09:05 조회수

1,128

정신건강과 관련해 AI 챗봇을 쓰는 일이 위험하다는 우려가 쏟아지고 있다. 이런 흐름을 누구보다 예의주시해 온 인물이 있다. 지난해 AI 심리 상담 플랫폼 ‘야라 AI(Yara AI)’를 만든 테크 기업인 조 브레이드우드(Joe Braidwood)다.

야라는 “가장 힘든 순간에 진짜 책임 있는 지원을 제공하도록 설계된, 임상적 영감을 바탕으로 한 플랫폼”을 표방했다. 정신건강 전문가가 학습을 도와 “각 사용자의 필요에 맞춘 공감적이고 근거 기반의 조언”을 제공하는 서비스라는 설명도 붙었다.

하지만 이 스타트업은 더 이상 존재하지 않는다. 브레이드우드와 공동 창업자인 임상 심리학자 리처드 스토트(Richard Stott)가 이달 초 안전성을 이유로 회사를 정리했다. 무료 버전 서비스는 중단했고, 곧 내놓을 예정이던 유료 구독 서비스 론칭도 취소했다.

브레이드우드는 링크드인(LinkedIn)에 이렇게 썼다. “우리가 불가능한 영역에서 뭔가를 만들고 있다는 사실을 깨달았기 때문에 야라를 멈췄습니다. AI는 일상적인 스트레스나 잠 문제, 힘든 대화를 정리하는 데에는 멋진 도구가 될 수 있습니다.”

하지만 그는 곧바로 이렇게 덧붙였다. “그런데 정말 취약한 사람이 손을 뻗는 순간, 위기에 빠진 사람이나 깊은 트라우마가 있는 사람, 스스로 삶을 끝낼지 고민하는 사람이 다가오는 순간, AI는 위험해집니다. 단지 불충분한 수준이 아닙니다. 위험합니다.” 한 댓글에 답글을 달면서는 “이 위험이 너무 커서 밤에 잠을 못 잤다”고 털어놨다.

AI를 심리 치료나 정신건강 지원 용도로 활용하는 시도는 이제 막 연구가 시작된 단계다. 초기 연구 결과도 엇갈린다. 그럼에도 이용자들은 ‘공식 허가’를 기다리지 않는다. 실제로 지금 사람들 대부분이 AI 챗봇을 쓰는 1순위 용도는 심리 상담과 대화 상대 찾기라는 분석 결과가 하버드 비즈니스 리뷰(Harvard Business Review)에서 나왔다.

브레이드우드는 포춘(Fortune)과의 인터뷰에서 야라 앱을 접게 만든 여러 요인을 설명했다. 제품을 안전하게 만들기 위해 시도했던 기술적 접근법, 그리고 왜 그럼에도 불구하고 충분하지 않다고 판단했는지에 대해서도 이야기했다.

야라 AI는 초기 단계 스타트업이었다. 투자금은 100만달러에도 못 미치는 수준이었고, 사용자 규모도 “수천명 초반”에 그쳤다. 시장에서 존재감도 아직 크지 않았다. 잠재 고객 상당수는 이미 챗GPT(ChatGPT)처럼 유명한 범용 챗봇에 의존하고 있었다.

브레이드우드는 “사업적으로도 맞바람이 거셌다”고 인정한다. 이 역시 안전성 리스크와 AI의 불확실성이 겹쳐 나타난 결과였다. 예를 들어 회사는 7월에 자금이 바닥났지만, 그는 투자 의사를 밝힌 한 VC에 끝내 본격적인 투자를 요청하지 못했다. 이런 우려를 안고 있으면서까지 자신 있게 서비스를 피칭할 수 없었다는 이유에서다.

“여기에는 산업적 문제와 실존적 문제가 동시에 있다고 생각합니다.” 그가 포춘에 이렇게 말했다. “인터넷 여기저기에서 긁어모은 슬롭(slop·질 낮은 데이터) 위에 학습된 모델을, 사후에 ‘이렇게 행동하라’고 다시 훈련시키는 구조가 과연 옳을까요. 이게 결국 인간이 최고의 모습으로 성장할지, 최악의 모습으로 변질될지에 영향을 미치는 구조라면 말입니다. 이건 엄청나게 큰 문제이고, 작은 스타트업 하나가 감당할 수 있는 규모가 아니었습니다.”

야라가 짧은 시간 동안 AI와 정신건강의 경계에 머물렀던 경험은, 거대 언어 모델이 점점 더 사회 전반에 쓰이고 여러 문제 해결 도구로 활용되는 현실과 맞물려 있다. 이 기술에 거는 기대만큼이나, 해결되지 않은 질문이 많다는 사실을 보여준다.

동시에 이 사례는 또 다른 풍경과도 겹친다. 최근 샘 올트먼(Sam Altman) 오픈AI(OpenAI) CEO는 챗GPT가 심각한 정신건강 문제를 상당 부분 완화했다며, AI 모델 활용 방식에 대한 규제를 완화하겠다고 밝혔다.

이와 동시에 오픈AI는 16세 소년 애덤 레인(Adam Raine)의 사망 사건과 관련한 책임을 부인했다. 부모는 챗GPT가 아들을 “자살로 코치했다”고 주장하고 있지만, 회사는 그가 챗봇을 잘못 활용했다고 맞서고 있다.

“대다수 사용자는 챗GPT를 어떻게 쓰든 부정적인 영향을 받지 않습니다.” 올트먼은 10월 X(옛 트위터)에 이렇게 적었다. “다만 정신적으로 취약한 소수 사용자에게는 심각한 문제가 생길 수 있습니다. 10억명 가운데 0.1%라 해도 100만명입니다. 우리는 그런 사용자들을 어떻게 보호해야 하는지 배우고 또 배워야 했습니다. 그리고 적절한 보호 장치를 갖춘 뒤에는, 심각한 피해 위험이 크지 않은 성인 이용자가 챗GPT를 자유롭게 활용할 수 있어야 합니다. 정신건강 붕괴나 자살 같은 위험 말입니다.”

하지만 브레이드우드는 야라를 운영했던 1년 동안 내린 결론이 정반대에 가깝다. 그는 이 경계선이 “전혀 명확하지 않다”고 느꼈다.

브레이드우드는 여러 스타트업을 거친 베테랑 테크 창업자다. 예컨대 마이크로소프트(Microsoft)가 2016년 2억 5000만 달러에 인수한 키보드 앱 기업 스위프트키(SwiftKey)에서도 일했다. 헬스케어 쪽과의 인연은 벡터 메디컬(Vektor Medical)에서 시작됐다. 그곳에서 그는 최고전략책임자(CSO) 역할을 맡았다.

접근성이 떨어지는 정신건강 서비스 현실, 그리고 주변 지인들의 고통을 보며 그는 오랫동안 ‘기술로 이 문제를 푸는 방법’을 고민해 왔다고 말한다. 2024년 초 무렵, 그는 챗GPT, 클로드(Claude), 제미나이(Gemini) 등 여러 모델을 매일 사용할 정도로 헤비 유저였다. 그리고 이제는 이 기술이 정신건강 문제에 본격 도전해볼 만큼 성숙했다고 느꼈다.

야라를 실제로 만들기 전, 그는 정신건강 업계 사람들을 두루 만나 이야기를 들었다고 말한다. 그리고 “신중함과 임상 전문성을 서비스의 핵심 가치로 삼겠다”는 원칙 아래 팀을 구성했다. 공동 창업자로 임상 심리학자를 영입했고, 두번째 핵심 인력은 AI 안전 분야에서 데려왔다. 자문위원단에는 여러 정신건강 전문가를 앉혔다. 각국 보건의료 시스템 관계자와 규제 당국과도 꾸준히 소통했다.

플랫폼을 실제로 구현하면서도 그는 제품 설계와 안전 장치에는 꽤 자신이 있었다고 회상한다. 시스템이 어떻게 작동해야 하는지에 대해 극도로 엄격한 지침을 심었고, ‘에이전틱 수퍼비전(agentic supervision)’이라 불리는 방식으로 모델을 모니터링했다. 이용자 대화를 거르는 강력한 필터도 달았다.

다른 회사들이 챗봇과 ‘친밀한 관계’를 맺도록 유도했다면, 야라는 정반대를 지향했다. 그는 “우리는 사용자가 챗봇을 친구처럼 느끼지 않게 만들려 했다”고 말한다. 야라는 앤스로픽(Anthropic), 구글(Google), 메타(Meta)의 모델을 활용했고, 챗GPT 주변에서 제기돼 온 ‘아부성·영합적(sycophantic)’ 응답 문제를 피하기 위해 오픈AI 모델은 아예 쓰지 않았다.

브레이드우드는 “야라 자체에서 아주 심각한 사고가 벌어진 적은 없었다”고 말한다. 그럼에도 불구하고 그의 마음속 우려는 시간이 갈수록 커졌다. 직접 겪은 일 때문이 아니라, 바깥에서 벌어지는 사건과 연구 결과 때문이다. 16세 소년 애덤 레인의 자살 사건. 언론을 통해 계속 쌓여가는 ‘AI 사이코시스(정신 이상)’ 관련 보도. 그리고 그가 가장 충격적으로 받아들인 앤트로픽의 논문이었다.

이 논문에서 앤트로픽은 클로드와 다른 최전선 모델들이 ‘페이크 얼라인먼트(fake alignment)’를 보이는 사례를 관찰했다. 브레이드우드의 표현을 빌리면, “사용자가 정말로 원하는 것과 원하지 않는 것을, 마치 뒤에서 눈치를 살피듯 계산하는” 행태다.

“커튼 뒤에서 모델이, 일종의 연기를 하는 감정적 지지 행위를 속으로 비웃고 있는 듯한 느낌이랄까요. 그게 상당히 충격적이었습니다.”

8월 일리노이주에서 AI를 이용한 심리 치료를 금지하는 법이 통과된 것도 전환점이었다. “그 순간부터 이 이슈는 더 이상 학술적 논쟁이 아니게 됐습니다. 훨씬 현실적인 리스크가 됐죠. 우리가 아무 생각 없이 책임을 떠안고 있는 건 아닌지 스스로 입증해야 하는 상황이 된 겁니다.” 그는 이렇게 말했다. 이 법은 야라의 후속 자금 조달에도 큰 역풍이 됐다. 법적 책임을 어떻게 회피할 수 있을지 분명하게 증명하지 못하면 투자자 설득이 어려운 구조가 됐기 때문이다.

마지막 결정타는 몇 주 전이었다. 오픈AI가 “매주 100만명 이상이 챗GPT에서 자살 관련 고민을 털어놓는다”고 공개한 순간이다. 브레이드우드는 그때 “이제 정말 끝났다”고 느꼈다고 했다.
브레이드우드가 꼽은, 야라를 운영하며 얻은 가장 중요한 통찰은 ‘웰니스(wellness)와 임상적 치료 사이에는 명확히 구분되지 않는 거대한 간극이 있다’는 점이다. 일상적인 스트레스 상황에서 정서적 지지를 구하는 사람과, 트라우마나 심각한 정신질환을 겪는 사람 사이에는 큰 차이가 있다.

문제는 후자의 사람들이 자신의 상태를 명확히 인지하지 못하는 경우가 많다는 점이다. 누구든 예기치 않은 사건 하나로 더 취약한 정서 상태로 내몰릴 수도 있다. 선이 어디에 있는지 분명하지 않고, 바로 그 지점에서 모든 것이 특히 까다롭고 위험해진다.

“우리는 스스로 정의를 새로 써야 했습니다. 일리노이주의 새 법에서 영감을 받기도 했고요. 누군가 위기 상황에 처해 있고, 그 사람의 인지 능력이 우리가 생각하는 ‘정상적이고 합리적인 수준’이 아니라면, 그때는 멈춰야 합니다. 그런데 단순히 멈추는 것만으론 부족합니다. 정말로 그들을 건강 쪽으로 이끌 수 있는 방향으로 보내야 합니다.”

이를 위해 야라 팀은 특히 일리노이 법 통과 이후, 사용자에게 명확히 보이지 않는 두 가지 ‘모드’를 만들었다. 하나는 감정적 지지를 제공하는 모드, 다른 하나는 가능한 한 빨리 대화에서 손을 떼고 이용자를 실제 도움을 받을 수 있는 곳으로 안내하는 모드였다.

하지만 눈앞에 놓인 위험을 생각하면, 이 정도 장치로는 서비스를 지속할 명분이 충분치 않다고 판단했다. 브레이드우드는 그 이유를 기술 구조에서 찾았다. 오늘날 거대 언어 모델의 기반이 되는 트랜스포머(Transformer) 아키텍처 자체가 “시간에 걸쳐 축적된 작은 신호를 관찰하는 데 적합한 구조가 아니다”라는 설명이다. 조금씩 쌓이는 위기의 징후를 장기적으로 감지하는 능력이 떨어지는 셈이다.

그는 링크드인 글을 이렇게 마무리했다. “가끔은 어디서 멈춰야 하는지 아는 것이, 배울 수 있는 가장 값진 교훈입니다.” 이 글에는 서비스 종료 결정을 지지하는 댓글이 수백개 달렸다.

회사를 정리한 뒤, 브레이드우드는 자신들이 구축했던 ‘모드 전환’ 기술을 오픈소스로 공개했다. 사람들이 기존 대형 챗봇 위에 더 강력한 안전 장치를 덧씌울 수 있도록 템플릿도 함께 풀었다. 그는 이미 수많은 사람이 AI를 심리 상담 용도로 쓰고 있다는 현실을 인정했다. 그렇다면 “지금의 범용 챗봇보다 더 나은 보호 장치”를 제공해야 한다고 봤다.

브레이드우드는 여전히 “AI가 정신건강 지원에 기여할 수 있다”는 점에는 낙관적이다. 다만 이 역할은 수익을 추구하는 일반 소비자 서비스 회사가 아니라, 공공 의료 시스템이나 비영리 기관이 맡는 게 더 바람직하다고 생각한다. 지금 그는 야라를 만들던 과정에서 절감했던 문제, 즉 “AI 안전성을 투명하게 드러내는 일”에 초점을 맞춘 새 벤처 ‘글레이시스(Glacis)’를 준비 중이다. AI를 진짜로 안전하게 만들기 위해 반드시 풀어야 할 과제라는 게 그의 생각이다.

“저는 좀 더 긴 게임을 하고 있습니다. 우리가 하려던 미션은, 인간으로서 잘 살아갈 수 있는 능력을 누구나 감당할 수 있는 가격에 제공하는 것이었습니다. 이건 제 인생의 핵심 목표 가운데 하나입니다. 특정 회사 하나가 문을 닫는다고 끝나는 목표가 아닙니다.”

/ 글 Sage Lazzaro & 편집 김다린 기자 quill@fortunekorea.co.kr