흥미로와서 가져옴. 월스트리트 저널에 기사도 났더라.
번역문 전문:
오늘 Anthropic을 퇴사했습니다.
지난 3년 동안 OpenAI와 Anthropic에서 AI 사전학습(pretraining) 연구를 해왔습니다. 제가 직접 경험한 두 회사 모두 지금 이 기술을 책임감 있게 개발하고 있다고 보기는 어렵습니다.
*Anthropic: 클로드 만든 회사 / Open ai: GPT 만든 회사
두 회사는 스스로를 계속 개선할 수 있는 초지능 AI를 향해 앞다퉈 달려가고 있습니다. 그리고 그 과정에서 사실상 우리 모두의 목숨을 담보로 도박을 벌이고 있다고 생각합니다.
아래에 그 이유를 조금 더 적어보겠습니다.
이 기술의 잠재력을 절대 과소평가해서는 안 됩니다.
머지않아 AI는 인간의 능력을 넘어서는 수준에 이를 겁니다. 어떤 시스템이든 뚫어낼 수 있고, 하루아침에 특정 분야의 판도를 뒤집을 수도 있으며, 현실 세계에서 실제 권력과 자원까지 확보할 수 있는 시스템이 등장할 가능성이 있습니다.
우리는 이미 이런 여러 영역에서
AI가 얼마나 빠르게 발전해왔는지 지켜봤습니다.
문제는 이 발전세가 지금도 전혀 수그러들지 않고 있다는 것입니다.
AI를 직접 만들고 있는 사람들 중에는 이 기술이 2030년이 되기 전에 인류 전체를 죽음으로 몰아넣을 수도 있다고 진지하게 믿는 사람들이 있습니다.
이건 관심을 끌기 위한 마케팅성 발언이 아닙니다.
오히려 많은 경영진과 고위 연구자들은 언론 앞에서는 지나치게 극단적으로 들리지 않도록 말을 상당히 완곡하게 합니다. 하지만 저는 바로 그 사람들이 사적인 자리에서는 이 기술에 대한 두려움을 솔직하게 드러내는 모습을 여러 번 봤습니다.
현재 인간이 하고 있는 일 가운데 이 정도 규모의 위험을 안고 있는 활동은 없다고 생각합니다.
그러면 자연스럽게 이런 질문이 나옵니다.
“정말 그렇게 위험하다고 생각한다면, 왜 계속 만들고 있는 거지?”
OpenAI의 경우, 많은 사람들이 이 기술이 문명 전체에 어떤 결과를 가져올 수 있는지 그 심각성을 아직 충분히 체감하지 못하고 있다고 생각합니다.
Anthropic은 조금 다릅니다. 그곳에서는 위험의 크기를 상당히 잘 이해하고 있습니다.
하지만 Anthropic 역시 결국 ‘누가 먼저 그 단계에 도달하느냐’는 경쟁에 갇혀 있습니다.
다른 회사들은 책임 있게 행동하지 않을 것이고, 그렇다면 위험을 감수하더라도 자신들이 먼저 해야 한다고 믿는 겁니다.
하지만 이런 경쟁 구도를 당연한 현실로 받아들이고 AI 개발의 이른바 ‘최종 국면(endgame)’에 뛰어드는 건 지나치게 오만한 도박입니다.
더구나 인류 전체의 미래가 걸릴 수도 있는 이런 결정을 한 민간기업의 사내 메신저 안에서 시작해도 되는 문제라고 생각하지 않습니다.
AI가 인간의 의도와 가치에 맞게 행동하도록 만드는 ‘정렬(alignment)’ 문제를 서둘러 해결하면서 초지능 개발까지 밀어붙이려면, 적어도 지금보다 더 나은 다른 선택지는 정말 없다는 데 대해 압도적인 수준의 확신이 있어야 합니다.
*여기서 alignment는 AI가 매우 강력해진 뒤에도 인간이 원하는 목표와 가치에 맞게 행동하도록 만드는 문제를 의미
그래도 저는 AI 기업들이 서로 협력할 가능성 자체에는 어느 정도 희망을 갖고 있습니다.
Hugging Face 공격 사건과 같은 일들은 일종의 경고 신호가 됐고, 그 결과 미국의 주요 AI 연구소들이 서로 개발 속도를 조절하자는 합의를 맺을 가능성도 이전보다 높아졌습니다.
하지만 그것만으로 세계적인 AI 개발 경쟁을 막을 수 있을 것 같지는 않습니다.
그 경쟁 자체를 멈추려면 상당한 비용과 희생을 감수해야 하는 조치가 필요할 수도 있습니다.
예를 들어 일정 기간 동안 AI 모델의 성능을 더 끌어올리는 개발 자체를 금지하는 식의 조치입니다.
지금 AI 연구소에서 일하고 있는 연구자들에게는 앞으로 몇 년이 실제로 어떤 모습일지 진지하게 생각해보라고 말하고 싶습니다.
우리는 초지능 AI가 어떤 방식으로 사고하고 판단하게 될지 아직 제대로 이해하지 못하고 있습니다.
그런 상태에서 정말 초지능 AI를 만들어내기 위한 대규모 강화학습(RL) 훈련을 직접 시작하고 싶은가요?
“어차피 누군가는 할 일인데”라고 생각하며 아무 말 없이 계속 개발에 매달릴 건가요?
아니면 지금이야말로 개발 방식과 조건 자체를 바꿔야 한다고 목소리를 낼 때라고 생각하나요?
세줄 요약:
나 OpenAI와 Anthropic에서 직접 최전선 AI 연구를 해봤는데, 지금 업계는 ‘우리가 멈추면 남이 먼저 만든다’는 경쟁 논리에 갇혀 인간이 통제할 수 있을지조차 확실하지 않은 초지능 AI를 향해 너무 빠르게 질주 중이야. 그런데 그 위험의 크기에 비해 이 결정은 소수 민간기업 내부에서 너무 가볍게 이루어지고 있음.
![[무한도전] 김종민 악성개인팬 91세 할머님ㅋㅋㅋㅋㅋㅋ](https://view-cdn.nate.com/nate-view/2026/09/15151746/CP-2022-0130-39641188-thumb-640x360.jpg)
