50달러로 만든 AI 모델
혁명적인 연구 결과가 발표되어 전 세계 AI 커뮤니티를 놀라게 했습니다. 스탠포드 대학교와 워싱턴 대학교의 연구진이 단돈 50달러, 약 6만 5천원으로 클라우드 컴퓨팅 비용으로 최첨단 AI ‘추론’ 모델을 훈련시키는 데 성공한 것입니다. 딥시크의 영향이 아직 가시지 않았는데 이것은 또 무슨???
s1 모델의 탄생과 성능
‘s1’이라 명명된 이 모델은 수학과 코딩 능력을 측정하는 테스트에서 OpenAI의 ‘o1’이나 DeepSeek의 ‘R1’ 같은 최신 추론 모델들과 비슷한 성능을 보여주었습니다.
더욱 놀라운 점은 이 모델의 훈련 과정과 코드가 GitHub를 통해 공개되어 있다는 것입니다.연구팀은 기존의 기본 모델을 시작점으로 삼아 ‘증류 distillation’ 과정을 통해 모델을 미세 조정했습니다. 이 과정에서 Google의 ‘Gemini 2.0 Flash Thinking Experimental’ 모델의 답변을 학습 데이터로 활용했습니다.
AI 모델 개발의 민주화?
이번 연구 결과는 수백만 달러의 자금 없이도 AI 분야에서 혁신이 가능하다는 것을 보여줍니다. 하지만 동시에 AI 모델의 상품화에 대한 심각한 의문을 제기합니다. 거대 기업들이 수십억 달러를 투자해 개발한 모델을 누군가가 쉽게 복제할 수 있다면, 그들의 경쟁력은 어디에 있을까요? 참 궁금합니다.
대형 AI 연구소들의 반응
예상대로 대형 AI 연구소들은 이러한 상황을 달갑게 여기지 않습니다. OpenAI는 DeepSeek이 자사의 API에서 부적절하게 데이터를 수집해 모델 증류에 사용했다고 비난했습니다.
s1 모델의 혁신적 접근법
s1 모델 개발팀은 강력한 추론 성능과 ‘테스트 시간 확장성’을 달성하기 위한 가장 간단한 접근법을 찾고자 했습니다. 이들은 단 1,000개의 신중하게 선별된 질문과 답변, 그리고 Google의 Gemini 2.0 모델의 ‘사고 과정’을 포함한 데이터셋을 만들어 s1을 훈련시켰습니다.훈련에는 16개의 Nvidia H100 GPU를 사용해 30분도 걸리지 않았으며, 현재 시세로 약 20달러의 비용이 들었다고 합니다.
AI의 미래
2025년, Meta, Google, Microsoft 등은 AI 인프라에 수천억 달러를 투자할 계획입니다. 이러한 대규모 투자는 여전히 AI 혁신의 최전선을 밀어붙이는 데 필요할 것입니다.
s1과 같은 증류 기법은 기존 AI 모델의 능력을 저렴하게 재현하는 데는 효과적이지만, 현재 가능한 수준을 크게 뛰어넘는 새로운 AI 모델을 만들어내지는 못합니다. 즉 어쩌면 변조품 흉내낸 아류작이란 말이죠.
이번 연구 결과는 AI 기술의 민주화 가능성을 보여주는 동시에, 진정한 혁신을 위해서는 여전히 대규모 투자와 연구가 필요하다는 점을 상기시켜줍니다.
AI 기술의 발전 속도가 더욱 가속화되는 가운데, 우리는 이러한 기술의 윤리적 사용과 공정한 접근성에 대해 더욱 진지하게 고민해야 할 시점에 와 있습니다.
Wide AI GPT에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
