🌁FOD#85: DeepSeek이라는 고래의 부상(浮上), 어떻게 봐야 할까

오픈소스 LLM 씬의 라이징 스타 ‘DeepSeek’, ‘고래’가 되다

저는 ‘고래’를 좋아합니다. 특히 ‘혹등고래’를 좋아하죠. 개인적인 꿈이 ‘북극해에 가서 잠수해서 거대한 혹등고래를 가까이 옆에서 직접 보는 것’이기도 하구요. 그래서, 회사 로고가 ‘거대한 고래’인 DeepSeek이 잘 될 줄 오래 전부터 알았습니다, 하하하…..농담입니다 ^.^;

요 며칠, 작년 말 최대 규모의 오픈소스 LLM인 DeepSeek-V3, 그리고 최근 추론 모델 DeepSeek-R1, 그리고 멀티모달 모델 DeepSeek Janus-Pro를 연이어 내놓고 있는 중국의 AI 스타트업 ‘DeepSeek’에 대한 이야기들이 AI 판을 뜨겁게 달구고 있습니다.

튜링 포스트 코리아에서 작년 8월, 처음 DeepSeek 모델들과 그 시사점에 대해 분석 기사를 냈을 때만 해도, 그렇게 엄청난 반응은 아니었는데요:

당시 받았던 관심의 수준과는 상관없이, 이미 DeepSeek은 충분히 주목할 만한, ‘명확한 전략적인 방향’에 근거해서 ‘끝없는 호기심’을 가지고 빠르게 연구와 모델 개발 사이클을 돌리고, 그 결과물을 ‘오픈소스’ 커뮤니티에 기여하는, 아주 흥미로운 회사였습니다.

특히, DeepSeek 경영진과 연구자들의 인터뷰, 그리고 연구의 방향을 살펴봤을 때, DeepSeek은 ‘오로지 벤치마크를 중심으로 한 경쟁은 지양한다’, ‘LLM의 효율성, 확장성을 높이기 위한 새로운 방법을 개발한다’, ‘전통적인 기술과 사업의 성장 지표를 넘어서 혁신을 가속화한다’는 명확한 원칙을 중심으로 움직이면서, 모델 개발과 운용 비용을 극적으로 줄이고 있는, 대단한 회사임에 분명합니다. 특히, ‘나름의 어려운 환경’ 하에서도 ‘모방하는 중국’이라는 통념에 누구보다도 강하게 도전하고 있는 중국의 대표적인 AI 스타트업입니다.

여기서 제가 DeepSeek의 모델을 기술적으로 검토할 - 깜냥도 안 되지만 ^.^; - 필요는 없을 것 같구요. 다만, DeepSeek의 모델 개발 과정은 ‘현대적인 LLM이 어떤 흐름으로 발전하는지 살펴볼 수 있는 하나의 창(窓)’이라고 할 정도의 내용이라고 생각합니다. 자세한 기술적 내용에 관심있으신 분은, 라이엇 게임즈의 Eryk Banatt이 기술적인 분석을 이미 열심히 해 놓은 것이 있으니 살펴보시면 좋을 것 같습니다:

• Understanding Modern LLMs via DeepSeek

• Understanding LLMs via DeepSeek Part 2

DeepSeek의 여정, 그리고 V3, R1 발표의 의미

DeepSeek의 모델 개발 히스토리를 보면, 회사를 설립한 이후 2023년 말까지는 서구 주요 AI 스타트업이나 빅테크들을 따라잡기 위한 ‘벤치마크 지표 달성’ 중심의 경쟁을 하다가, 2024년 초부터 내놓은 모델에서는 특히 ‘연산의 효율성’, ‘모델의 확장성’이라는 관점에서 차별화하겠다는 방향을 가지고 독자적인 기술을 빠르게 실험, 개발하는 과정으로 본격적으로 들어선 걸 알 수 있습니다.

그리고, 지금 화제가 되고 있는 DeepSeek V3 (LLM), DeepSeek R1 (추론), 그리고 DeepSeek Janus (멀티모달) 의 차별적인 성능을 만들어내는 근간은, 사실 2024년 초에 나온 DeepSeek V2, DeepSeek Math, 그리고 DeepSeek Prover를 만드는 과정에서 그 방향이 잡혀 있었다고 봅니다.

이 과정을, 연구자들의 엄청난 호기심, 그리고 열정으로 추진해 왔다는 건, 그 모델 개발의 속도만 보더라도 명백한데요. 허깅페이스 기준으로 설립 이후 2024년 중반까지 DeepSeek이 출시한 모델이 48개인데, 2023년 DeepSeek과 비슷한 시기에 설립된 미스트랄AI가 동기간에 총 15개의 모델을 내놓았고, 2019년에 설립된 독일의 알레프 알파는 6개 모델을 내놓았거든요. 물론 허깅페이스에 올라와 있는 모델의 수가 전체적인 회사의 역량이나 모델의 수준에 대한 직접적인 지표가 될 수는 없겠지만, DeepSeek이라는 회사가 ‘무엇을 해야 하는가에 대한 어느 정도 명확한 그림을 가지고 빠르게 실험을 반복해 가면서 모델을 출시’하는구나 짐작할 수는 있습니다.

뭐, 특히 중국의 AI 생태계를 계속해서 들여다본 연구 커뮤니티의 사람들이라면 몰라도, 더 광범위한 AI 커뮤니티라든가 일반 대중들에게는 거의 알려지지 않은 회사였던 DeepSeek이 V3에 이어서 R1-Zero와 R1을 내놓으면서 지금의 폭발적인 관심을 받게 된 것 같습니다.

그런데, DeepSeek V3과 DeepSeek R1이 훌륭한 모델들이고 오픈소스로서의 의미를 가지고 있는 건 사실이지만, 지금 미디어나 사람들이 이 모델들에 대해 언급하는 내용들은 조금 거르거나 정리해서 판단해야 하는 부분도 있습니다:

• DeepSeek이 o1 수준의 모델을 557만 달러로 만들었다는 건 틀린 말입니다. 557만 달러는 V3의 훈련 비용, 그것도 ‘최종 훈련 비용’입니다. V3는 아마 GPT-4o나 Sonnet 3.5 정도와 비교해야 할 텐데, 그것도 ‘최종 훈련 비용’만 가지고 비교할 수는 없습니다.

• R1에 대해서는 어떤 하드웨어가 사용되었는지, 어느 정도의 훈련 비용을 사용했는지 공개한 바가 없습니다.

• Scale AI의 CEO, Alexandr Wang이 ‘DeepSeek이 H100 5만개를 가지고 있다’고 했는데, 이건 사실이 아니라고 봅니다. 아마 Dylan Patel의 2024년 11월 트윗을 보고 한 말일 거라고 하는데, 거기 표현된 ‘50k Hopper GPUs’에서 Hopper GPU는 H800을 이야기하는 거고, H800이어야 메모리 대역폭 한계를 극복하기 위한 DeepSeek의 다양한 시도, 그리고 미국의 대 중국 칩 수출 규제가 설명됩니다.

DeepSeek이 명확한 로드맵을 가지고 스스로를 둘러싼 한계 - 특히 부족한 자본 규모과 대중국 GPU 수출 제재 - 를 극복해 가면서 저렴한 비용으로 GPT-4o 수준의 베이스 모델인 V3를 만들고, 이걸 기반으로 Test-Time Compute와 강화학습을 적용해서 o1과 대등한 수준의 R1 모델을 만들었다는 점, 그리고 이 모든 걸 오픈소스로 공개했다는 점은 정말 대단한 거라고 하겠습니다. (단, 얼마나 저렴한 건지, 어떤 단계에서 저렴한 건지, 진짜 가성비가 엄청나게 좋은 모델인지는 조금 더 자세한 분석이 필요하다고 생각합니다.)

특히 R1 모델과 관련해서는, ‘강화학습만으로 훌륭한 추론 모델을 만들 수 있다’는 걸 증명했다는 의미가 있다고 보는데, 강화학습의 기본이라고 할 수 있는 ‘시행 착오 (Trial and Error)’를 DeepSeek의 비즈니스 전략에도 적용한 게 아닌가 생각마저 듭니다. DeepSeek가 이전 모델들과는 다르게 R1 출시의 타이밍을 세심하게 계산했다는 건 명백한데요, 시장을 뒤흔들고 서구권을 비롯한 모두를 당황하게 만든, 일종의 ‘전략적 폭탄’이었다고 봅니다:

1. ChinaTalk에서 지적하듯이, "지난 주 트럼프 대통령 취임식 때 R1을 출시한 것은 분명히 미국의 AI 리더십에 대한 대중의 신뢰를 흔들려는 의도였습니다. 이전 레이먼도(Raimondo) 장관의 중국 방문 당시, 화웨이가 신제품을 출시한 것과 비슷한 거예요. 사실, R1 프리뷰의 벤치마크 결과는 이미 11월부터 공개되어 있었습니다."

2. 이번 R1 출시는, 보통 15일간 계속되는 중국의 음력 설 (올해는 1월 29일) 일주일 전에 이루어졌습니다. 일반적으로 중국에서 이런 대형 명절 전 일주일은 대체로 조용한 시기라서, DeepSeek 입장에서는 다른 중국 기업들보다 훨씬 돋보이고 홍보 효과를 극대화할 수 있는 완벽한 시기였습니다.

DeepSeek가 발표해 온 모델군은 ‘지치지 않는 호기심’, ‘전략적인 집중력’과 결합된 오픈소스 마인드셋의 힘을 보여주는 명백한 사례입니다. DeepSeek의 CEO 량원펑(Liang Wenfeng)은 한 인터뷰에서 “많은 사람들이 우리가 하는 일의 이면에 숨겨진 사업 논리가 있다고 생각하겠지만, 실제로는 많은 일이 주로 호기심 때문에 추진되었습니다”라고 한 바 있습니다.

더불어, 이번 DeepSeek에 쏟아지는 주목은, 모델과 사업 모두에 적용된 냉철한 계산과 그 결과로서의 승리의 예시이기도 한 것 같습니다. DeepSeek은, 서구 중심으로 편재되어 있는 AI 게임을 어떻게 플레이하고 거기서 뛰어난 성과를 낼 수 있는지에 대한 깊은 이해를 보여주고 있는 회사라고 생각합니다.

앞으로의 AI 판, 그리고 주요 플레이어들에의 임팩트

서구권 빅테크와 대형 AI 스타트업들이 이야기해 온 ‘AI 개발 및 서비스 비용’은 지나친 거 아니냐는 생각들 때문에, 당장 AI 칩 업체들의 주가가 내려가고 엔비디아의 경우에는 주가가 17% 폭락했다고 하는데요.

DeepSeek가 촉발할 ‘AI 개발 및 서비스 비용’ 하락 (내지는 합리화) 트렌드가 가속화하면서, 제본스의 역설 (Jevons’ Paradox)이 AI 판에 적용되어서, 중장기적으로는 AI 수요가 견조하게, 더 증가하게 될 거라고 봅니다. ‘제본스의 역설과 생성형 AI 개발 패러다임’에 대해서 튜링 포스트 코리아에서 이전에 한 번 말씀드린 적이 있으니 참고하시구요:

마이크로소프트의 CEO, 사티아 나델라도 ‘제본스의 역설’을 이야기하면서 ‘AI가 일종의 Commodity화되면서 엄청나게 많이 쓰이게 될 거다’라고 하고 있네요:

‘Commodity’라는 표현을 들으면서 생각난 것은, 이미 현대 사회에서는 — 특히 Commodity일 수록 - 모든 물건의 가격이 기본적으로는 ‘중국’에서 정해진다고 해도 과언이 아니죠. AI 판도 지금까지 있었던 모든 다른 산업에서처럼, ‘가격이 중국에서 정해지는’ 시대로 들어가는 시작점인가 싶기도 합니다.

그럼 소위 말하는 빅테크들은 어떤 입장일까요?

엔비디아 : 🙂 

잘 아시다시피, 엔비디아는 CUDA, 그리고 여러 개의 칩을 통합하는 선도적인 기술력이라는 두 가지 큰 해자(Moat)를 가지고 있고, 이 두 가지 요소가 맞물려서 강력한 리더십을 발휘하게 되죠.

DeepSeek이 제시하고 있는 방법론의 부상, 그게 ‘엔비디아가 유일한 길이 아닌가보네’라는 생각을 심어줄 수 있음에도 불구하고, 여전히 엔비디아의 리더십이 흔들릴 거라고 쉽사리 예상하기 힘든 몇 가지 이유가 있습니다:

• DeepSeek이 H800이라는 제약 조건을 극복하려고 고안하고 개발한 기법들이 H100 또는 앞으로 나올 GB100 등 새로운 하드웨어 환경에서 어느 정도 의미가 있을까요? DeepSeek이 현재 기준으로 컴퓨팅을 효율화하는 방법을 찾았다는 것 그 자체가, 더 대형의 컴퓨팅 자원의 필요성 자체를 없애버리는 건 아니잖아요?

• 앞서 이야기한 것처럼, 엔비디아도 ‘AI 추론 비용 절감’의 수혜를 중장기적으로는 받게 될 겁니다 - 더 많은 사용처, 더 많은 수요자가 나타날 테니까요.

• 특히, R1이든 o1이든 추론 모델은 결국 그 성능이 ‘더 우수한 컴퓨팅 능력’에 비례해서 높아지고, 결국 엔비디아는 이 게임에서도 먹을 게 있을 수 밖에 없습니다.

물론, 엔비디아 입장에서는 변화하는 세상에서 ‘추론 전용 칩’을 포함한 다른 경쟁자들과 어떻게 더 잘 싸울 것인지 고민이 필요하겠죠.

마이크로소프트, 아마존, 애플

기본적으로 - 특히 장기적인 관점이라면 - AI 모델이 Commodity화되고 추론 비용이 낮아지는 건 빅테크에는 좋은 일입니다. 데이터센터나 GPU에 투자를 덜 하면서 기존보다 훨씬 적은 비용으로 같은 서비스를 제공할 수 있고, 수요는 늘어날 테니까요. 특히 아마존 같은 경우는 사실 제대로 된 자사의 AI 모델을 만들지 못했는데, 높은 성능, 저비용의 오픈소스 모델이 등장하고 오픈소스 생태계가 커진다면 좋아할 것 같네요.

애플의 경우 아무래도 ‘온디바이스’ 중심의 전략을 취하고 있다고 보이는데, 오픈소스, 모델의 소형화, 추론비용 절감 등은 애플 관점에서 메모리 용량이나 칩의 성능에 대한 요구사항을 쉽게 통제할 수 있다는 측면에서 좋은 방향이라고 하겠습니다. 특히 애플의 M 계열 실리콘 칩은 CPU, GPU, NPU가 모두 접근하고 공유하는 통합 메모리를 채택하고 있는데, 애플의 하이엔드 하드웨어가 추론을 위한 최고의 소비자용 하드웨어가 될 수도 있겠습니다.

우리는 무슨 생각을 해야 할까

V3, R1, 그리고 가장 최근의 Janus에 이르기까지, ‘DeepSeek발 충격(?)’을 통해서 우리가 얻을 시사점이 뭘까요? 짧은 생각으로 답을 낼 수는 없을 것 같습니다.

다만, DeepSeek가 걸어온 길과 결과물에서 보이는 것들, 즉:

• 제약 조건을 극복하고자 하는, 그리고 수월성 (Excellence)을 향한 끝없는 호기심

• 경쟁자(여기서는 서구권이겠죠)를 이기기 위한 게임을 하기 위한 명확한 전략과 로드맵

• 무엇보다, ‘오픈소스’에 대한 강력한 마인드셋

을 우리의 환경에 어떻게 적용하고 우리의 경쟁력으로 구체화해 낼 것인지 고민이 필요하겠습니다. 특히, 우리의 관점에서 ‘오픈소스’ 전략이 의미하는 바가 뭔지, 어떤 전술을 구사해야 할지 AI 기술 스택의 모든 구성요소에 대해서 구체화, 실행을 해야 한다고 생각합니다 - 미국 생태계, 중국 생태계, 한국 생태계에서 ‘오픈소스’가 의미하는 바, 그리고 전술은 같을 수가 없습니다. 이에 대해서는 조금 더 생각을 발전시켜서 여러분과 공유할까 합니다.

더불어, DeepSeek 한 회사가 아니라 중국의 AI 생태계라는 관점에서 우리가 배울 게 뭔지 찾아내는 시간도 있어야 합니다. 중국의 AI 생태계는 ‘지역’별로 크게 크게 구분이 되어 있는데, DeepSeek은 저장성을 중심으로 한 테크 스타트업 생태계의 일원입니다. 이 곳은 DeepSeek 뿐 아니라 검은신화:오공의 개발사, 그리고 다양한 로봇, AI 스타트업들이 밀집해서 빠르게 성장하고 있다고 해요.

우리나라 산업계, 그리고 AI 생태계의 많은 분들과 이와 관련한 의견 교환이 이루어지기를 바랍니다.

트위터 라이브러리 (Twitter Library) 🐦

AI 학계와 업계에서는 특히 최근 비디오의 생성, 그리고 이해라는 영역에서 ‘멀티모달리티’의 잠재력을 실현하는데 있어서 큰 진전을 이루고 있습니다. 지난 주에 발표된 연구들만 보더라도, 비디오를 처리하는 작업이 현재 AI 모델의 능력을 발전시키는 중요한 방향이라는 걸 보여주고 있는데요.

오늘은 ‘비디오의 이해와 생성’을 더 잘 하도록 해 주는 7가지 오픈소스 모델과 기법을 소개하려고 합니다:

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

튜링 포스트 코리아팀이 읽고 있는 것들

어쩔 수 없이 이번 주는 ‘DeepSeek’ 관련입니다: DeepSeek과 관련해서 읽어보실 만한 ‘모든’ 글을 저희도 보고 있네요.

• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (논문)

• China Open-Source 2024 Annual Report (중국어 보고서입니다만, 챗GPT 사용하시면 되겠죠?)

• DeepSeek FAQ (by Stratechery, Ben Thompson)

• DeepSeek and the Future of AI Competition with Miles Brundage (by China Talk)

• The Deep Roots of DeepSeek: How It All Began (by Recode China AI)

• DeepSeek means AI proliferation is guaranteed (by Import AI)

• Hugging Face’s science team fully reproduced and open-sourcing R1 including training data, training scripts (깃허브)

• 허깅페이스의 머신러닝 엔지니어 Merve Noyan은 ‘DeepSeek 말고, 다른 중국 AI 스타트업 모델들도 좋은 것들이 많은데 아무도 안 보네?’라고 한 마디 했네요 ^.^

AI 현업 전문가의 추천 제품, 서비스 👍🏼

여기도 DeepSeek. 지금 DeepSeek 모델 자체가 아니라 DeepSeek AI Assistant 앱이 앱스토어에서도 1등이라고 하고 많은 분들이 다운로드받아서 사용하고 계신 것 같습니다. 한 쪽에서는 이 앱의 약관 문제, 개인정보 보호 문제 등에 대한 지적이 있어서, 사용을 주저하고 계신 분들도 계실 것 같아요 - 실제로 조심해야 할 수도 있을 것 같습니다.

앱 대신, DeepSeek 모델 자체를 - 바로 이게 오픈소스이 매력이죠 - 내 환경에 설치해서 쓴다면 위의 대부분 문제는 없습니다. 환경이 되신다면, 한 번 아래와 같이 해 보시기 바랍니다.

LM Studio를 설치해서 DeepSeek 모델 사용

• LM Studio 설치
  LM Studio 웹사이트에서 사용하시는 운영체제에 맞는 버전을 다운로드하시고, 설치 가이드에 따라서 설치를 진행하세요.

• DeepSeek 모델 다운로드
  LM Studio를 실행하고 ‘Discover’ 탭으로 이동하세요. ‘DeepSeek’를 검색하고 원하는 모델을 선택한 후, Download를 클릭해서 모델을 ‘로컬’에 저장하세요.

• 오프라인에서 모델 실행
  다운로드가 완료되면 ‘Local Models’ 섹션으로 이동하세요. DeepSeek 모델을 선택하고 ‘Load’를 클릭하세요. 인터넷 연결이 없이도 LM Studio 내에서 직접 모델을 사용해 볼 수 있습니다.

금주의 주목할 만한 업계 동향 📰

거대 AI 데이터 센터 프로젝트 소식 이어지다

• 오픈AI, 오라클, 소프트뱅크의 5,000억 달러 규모 스타게이크 AI 벤처
  텍사스에 대규모의 데이터 센터와 에너지 시설을 건설할 계획을 가진 스타게이트는 미국의 AI 패권 강화를 목표로 하는 대형 프로젝트입니다. 엔비디아, 마이크로소프트 같은 파트너들도 중국과의 AI 경쟁 무기가 될 이 프로젝트에 힘을 보태고 있구요. 트럼프와는 달리 일론 머스크는 이 프로젝트를 부정적으로 보고 있네요.

• 메타, 맨하탄만한 사이즈의 AI 데이터 센터 투자 계획 발표
  스타게이트보다 마크 저커버그의 ‘AI 야망’은 조금 작은가요? ^.^ 그래도 맨하탄을 뒤덮을 만큼 거대한 데이터 센터에 650억 달러를 투자합니다. 130만 개의 GPU로 구동되는 이 시설로 메타는 자사의 생태계를 혁신하고 미국의 AI 거물들과 경쟁하려고 한다고 합니다. 바야흐로 AI 메가 프로젝트의 시대인가 봅니다.

미스트랄의 IPO 계획 - Vive la Résistance

• 프랑스의 대표 AI 스타트업 미스트랄, M&A 선택지 대신 IPO로 방향을 잡았습니다. 10억 유로를 조달한 미스트랄의 CEO Arthur Mensch는 오픈소스 LLM에 대한 투자를 두 배로 늘리면서 기업공개(IPO)를 계획하고 있다고 했습니다. 유럽의 강자로 자리매김한 미스트랄, 앞으로 글로벌 AI 경쟁에서 유럽 대표의 하나로 강하게 드라이브를 걸 것 같습니다.

허깅페이스, SmolVLM으로 작게, 더 작게

• 허깅페이스가 지금까지 나온 가장 작은 파운데이션 모델 두 가지, SmolVLM의 250M, 500M 버전을 공개했습니다. 이 오픈소스 모델의 출시는 ‘효율성을 무기로 할 수 있다면 크기는 중요하지 않다’는 점을 보여주고, 소형 AI 개발의 새로운 지평을 열고 있다고 생각합니다.는 것을 증명하며, 소형 AI 개발의 새로운 기준을 제시합니다."

구글 딥마인드, 2024년 성과 발표

• 구글 딥마인드는 2024년의 핵심 성과를 발표했는데요. Gemini 2.0의 멀티모달리티 혁신에서부터 Willow 칩이 달성한 양자 컴퓨팅에서의 진전까지, 엄청난 혁신을 이룬 한 해였네요. Med-Gemini는 의학 시험에서 우수한 성적을 거뒀고, 알파폴드 3는 분자 과학의 새로운 발전을 이끌어냈고, ALOHA는 로봇공학을 재정의했습니다. 재난 대비, 교육 도구, Responsible AI 이니셔티브를 통해서 딥마인드는 DeepMind는 최첨단 기술을 가진 회사에 걸맞는 글로벌 영향력과 책임 간의 균형을 맞추고자 노력하고 있습니다. 노벨상, 어쩌면 당연한 결과일지도 모르겠습니다.

구글의 다음 행보, ‘Light Chips’

딥마인드의 CEO 데미스 하사비스가 구글의 다음 행보를 공개했습니다 - AI 모델 비용을 대폭 낮추면서 효율성을 높이도록 설계된 맞춤형 'Light Chips'입니다. 이 칩들은 멀티모달 AI, 100만 토큰 메모리, AGI를 위한 '월드 모델' 비전을 갖춘 Gemini 2.0 Flash를 구동합니다. 딥마인드의 강점은, 바로 칩부터 알고리즘까지 AI 스택의 모든 계층을 확보하고 있다는 거죠.

새로 나온, 주목할 만한 연구 논문

금주의 Top Pick! - 전부 중국 AI 스타트업 모델들이네요.

• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
  LLM의 추론 능력을 다단계 강화학습으로 향상시켜서, AIME 2024나 MATH-500와 같은 벤치마크에서 경쟁 모델들을 능가하는 성능을 달성했습니다.

• Kimi K1.5: Scaling Reinforcement Learning with LLMs
  효율적인 강화학습 방법을 통해서 추론 능력을 확장하고, 긴 CoT 작업과 짧은 CoT 작업 모두에서 토큰 사용을 최적화합니다.

• Qwen2.5-1M Series
  희소 어텐션과 초고속 추론 프레임웍을 활용, 오픈소스 모델에서 100만 토큰 컨텍스트를 지원하며, 긴 컨텍스트 작업을 잘 처리합니다.

특수한 아키텍처 및 기법

• Demons in the Detail
  Mixture-of-Experts 모델 훈련을 위해서 부하 분산 (Load-Balancing) 손실 함수를 도입했습니다.

• Autonomy-of-Experts Models
  Mixture-of-Experts의 효율성과 확장성을 개선하기 위해서 전문가 자체 선택 (Expert Self-Selection) 방식을 제안합니다.

• O1-Pruner: Length-Harmonizing Fine-Tuning
  강화학습 기반의 Pruning을 통해서 추론 모델의 추론 오버헤드를 줄여줍니다.

언어모델의 추론 및 의사결정

• Evolving Deeper LLM Thinking
  계획을 수립하는 작업에서 자연어의 추론 능력을 향상시키기 위해서, 유전적 탐색 (Genetic Search) 방법을 연구, 높은 정확도를 달성합니다.

• Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training
  반복적인 자가 학습을 통해서 언어 모델 에이전트가 스스로 성찰하도록 학습시키는 프레임웍을 개발했습니다.

• Reasoning Language Models: A Blueprint
  추론 능력을 대중화하기 위해서, 다양한 추론 방법을 통합하는 모듈식 프레임웍을 제안합니다.

멀티 에이전트 시스템

• SRMT: Shared Memory for Multi-Agent Lifelong Pathfinding
  다중 에이전트 시스템에서 공유 메모리를 활용해서 조정 능력 (Coordination)을 향상시킬 수 있다는 걸 보여줍니다.

• Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks
  자가 진화 (Self-Evolution) 능력을 갖춘 모바일 어시스턴트를 위한 계층적 에이전트 프레임웍을 개발했습니다.

멀티모델 및 GUI 시스템

• UI-TARS: Pioneering Automated GUI Interaction
  사람과 유사하게 GUI 작업 수행을 하도록 하기 위한 비전 기반의 에이전트를 개발했습니다.

• InternLM-XComposer2.5-Reward
  텍스트, 이미지, 비디오 간의 Alignment를 위한 멀티모달 보상 모델링을 개선했습니다.

강건성 (Robustness), 적응성 (Adaptability), 불확실성 (Uncertainty)

• Trading Inference-Time Compute for Adversarial Robustness
  적대적 공격에 대한 견고성을 향상시키기 위해서 Inference-Time Compute Scaling을 연구합니다.

• Evolution and the Knightian Blindspot of Machine Learning
  불확실성에 대한 회복력을 높이기 위해서, 기계학습에 진화의 원리를 통합할 것을 제안하고 있습니다.

계획 및 실행

• LLMs Can Plan Only If We Tell Them
  LLM의 계획 수립 능력을 향상시키기 위한 구조화된 상태 추적 (State Tracking) 방식을 제안합니다.

• Debate Helps Weak-to-Strong Generalization
  모델의 일반화 능력 (Generalization)과 Alignment를 개선하기 위해서 ‘토론 기법’을 활용합니다.

AI 인프라 및 하드웨어

• Good Things Come in Small Packages
  확장 가능하고 비용 효율적인 AI 인프라를 만들기 위해서 Lite-GPU를 사용할 것을 제안합니다.

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!