일론 머스크는 꽤 오랫동안 AI에 대한 꿈, 그리고 고민을 가지고 있었다고 하는데요. 올 7월, 일론 머스크가 설립한 AI 연구소 ‘xAI’는 설립 1주년을 맞이했고, 이미 240억불 이상의 기업 가치를 인정받으면서 전세계에서 몇 안 되는 가장 중요한 AI 유니콘 중 하나가 되었습니다. 여러 논란이 있지만, xAI는 Grok-1을 내세워 빠르게 발전하면서 일반 대중과 업계의 호기심, 회의론 등을 불러일으키고 있는데요. xAI에 대한 일론 머스크의 계획은 무엇인지, ‘Muskonomy (머스코노미 - 테슬라, X, xAI 등을 중심으로 시너지를 만들어내는 머스크의 생태계)’를 어떻게 만들어 나가려고 하는지, xAI 그리고 Grok의 앞날에 어떤 일이 기다리고 있을지, 한 번 알아보죠!

이 글 목차는 아래와 같습니다:

2015년, 일론 머스크는 ‘인간 수준의 안전한 AI를 개발한다’는 목표로 YC (와이콤비네이터)를 통해 AI 연구소를 설립하겠다는 샘 알트먼의 아이디어를 지지했습니다. OpenAI라는 이름까지 제안도 했구요. 모든 회사에 알파벳 ‘X’를 넣어야 한다는 생각을 가진 것으로 보일 정도로 X에 집착하는 일론이 OpenAI라는 이름을 제안한 것 자체가, 처음에 일론 머스크가 이 회사가 자기 것이 되기를 원한 것이 아니었던 것 아니냐는 생각도 할 수 있겠지만, 어쨌든 일론은 이 아이디어를 열렬하게 지지했어요. 그렉 브록만이 이 정도로 이야기할 정도였죠 - “일론이 여기에 얼마나 호기심이 많았는지, 다른 사람의 의견을 적극적으로 물어보고 진짜로 경청하는 모습에 놀랐습니다.”

그런데, 2018년에 모든 것이 뒤바뀌죠: 일론 머스크가 공식적으로는 Tesla와 OpenAI 간 이해 상충을 이유로 OpenAI의 이사회에서 사임하지만, 사실은 OpenAI 운영에 대한 주도권을 쥐고 자기 마음대로 할 수가 없어서였다는 의견이 지배적이었습니다. 실제로 그 때까지만 해도 일론이 인간 수준의 AI를 개발하기 위한 또 하나의 AI 연구소를 시작할 조짐은 없었고, 그저 샘 알트먼과 OpenAI를 짓밟고 싶어할 뿐인 것처럼 보였죠.

그러다가 OpenAI가 2022년 11월 챗GPT를 세상에 내 놓으면서 엄청난 반향을 일으키기 한 달 전, 2022년 10월, 또 하나의 중요한 일이 일었죠. 바로 일론 머스크가 데이터의 황금밭, 트위터를 인수한 겁니다. 그렇지만 일론 머스크는 여전히 기회가 될 때마다 OpenAI를 비판했고, 2023년 3월 ‘Pause in AI Training’이라는, 당장 6개월 동안 GPT-4보다 강력한 AI 시스템의 훈련을 멈추라는 내용의 서한에 서명하기도 했습니다.

…..그렇지만 생각해 보세요. 엄청난 자금, 수십억 개의 데이터에, 자존심에 스크래치는 났는데 내가 일론 머스크라면…… 새로운 AI 회사를 설립하고 싶은 유혹을 뿌리칠 수 있을까요? 그러기는 정말 힘든 일이죠. 결국 2023년 7월, AI 연구 중단을 요구하는 목소리에도 불구하고, 일론 머스크는 자신의 AI 회사, xAI를 설립했습니다. xAI라고 부르는 걸 보면, 이제는 일론이 이 회사에 진심이라는 걸 알 수 있구요.

xAI 설립 후 불과 1달만에 330억 개 파라미터로 구성된 Dense Transformer 모델인 Grok-0은 2023년 8월 18일에 완성되었고, 2023년 11월 3일에는 대화형 AI Grok-1이 얼리 액세스로 출시, 수백 명의 사용자가 사용하기 시작했습니다.

Grok-1 발표에서 보여준 위 성능에 대해서 커뮤니티는 다소 회의적인 반응이었는데, 그 이유는 xAI에서 "이런 벤치마크는 웹에서 찾을 수 있고 우리 모델이 실수로 이러한 벤치마크를 학습했을 가능성을 배제할 수 없다"고 했기 때문입니다. OpenAI 서브레딧 (‘서브레딧’ - 레딧에 있는 각각의 커뮤니티) 사용자들은 ‘xAI가 어떻게 그렇게 빨리 Grok을 만들었을까’에 대해 활발하게 토론했는데, xAI가 GPT 및 LLaMA와 같은 기존 아키텍처를 활용하고 공개된 사용 가능한 데이터 세트를 이용해서 Grok을 빠르게 만들었을 것 같다는 의견이었습니다.

xAI는 10년이 넘는 분량의 트위터 데이터 - 아주 풍부하고도 높은 품질의 대화 자료죠 - 를 활용했고, 테슬라의 강력한 GPU 데이터 센터를 이용해서 트레이닝 프로세스를 가속화했습니다. 또, 오픈소스 모델과 HuggingFace 같은 플랫폼의 데이터도 통합했습니다. 대량의 고품질 데이터, 파인튜닝 및 전이 학습과 같은 효율적인 훈련 기술, 고급 신경망 프로세서의 조합으로 트레이닝 시간을 크게 단축했습니다. 여기에 더해서, Grok이 GPT 같은 기존 모델을 맞춤화한 버전이라서 개발 프로세스가 더욱 간소화되었을 것이라는 추측도 있습니다.

한 페이지로 간결하게 정리된 Grok-1 모델 카드를 보면, Grok-1은 다음 토큰 예측을 위해서 사전 학습된 Autoregressive Transformer (자동회귀 트랜스포머) 기반 모델이고, 사람이 작성한 피드백과 그 이전 모델 Grok-0의 피드백을 광범위하게 사용해서 파인튜닝했고, 토큰 Context Length는 8,192다라는 것 외에는, 아키텍처에 대해 거의 공개하고 있는 내용이 없습니다.

Grok 개발용으로 xAI는 Kubernetes, Rust, JAX를 활용해서 강력한 딥러닝 인프라를 구축했다고 합니다. GPU의 장애를 자동으로 감지하고 관리하도록 설계된 ‘맞춤형 분산 시스템’을 구현, 높은 MFU (Model FLOP Utilization; 모델이 FLOP을 얼마나 효율적으로 사용하는지 측정. 실제 모델의 성능에 기여하는 FLOP의 비율을 나타냄)과 최소 가동 중단 시간을 보장했습니다.

Rust는 성능, 강력한 에코시스템, 분산 시스템에서 흔히 발생하는 버그의 방지 기능 때문에 선택되었습니다. 팀 규모가 작을 때, 모니터링을 최소화하면서 인프라를 안정적으로 운영해야 하기 때문에 이 선택은 특히 중요합니다. 모델의 트레이닝과 관련해서는, 의구심이 들기는 하지만, 일단 문서 상으로는 이렇게 명시되어 있습니다: "대부분의 LLM과 유사하게, Grok-1은 2023년 3분기까지 인터넷에 공개된 다양한 텍스트 데이터를 기반으로 하되, AI 튜터 (사람)가 리뷰하고 큐레이션한 데이터셋으로 사전 학습되었습니다. Grok-1은 X (전 트위터)의 데이터(공개 게시물 포함)로 사전 학습하지 않았습니다." ….그렇지만, Grok은 X에 있는 게시물을 포함해서 "전 세계에 대한 실시간의 지식"을 보유하고 있죠.

2023년 11월, xAI가 Grok-1을 출시했을 때, 이 모델의 대기자 명단에 올라가려면 X의 프리미엄 요금제 이상에 가입해야만 했습니다. 위에서 봤듯이, xAI가 X의 데이터를 사용해서 Grok을 트레이닝한다 우려가 제기되었지만, 문서에는 그렇지 않다고 명시되어 있었습니다. 그리고 드디어, 2023년 12월, X 웹사이트와 애플리케이션에서 프리미엄 사용자만 Grok에 액세스할 수 있게 되었습니다.

2024년 3월, 일론 머스크는 ‘공익보다 이윤을 우선시한다’며 OpenAI와 CEO 샘 알트먼을 고소했습니다. 일론 머스크가 OpenAI가 ‘매우 폐쇄적’이라고 계속해서 비난하고 있었던 만큼, xAI의 챗봇 코드를 오픈소스화할 수 밖에 없었을 겁니다 (물론, 이건 2023년 10월에 종료된, 사전 학습 단계의 초기 기본 모델이었을 뿐이고, X에서 비용을 따로 지불하고 사용하는 모델은 아니었구요). 새로운 릴리즈가 발표되고 나서야, 기본 Grok-1 모델이 파라미터는 3,140억개짜리, 토큰별로 25%의 가중치가 활성화되는 MoE (Mixture-of-Experts) 모델이고, 완전히 바닥부터 새로 개발되었다는 정도가 알려졌습니다. 일론 머스크의 이런 일련의 행동 때문에 오픈소스 AI가 더 안전하냐, 더 위험하냐에 대한 논쟁도 불이 붙었죠.

2024년 3월에 Grok-1을 오픈소스화하면서 동시에 Grok-1.5도 출시했는데, 이 버전에서는 추론 및 문제해결 기능이 개선되고 Context Window가 128K 토큰으로 확장되었습니다. 그러나 역시 모델 아키텍처에 대한 구체적인 세부 사항은 비공개입니다.

2024년 4월에는 Grok-1.5가 Grok-1.5V로 업그레이드되었는데, 이 버전의 Grok은 텍스트 데이터와 시각 데이터를 모두 처리할 수 있습니다. xAI 개발팀은, 이 모델과 함께 멀티모달 모델의 기본적인 실제 공간적 이해 능력을 평가하기 위해 설계된 ‘RealWorldQA’라는 새로운 벤치마크를 도입했습니다. 이 벤치마크에는 700개 이상의 이미지가 포함되어 있는데, 각 이미지에는 질문과 함께 쉽게 확인할 수 있는 답변이 제공됩니다. 그러나 역시 Grok-1.5V의 세부 기술 사양은 아직 공개되지 않았습니다.

일론 머스크는 현재 Grok 2.0을 2만여개의 GPU로 트레이닝하고 있다고 언급한 적이 있는데, 나중에 트위터 스페이스에서는 Grok 3.0을 트레이닝하려면 약 10만개의 GPU가 필요할 거라고 했습니다.

그런데, 일론 머스크가 필요한 컴퓨팅 파워가 xAI에만 필요한 건 아니죠? 얼마 전부터 일론 머스크는 테슬라와 테슬라봇 용으로도 컴퓨팅 자원을 모아가기 시작했습니다. 테슬라에서 사용하는 머신러닝과 AI를 위해서 테슬라의 커스텀 D1 칩을 사용하는 Dojo라는 슈퍼컴퓨터를 개발했고, 이 Dojo 외에도 테슬라는 35,000개의 NVIDIA H100 GPU로 자율주행 AI를 트레이닝하고 있는데 연말까지 그 용량을 두 배로 늘릴 계획입니다.

The Information에 따르면, 일론은 “이 모든 칩을 하나의 거대한 컴퓨터 - 일론은 이걸 ‘컴퓨팅 기가팩토리’라고 불렀어요 - 로 묶을 계획”이라고 합니다. NVIDIA의 H100 GPU를 사용하는 이 슈퍼컴퓨터는 2025년 가을 가동 예정인데, 현재 가장 큰 GPU 클러스터인 Meta 플랫폼의 클러스터보다 훨씬 더 클 것으로 예상됩니다. 일론 머스크는 “이 약속이 지켜지도록 개인적으로 책임지고 살펴보겠다”고 했지만…뭐 누구든 일론 머스크를 아는 사람이라면 이 사람의 타임라인이 일반적인 타임라인과 별 상관없다는 건 잘 알겠죠.

이런 야심찬 계획에도 불구하고, ‘약 1,000억불 규모로 수백만개의 NVIDIA GPU를 사들여 대규모 클러스터를 만들겠다’는 OpenAI와 Microsoft 같은 경쟁사에 비한다면, xAI는 아직 많이 뒤처져 보입니다. 물론 xAI도 60억불을 모금해서 인간과 유사한 능력을 가진 AI 개발을 위해 NVIDIA의 차세대 칩에 투자하겠다고 하고 있습니다. xAI가 NVIDIA의 Blackwell 칩을 가장 먼저 공급받을 회사 중 하나이긴 하지만, 역시 OpenAI, Amazon, Google도 그 그룹에 끼어있죠.

SemiAnalysis가 계산한 것을 보면, 100,000개의 GPU를 임대하는 데 40억불 이상의 서버 자본 지출이 든다고 합니다. 이런 클러스터의 전력 소비량은 연간 약 1.59TWh로, kWh당 0.078달러로 환산하면 약 1억 2,390만불의 비용이 듭니다.

일론 머스크는, 독특한 데이터 자산, 엄청난 인프라 투자, 그리고 전략적인 협업 관계 등을 바탕으로 xAI를 AI 세계의 핵심 사업자로 만들려고 합니다. 여기서 사람들이 ‘머스코노미’라고 부르는 일론 머스크의 폭넓은 비즈니스 생태계와의 통합이 바로 xAI 수익화 전략의 핵심입니다.

Business Insider 보도에 따르면, 2024년 6월 테슬라의 주주들이 “일론 머스크가 AI 인력과 자원을 새로운 벤처인 xAI로 이동시켜서 자신의 이익을 극대화하려고 테슬라를 이용했다”고 비난, 소송을 제기했습니다. 원고 측은 일론 머스크가 직원을 빼돌리고, 애초에 테슬라를 위해 설계된 NVIDIA GPU를 다른 곳으로 돌리고, 회사에 대해서 더 많은 통제권을 주장함으로써 테슬라 주가가 크게 하락했다고 주장합니다.

물론 일론은 이에 대해 반박하고 있지만, NVIDIA의 내부 이메일을 통해서 일론 머스크가 실제로 X 및 xAI용으로 AI 칩의 출하 우선순위를 조정하도록 지시해서 테슬라가 5억불 이상의 프로세서를 늦게 수령한 것으로 드러났습니다. 이쯤되면 테슬라 주주들이 ‘과연 일론 머스크가 테슬라에 얼마나 헌신하고 있느냐’에 대해 걱정하는 것도 당연한 것 같습니다.

이런 갈등 상황은, 일론 머스크가 여러 신생회사를 경영하기 때문에 생길 수 밖에 없는 이해 상충의 단적인 예라고 하겠습니다. 비판자들은 일론 머스크의 행동이 명백히 테슬라의 이익을 무시한 것이고, 자율주행차 및 로봇 기술의 발전, 그리고 시장 지배력에 영향을 미칠 수 밖에 없다고 주장하고 있습니다.

일론 머스크는 아래와 같은 사람들과 함께 xAI의 운전대를 잡고 있습니다:

xAI가 불과 1년 전에 등장한 회사이긴 하지만, 이미 OpenAI, Google, Cohere와 같은 생성형 AI 모델의 선발 주자들과 경쟁하고 있습니다. 경쟁에서 승리하기 위해서, xAI는 알고리즘, 기술, 모델 개발 등에 크게 기여해서 머신러닝 영역에서 인정받고 있는 많은 연구자와 실무자를 영입했습니다.

이 팀이 과거 공헌했던 주요 성과들 중에 일부를 잠깐 살펴보죠:

xAI의 팀원들은 Transformer-XL, SimCLR, AlphaStar 및 AlphaCode, Minerva, GPT-3.5 및 GPT-4의 개발에도 참여한 바 있습니다. xAI 팀을 이끌고 있는 댄 헨드릭스 (Dan Hendrycks)는 젊지만 저명한 인물로 BERT, GPT, Vision Transformer와 같은 최첨단 모델에 필수적인 GELU Activation Function 논문의 공동 저자로 잘 알려져 있습니다.

(웹사이트에 따르면) xAI는 진실(Truthful)하고 유능(Competent)하며 모든 인류에게 최대한의 이익을 제공하는 고도화된 AI 시스템 개발에 주력합니다. xAI의 미션은 ‘우주의 진정한 본질을 이해’하는 것입니다.

xAI는 ‘주주 이익 극대화’보다 ‘사회 공헌’을 우선하는 영리 기업의 일종인 '공익 법인 (Benefit Corporation)'으로 네바다 주에 등록되어 있습니다. 이런 구조는 xAI의 경쟁사인 OpenAI나 Anthropic과 비슷한데, 긍정적인 사회적 영향을 중시하겠다는 회사의 약속을 강조합니다. 시장에서도 이런 공익 법인이 점점 더 인기를 얻고 있는 것 같은데, 아마도 사회적 책임에 동참하고자 하는 직원, 고객, 투자자에게 어필하는가 봅니다.

xAI는 최근 총 60억불 규모의 펀딩 라운드를 통해서 Valor Equity Partners, Andreessen Horowitz, Sequoia Capital 등 저명한 투자자들로부터 투자를 유치했고, 이 라운드로 기업 가치는 240억불이 되었습니다. OpenAI의 기업가치 860억불에는 턱없이 못 미치지만, Anthropic의 기업가치 180억불은 크게 뛰어넘는 수준입니다.

OpenAI와 함께 궁극적으로 AGI 개발을 꿈꾸는 일론 머스크의 xAI. 말도 많고 탈도 많은 경쟁관계이자 친구이자…복잡한 관계의 회사들입니다.

오늘은 특별한 결론 대신, xAI의 Igor Babuschkin이 올린 트윗으로 마무리하려고 합니다:

읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요.