FOD#56: 애플 인텔리전스 – 미래를 향한 계산된 도약인가?

금주의 Turing Post:

• 수요일, AI 101: JEPA (Joint Embedding Predictive Architecture; 현재의 임베딩으로부터 미래의 사건을 예측하게 함으로써 비지도 학습 성능을 개선하도록 설계된 프레임워크)에 대한 심층 기사

• 금요일: 새로운 AI 유니콘에 대한 추가 기사

"소프트웨어에 대해 정말 진지한 사람이라면, 하드웨어를 직접 만들어야 한다." Steve Jobs의 명언으로 알려져 있지만 원래는 컴퓨터 과학자인 Alan Kay가 한 이 말은, 하드웨어와 소프트웨어를 밀접하게 통합하는 것이 최고의 사용자 경험을 제공하기 위한 핵심이라는 Apple의 철학을 그대로 담고 있습니다. 아웃소싱으로 시작해서 A-시리즈와 M-시리즈와 같은 자체 칩 개발에 이르기까지의 칩 설계 여정은 이런 Apple의 철학을 잘 보여줍니다. Steve Jobs의 비전으로부터 시작된 이 여정은, 이어진 연구 개발에 대한 막대한 투자, 전략적 인수 (2008년 PA Semi 등), 그리고 칩 제조를 위한 TSMC와의 긴밀한 파트너십 등을 통해 실현되었습니다. 당시 ‘자체적으로 칩을 설계한다’는 올바른 결정이 Apple의 현재 AI 전략의 발판이 되었다고 볼 수 있을 것 같은데요. 모두 Apple이 앞으로의 AI 게임을 어떻게 끌고 나갈지 지켜보고 있는 상황에서, Apple은 2024년 6월 Cupertino에서 열린 WWDC에서 어떤 답을 내놓았을까요?

Apple의 WWDC 발표내용 유출, 그리고 Apple의 전략

Microsoft와 NVIDIA는 사전 브리핑을 금지하고 자사의 행사 전까지 중요한 내용들을 기밀로 유지했지만, Apple은 본의 아니게 다른 전략을 취해야 했습니다. WWDC 첫 날인 6월 10일 월요일에 발표할 모든 내용이 그 전날 Bloomberg의 Mark Gurman에게 유출되었기 때문입니다. 어떻게 그런 일이 일어났는지는 아무도 모르지만, Apple은 일단 그 사태를 무시하고 침착하게 WWDC를 맞이했습니다. 글쎄요, Apple은 사실 거의 처음부터 꾸준히 아이폰 관련 뉴스를 유출해 온 전력이 있으니, 이번 사태도 어쩌면 Apple의 전략일지 모르겠네요. 어쨌든, 그럼에도 불구하고 이번 발표는 Apple의 기존 전략, 즉 ‘하드웨어 및 소프트웨어 생태계의 완벽한 통합’이라는 원래의 전략이 여전히 유효하다는 것을 증명하는데요. '애플 인텔리전스 (Apple Intelligence)'의 발표가 바로 여기에 등장합니다.

애플 인텔리전스, 그리고 (OpenAI와의) 통합의 힘

WWDC 키노트의 두 가지 주요 내용은 Apple의 AI 시스템인 ‘애플 인텔리전스’와 ‘OpenAI와의 협업’이라고 할 수 있습니다. GPT와 같은 대화형 LLM을 자체 개발하지 않고 기다리는 전략으로 Apple은 최소한 두 가지를 달성했습니다: 수 차례 반복된 GPT 개발 작업을 살펴보는 기회를 가졌다는 것, 그리고 모델 학습에 드는 수억 달러를 절약한 것입니다. 이제는, Apple의 사용자 경험 구조에 기존 모델과 이미 작동하는 모델을 통합할 수 있는 단계에 들어섰습니다. Apple 기기에서 모든 것을 처리할 수 있는, AI 기반의 Siri도 소개했는데, AI 기능에는 기사, 이메일, 메시지 등의 요약, 자동 회신 제안 등이 포함됩니다. AI가 만드는 커스텀 이모티콘이라든가 음성 메모의 자동 필사 기능도 큰 인기를 끌었고, 사진앱의 향상된 사진 편집 기능도 드디어 출시되었습니다. 개발자라면 GitHub Copiliot과 유사한, 자동적 코드 완성을 위한 AI가 탑재된 Xcode가 눈에 띌 겁니다.

Apple의 최대 장점이라면, 칩부터 OS, 앱에 이르기까지 전체 스택에 대한 통제권을 가지고 있다는 점인데, 이는 경쟁사가 쉽게 따라잡을 수 없는 수준의 최적화와 통합을 가능하게 합니다.

Apple의 AI가 중요한 이유

Apple의 본격적인 AI 시장 진입은 여러 가지 이유로 중요한 의미를 가집니다:

• 진입의 시점: AI 시장 참여에 있어서, Apple은 빠르지도 않지만 그렇다고 늦은 것도 아닙니다. 다른 기업들의 실수로부터 배워가면서 제대로 된 사용자 경험을 향상시키는 AI 기능 제공에 집중할 수 있는 시점에 AI 씬(Scene)에 진입하고 있습니다.

• 하드웨어 부스트: AI는 연산 자원이 많이 필요한데, Apple의 최신 기기는 이런 작업에 적합하도록 개발되었습니다. AI의 확산이 이어진다면, 계속해서 업그레이드의 바람을 일으키면서 Apple의 수익에 도움이 될 수 있습니다.

• 생태계 락인 (Lock-in): AI를 자사 생태계에 잘 통합한다면 Apple은 사용자가 Apple 기기를 더 많이, 더 필수적으로 사용하도록 할 수 있습니다. 이렇게 되면, Apple 플랫폼은 더욱 강력해지고 사용자가 경쟁사로 이동하는 것이 어려워집니다.

• 프라이버시에 집중: 개인정보 보호에 대해 아주 높은 평판을 가지고 있는 만큼, Apple이 제공하는 AI 기능은 프라이버시를 염두에 두고 설계되었습니다.

앞으로의 방향

새로운 하드웨어를 선보이지는 않았지만, 이번 WWDC는 Apple이 그리는 AI 기반의 미래를 살짝은 엿볼 수 있는 행사였습니다. 지금 이 시점이 Apple이 AI 씬에서 중요한 플레이어가 되기 위한 적절한 타이밍으로 생각됩니다. AI가 계속 발전하면서, 하드웨어와 소프트웨어를 매끄럽게 결합할 줄 아는 Apple의 능력은 AI를 기반으로 한 사용자 경험의 새로운 표준을 제시할 수도 있을 겁니다. Apple은, AI 씬에 있어서는 전체를 아우르는 그림이 부분들을 각각 합쳐놓은 것보다 더 크다는 생각에 베팅하고 있는데, 그간의 역사를 기준으로 놓고 본다면 이 Apple의 베팅은 성공할 가능성이 높아 보이네요.

더 자세한 읽을거리를 원하시면, Ben Thompson의 Stratechery에 실린 분석 기사를 한 번 살펴보셔도 좋겠습니다.

Twitter Library

주목할 만한 뉴스

• 캘리포니아 법률과 오픈 소스에 대한 위험

(역자 주) 생성 AI의 대두, 확산과 함께 AI의 ‘규제’에 대한 논의가 전세계적으로 급물살을 타고 있는 가운데, 어떤 방식의 규제가 효과적이면서도 혁신을 저해하지 않는 방식인지에 대한 논의도 첨예하게 이루어지는 것 같습니다.

미국 캘리포니아주에서 진행 중인 SB-1047 법안의 경우, LLM의 유즈케이스 레벨이 아니라 LLM 자체를 제약하고 규제하는 방식으로 논의가 되고 있어, 과도하게 광범위한 규제일 뿐 아니라 도구로서의 LLM을 개발하는 개발자에 과도한 책임을 지운게 되고, 결국 오픈소스의 발전을 저해할 것이라는 의견이 연구자들 사이에 공감을 얻고 있습니다. 이에 대한 Andrew Ng의 트윗, 그리고 Yann LeCun의 리트윗을 소개합니다.

• AMD, NVIDIA를 따라잡나?

NVIDIA가 공식적인 Computex 일정에 앞서 새로운 칩을 발표한 다음 날, AMD는 2024년 4분기에 출시될 MI325X 가속기와 MI300 시리즈, 그리고 MI300 시리즈 대비 35배 향상된 AI 추론 성능을 보일 것으로 보이는 2025년 출시 예정인 MI350 시리즈에 대한 계획을 발표했습니다. AMD는 2026년 출시 예정인 MI400 시리즈에 대한 상세한 설명도 덧붙였는데, NVIDIA와 마찬가지로 AMD도 앞으로 매년 새로운 칩을 출시할 것으로 보입니다.

• Microsoft: ‘리콜(Recall)’ 기능에 대한 반발, 그리고 Aurora 소개

수많은 사람들이 ‘5초마다 스크린을 캡쳐’하게 하는 MS의 ‘리콜’ 기능에 대해 심각한 보안 위험이라며 반발하고 있습니다. 결국 이 기능을 디폴트로 설정하는 대신 얼굴 인식 또는 지문 ID를 사용하고 검색 DB를 암호화하는 옵트인 방식으로 전환했는데요. 사실, 처음부터 MS가 ‘리콜’을 신중하게 검토하고 설계한 것 같지는 않네요.

긍정적인 MS 관련 뉴스로는 Aurora (오로라; 1.3B 매개변수의, 기후 예측을 위한 최초의 대규모 파운데이션 모델) 발표가 있네요. Aurora는 발전된 3D Swin Transformer와 Perceiver-based Encoder를 사용해서, 전통적인 모델 대비 약 5,000배의 계산 속도로 대기 역학, 대기 오염도, 극단적인 기상 현상 등을 놀라운 수준의 정확도로 예측합니다.

• 소프트웨어 엔지니어링에 AI를 활용하는 Google

Google은 자사 블로그에서 AI 기반의 코드 완성 기능이 어떻게 개발자 생산성을 50% 이상 크게 향상시키는지 자세히 설명하고 있는데요. 최근 업데이트에서는 코드를 검토하는 주석의 8% 이상을 AI가 맡아서 정리하거나 붙여넣은 코드를 맥락에 맞게 변경하는 내용 등을 포함하고 있습니다. 향후의 목표는 테스트, 코드 이해, 유지 관리 영역까지 AI의 적용을 확대하는 것이라고 합니다.

• 생각보다는 관리할 만한 ‘허위 정보 (Misinformation)’

‘허위 정보’ 문제는 AI 담론의 주요 주제 중 하나였습니다. Oren Etzioni와 같이 관련 영역에 관심이 많은 AI 전문가들은 이런 ‘허위 정보 (Misinformation)’ 방지를 전문으로 하는 회사를 설립하기도 하죠 (인터뷰 참조). 여전히 이게 문제이긴 하지만, Ceren Budak 등이 공저한 논문에 따르면 Misinformation 문제는 이전에 생각해 왔던 것보다는 비교적 관리할 만한 문제라고 합니다.

The Platformer의 최근 기사를 살펴보면, ‘허위 정보가 민주주의를 심각하게 훼손한다’는, 흔히들 동의하실 만한 생각에 이의를 제기하면서, 허위 정보의 영향력은 예상보다 작다는 이야기를 하고 있습니다. 실제로, 대부분의 잘못된 정보를 퍼뜨리는 것은 소수의 개인이고 그 영향력의 총합은 제한적일지 모릅니다. Twitter 같은 플랫폼은 상습 유포자에 대한 접속 제한으로 허위 정보를 크게 줄였다고 평가받기도 합니다. 정보가 생산되고 확산되는 전반적인 환경에 대한 걱정은 계속되겠습니다만, 여러 플랫폼들이 허위 정보를 효과적으로 통제할 수 있다는 희망이 있네요.

• Sam Altman이 쳐 놓은 거미줄

2019년부터 Sam Altman이 투자한 회사들을 CB Insights에서 정리한 도표입니다. Y Combinator 출신답게 수많은, 다양한 영역의 스타트업에 투자 포트폴리오를 보유하고 있네요.

다른 뉴스레터와 소스의 뉴스

• LLM 개발의 세 단계 - 구축, 훈련, 파인튜닝 - 에 대한 간단한 설명을 담고 있는 Sebastian Raschka의 동영상입니다.

• AI 에이전트에 대한 관심은 점점 커지고 있는데요. Madrona 벤처캐피탈의 ‘The Rise of AI Agent Infrastructure’라는 글입니다.

• 전직 OpenAI 직원이자, 얼마 전 해고된 후 급진적이고 논란을 일으킬 만한 다양한 글과 팟캐스트를 쏟아내고 있는 Leopold Aschenbrenner라는 새로운 AI 영역의 ‘인플루언서’에 대한 Max Read의 글, A new A.I. influencer is producing some of the most criminal charts I’ve ever seen 입니다.

• Stratechery의 Ben Thompson이 한 AMD의 CEO, Lisa Su와의 인터뷰입니다.

새로 나온, 주목할 만한 연구 논문

Top Pick

• “우리가 인간의 언어를 분류하거나 생성할 줄 아는 파운데이션 모델을 만든 것처럼, 동물의 언어에 대해서도 같은 작업을 하지 말라는 법이 없다는 생각이 이 논문의 기본 아이디어입니다” - 막스플랑크 동물행동학 연구소 (Max Planck Institute of Animal Behavior)와 그 파트너들이 ‘animal2vec and MeerKAT: A self-supervised transformer for rare-event raw audio input and a large-scale reference dataset for bioacoustics’라는 제목의 논문을 발표했습니다. Self-supervised Transformer인 animal2vec은 원시 오디오 파형으로부터 학습을 해서 희소하면서도 불균형적인 생체 음향 데이터를 분석하는데 있어서의 문제를 해결하고자 합니다. 인간이 아닌 육상 포유류를 기준으로 공개되어 있는 가장 큰 데이터셋인 MeerKAT 데이터셋에는 상세한 발성 레이블이 포함된 184시간을 포함해서 총 1,068시간이 넘는 데이터가 포함되어 있죠. 제 개에게 ‘내가 곧 니가 하는 말을 이해할 수 있을 거야’라고 했더니, 이 친구는 그냥 눈을 동그랗게 뜨고 말더군요. ^.^

• OpenAI 연구자들이 GPT-4로부터 개념을 해석, 추출하는 방법론을 제시하는 ‘Scaling and Evaluating Sparse Autoencoders’ 논문을 발표했습니다. 연구진은 GPT-4의 내부 Representation을 1,600만개의 패턴으로 분해해 냈는데, 거대 모델의 모든 행동을 파악해 내는데는 다소의 한계가 있지만 이 Sparse Autoencoder를 사용해서 사람이 해석 가능한 특징 (Features)을 식별해 낼 수 있다는 장점이 있습니다. 이 연구의 목표는 모델의 신뢰성 (Trustworthiness)과 조종 가능성 (Steerability)을 향상시키는데 있다고 합니다. OpenAI는 논문, 코드, 시각자료 등 모든 연구 결과를 오픈 소스로 공개하고 있습니다.

• “Open-Endedness is Essential for Artificial Superhuman Intelligence" (개방성은 초인공지능에 필수적인 항목이다)”라는 제목의 논문에서, Google Deepmind 연구원들은 ASI를 달성하려면 지속적인 자기 개선과 발견을 할 수 있는 개방형 AI 시스템이 필요하다고 이야기합니다. 여기서 ‘개방성’의 정의를 참신성 (Novelty) 그리고 학습 가능성 (Learnability)을 기반으로 제시하고 있는데, 이 논문은 개방형 시스템과 결합된 파운데이션 모델이 인류에게 유효한 발견을 이루어낼 수 있는 잠재력과 함께 이런 AI 개발이 가지는 안전 (Safety)에 대한 함의를 탐구합니다.

강화학습 및 에이전트 개발

• Advancing DRL Agents in Commercial Fighting Games: Training, Integration, and Agent-Human Alignment - 상업용 게임에서 역량과 효율성 간 균형을 맞추기 위해 HLT (Heterogeneous League Training)를 활용하여 DRL 에이전트를 개발, 배포하는 방법을 통해 에이전트의 행동과 인간의 기대치를 맞추는 실험을 진행 합니다. 논문 읽기

• Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning - 이 논문은 인류의 문화적 진화 과정에서 힌트를 얻어, RL 에이전트가 어떻게 여러 세대에 걸쳐 문화적 요소를 축적하고 에피소드식 In-context Learning (ICL)과 In-weights Learning (IWL)을 통해 역량을 강화할 수 있는지 검토해 봅니다. 논문 읽기

• Self-Improving Robust Preference Optimization - 이 논문은 최대 최소전략으로 최적화를 실행하는 자기 개선 프로세스로 학습을 진행함으로써 사람의 선호도와 더 Alignment를 잘 맞추는 오프라인 RLHF 프레임워크를 소개합니다. 논문 읽기

• AGENTGYM: Evolving LLM-based Agents across Diverse Environments - 이 논문은 행동 복제와 새로운 진화 방식을 통해서 다양한 작업을 처리하는 LLM 기반 에이전트를 훈련시키는 프레임웍을 제시하며, 이를 통해서 SOTA 모델에 필적하는 성능을 달성하는 방안을 설명합니다. 논문 읽기

언어 모델과 NLP

• MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark는 더 어려운 질문들로 LLM을 평가하는 향상된 벤치마크를 제시하는데, 이 방식이 모델의 정확도를 더 냉정하게 변별력있게 평가하는데 효과적이라는 점을 보여줍니다. 논문 읽기

• Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback - 이 논문에서는 DITO (Demonstration Iterated Task Optimization)이라는 방법으로 더 적은 예제를 사용하면서도 훨씬 더 사용자의 선호도에 맞는 답을 하도록 LLM을 훈련시키는 방법을 소개합니다. 논문 읽기

• To Believe or Not to Believe Your LLM에서는 LLM의 불확실성을 정량화하는 방법을 탐색하는데, 높은 인식적 불확실성을 감지하는 정보 이론적 관점의 지표를 개발하고 신뢰할 수 없는 반응이라든가 환각 등을 찾아내는 방법을 제시합니다. 논문 읽기

• Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models은 ‘메타 버퍼’에 고수준의 사고-템플릿을 저장하는 방식으로 다양한 작업에서 상당한 수준의 성능을 달성하도록 LLM의 추론 능력을 향상시키는 프레임웍을 제안합니다. 논문 읽기

• PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs - 여기서는 선호도 데이터로 모델을 Distillation하고 품질의 격차를 손실 랭킹에 활용하여, 모델의 성능과 생성 품질을 개선하는 프레임웍을 제시합니다. 논문 읽기

• Item-Language Model for Conversational Recommendation - 이 논문에서는 텍스트 정렬 항목 인코더 (Text-aligned Item Encoder)와 고정된 (frozen) LLM을 결합해서 사용자 상호작용 신호를 통합함으로써 추천의 성능을 향상시키고 언어 및 추론 기능을 유지하는 방법을 제시합니다. 논문 읽기

모델 확장성과 효율성

• Will we run out of data? Limits of LLM scaling based on human-generated data에서는 사람이 생성하는 텍스트 데이터의 유한성 때문에 야기되는 LLM 확장의 제약 조건들을 분석하고, 향후의 지속적 발전을 위한 합성 데이터, 전이 학습 (Transfer Learning), 데이터 효율성의 개선 방안 등을 논의하고 제안합니다. 논문 읽기

• µLO: Compute-Efficient Meta-Generalization of Learned Optimizers - 이 논문에서는 Maximal Update Parametrization (µP)을 사용하여 학습된 옵티마이저의 Generalization을 개선하는 방법을 개발, 옵티마이저 하이퍼파라미터의 Zero-shot Generalization을 가능하게 합니다. 논문 읽기

• Block Transformer: Global-to-Local Language Modeling for Fast Inference - 이 논문에서는 글로벌 및 로컬 컨텍스트 모델링을 분리, 추론 속도를 최적화하는 아키텍처를 도입함으로써 Key-Value 캐시 검색의 필요성을 대폭 줄이고 처리량을 늘리는 방법을 제시합니다. 논문 읽기

• Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms에서는 LLM 훈련에 사용하는 DAA의 보상 과잉 최적화를 분석, 더 높은 KL-Divergence 예산으로 성능 저하를 줄이기 위한 해결책을 제안합니다. 논문 읽기