FOD#66: 생성형 AI, 메인스트림 시장으로 갈까? 아이폰 16의 온디바이스 AI

튜링 포스트 코리아 구독자 여러분!

설레는 연휴가 코 앞으로 다가왔는데요 ^.^ 올해 추석도 보름달처럼 풍성한, 그리고 몸과 마음 모두 넉넉함이 함께하는 한가위 명절 되시기 바랍니다!

튜링포스트 코리아 예고:

• AI 101: LLM 어플리케이션의 복합 추론 능력을 개선하는 RAG 기법, Hybrid RAG에 대해서 알아봅니다.

• 새로운 시리즈: Agentic Workflow 시리즈를 시작합니다.

기대해 주세요!

이번 주는 현지 시간 9월 9일 쿠퍼티노에서 있었던 애플 아이폰 16 신제품 발표에 대해서 이야기해 볼까 합니다.

지난 6월 WWDC에서 언급된 내용을 바탕으로 ‘애플 인텔리전스’의 방향에 대해서 지난 FOD#56에서 간단히 다룬 적이 있었고, 이번 애플의 발표는 바로 그 비전을 현실에 심은 1차 결과물에 대한 이야기였는데요. 키워드를 중심으로 ‘애플 인텔리전스’가 의미하는 바를 한 번 생각해 보죠.

온디바이스 AI = AI의 Mass Adoption 본격적 신호

지난 몇 년간 엄청난 AI의 파도를 지나오면서도, 비교적 애플은 조용하게 - 적어도 외부에서 보기에는요 - 대응한 회사 중 하나라고 할 수 있을 텐데요. 이번 애플의 아이폰 16 발표를 보면 역시 수십억 달러의 비용을 들이지 않고도 현 시점 최고의 AI 기술을 고객에게 제공하려는 회사의 의지를 볼 수 있다는 생각이 듭니다.

무엇보다, 아이폰은 항상 우리의 주머니와 손에 함께 하고, 다른 어떤 스마트폰보다도 다양하게 많이 사용되는 스마트폰이니, 이제 애플 인텔리전스와 함께 ‘온디바이스 AI’가 진짜 현실이 되기 시작한 것으로 볼 수도 있겠습니다 - 아마도 1년 후에, 스마트폰에 AI가 적용되어 있지 않았던 시절이 있었나 싶을 겁니다. (애플은 이 AI를 ‘Apple Intelligence’의 줄임말이라고 하고 싶겠죠?)

애플다운, ‘하드웨어와 AI의 긴밀한 통합’

폐쇄적이라고 할 수 있는 생태계에서도 항상 ‘최고의 경험’을 제공하는 애플. 이 근간에 ‘하드웨어’와 ‘소프트웨어’를 절묘하게 통합하는 애플만의 전략과 노하우가 있다는 건 부정하기 어렵죠. ‘애플 인텔리전스’가 다른 AI 플랫폼과 차별화되는 점도 바로 여기에 있다고 봅니다. 2세대 3nm 기술을 기반으로 만들어진 A18 칩은, 추론 작업을 실행할 뿐 아니라 애플의 전체 생태계를 통합하는 핵심으로서 기능합니다 - 자연어 이해, 이미지 생성, 개인화된 컨텍스트 기반의 작업 제안 등 AI 기능을 원활하게, 실시간으로 적용하도록 최적화되어 있고, 특히 엣지 컴퓨팅에서 중요한 요소인 ‘에너지 효율’을 잘 유지합니다.

A18 칩: 엣지 AI에 최적화된 칩

애플 아이폰 16에 A18 칩을 탑재한 것이야말로, ‘온디바이스 AI’의 획을 긋는 것이라고 할 정도로 비약적인 발전을 의미한다고 하겠습니다. 거대 생성형 AI 모델 실행에 최적화된 16 코어 뉴럴 엔진을 탑재한 아이폰 16, 그냥 AI를 주머니 속으로 가져왔다고 하는게 맞을지도 모르겠습니다. 클라우드 자원이 없어도, 최적화된 하드웨어로 추론 작업을 즉시 실행할 수 있게 된 것이니까요.

아이폰 16은 이전 모델 아이폰 15에 비해서 30% 더 빨라진 CPU, 40% 더 빨라진 GPU를 자랑하지만, 역시나 애플답게 이게 게임이나 사진 처리 등에만 국한된 게 아니라 일상적으로 사용자가 스마트폰을 사용할 때 생성형 AI가 언제든지 부드럽게 잘 작동하는 것을 목표로 하는 거라고 합니다.

파이낸셜 타임즈의 기사에 따르면, A18 칩은 영국에 본사를 둔 소프트뱅크 소유의 자회사와 다년 라이센스 계약을 통해서 제작한 것인데, ARM의 V9 아키텍처를 기반으로 제작되었다고 합니다. ARM V9 칩은 뉴럴 엔진을 위한 구성 요소들을 제공해서, 애플이 스마트 기기에서 돌아가는 AI 워크로드의 성능을 최적화할 수 있게 해 줍니다. 애플의 이 파트너십은, 배터리 수명이나 장비의 효율성을 저하시키지 않으면서도, AI 컴퓨팅 수요가 증가할 때 하드웨어가 무리없이 받아낼 수 있도록 하기 위한 것으로, 보안과 개인정보 보호 요건을 유지하면서도 정교하게 사용자 경험을 구현할 수 있도록 함으로써 애플이 바라는 ‘모바일 AI’의 구현을 가능하게 해 줍니다.

‘개인정보 보호’에 초점을 맞춘 AI 아키텍처

대규모의 개인 사용자에게, 애플과 같은 사업자가 ‘AI 기능을 제공한다’는 건 기술 그 자체 외의 다른 조건이나 이슈들을 훨씬 더 섬세하게 잘 챙겨야 하는 일이죠. ‘보안’도 그런 요소들 중 하나일 거라서, 그게 무엇이든 AI 기능 제공과 관련해서 애플이 가장 크게 신경쓴 것이 바로 ‘보안’ 쪽일 겁니다.

애플 인텔리전스를 통해서 사용자가 AI를 사용할 때, 만약 생성형 AI 모델이 원활하게 서비스를 제공하기 위해서 더 많은 자원이 필요해지면, 프라이빗 클라우드 컴퓨팅 자원에 접속할 수 있습니다. 중요한 데이터는 당연히 디바이스에 보관되고, 모든 클라우드와의 작업이 엔드-투-엔드로 암호화되어서, 성능이 저하되지 않으면서 개인정보를 보호하는 아키텍처로 운용된다고 합니다. 애플이 의료라든가 핀테크 등 데이터의 보안이 중요한 부분에서 AI가 더 많이 사용되도록 하는 길을 열어주기를 바랍니다.

자, 그럼 실제로 내가 해 볼 만한 것은?

결국 중요한 건, 이 화려한 ‘애플 인텔리전스’라는 캐치프레이즈를 걷어내면 과연 사용자가 좋아하고 사용할 만한 쓰임새가 어느 정도 있느냐일 테죠. 생성형 AI 관점에서 냉정하게 보면 ‘캐치업 게임’을 하고 있는 애플이 신경써야 할 부분도 이 부분이었을 거라고 생각합니다.

• 🧩기본적인 생성형 AI 기능: 애플 인텔리전스는 이메일이나 문자 작성하는 걸 도와준다거나, 맞춤형 이모지를 만들 수 있게 해 준다거나, 사진 검색을 쉽게 하도록 하는 등 다양한 생성형 AI 기술 기반의 도구를 제공합니다. ‘시리’와도 더 자연스러운 표현으로 대화를 하면서 문자 내용을 찾아서 리마인더를 작성한다든가 하는 일도 할 수 있구요.

• 🎬 AI로 강화한 카메라와 비디오: A18 칩의 강화된 AI 지원을 활용해서 120프레임의 4K 동영상 녹화라든가 배경 소음을 줄이면서 공간 음향 녹음을 한다든가 하는 고급 기능을 아이폰 16에서 사용할 수 있게 되었습니다.

• ⚡시각 인텔리전스 (Visual Intelligence): ‘좋은’ 카메라가 아니라 이제 ‘똑똑한’ 카메라가 됩니다. 새로운 카메라 컨트롤 기능을 추가해서, 카메라를 물체에 갖다대면 해당 물체와 관련된 여러가지 정보를 얻을 수 있습니다. 예를 들어서, 레스토랑에 카메라를 대면 레스토랑에 대한 리뷰나 메뉴를 보거나, 예약을 할 수도 있습니다. 카메라로 개의 품종을 확인한다거나, 랜드마크에 대한 정보를 얻는다거나, 이벤트 정보를 추가한다거나 하는 다양한 일이 가능하겠죠.

• 💬 ‘시리’의 기능 확장: 제대로 일을 하는 비서를 만드는게 애플의 목표 중 하나겠죠. 특정한 이벤트와 관련된 사진을 보낸다거나, 메시지를 요약하는 등, 좀 더 복잡한 일들을 잘 해 내도록 시리가 업그레이드되었습니다. 더 개인화되고 맥락에 적합한 응답을 할 수도 있다고 합니다.

애플이 아이폰 16을 앞세워 생성형 AI 시장의 승자가 될 수 있을까요?

여러분은 아이폰 16을 사실 계획인가요? 그리고 그 의사결정의 어느 정도가 ‘애플 인텔리전스’ 때문인가요? 저를 포함한 전세계 스마트폰 사용자의 22%가 아이폰 사용자고, 대부분은 애플 생태계를 떠날 생각이 없을 거라고 보면, ‘애플 인텔리전스’를 놓고 애플이 도박을 할 이유는 전혀 없죠. 딱 그 정도 수준에서 보수적으로 지금 애플은 ‘생성형 AI의 캐치업 게임’을 하고 있다고 생각합니다.

그렇지만, 혁신적인 새로운 기술이 여는 시장의 승자가 항상 ‘기술의 리더’인 건 아니죠. 특히 B2C 시장에서는 더 그렇습니다. 애플은 항상 간명하고 직관적이면서도 유려한 사용자 경험을 가지고 사용자들을 끌어들여왔고, 아이폰 16의 애플 인텔리전스도 그런 하나의 새로운 시도가 시작된 거라고 봐야 할 겁니다.

게다가, 항상 새로운 아이폰이 발표될 때마다 ‘뭐 특별히 새로운 건 없네’하고 시작했다가 ‘이거 쓸만하네?’ 하면서 계속 다음 아이폰을 기다린 역사가 어언 15년이죠 ^.^ 저는 이번에도 ‘애플 인텔리전스’에 장기적인 관점에서 ‘기대’를 걸어볼까 합니다.

트위터 라이브러리 (Twitter Library) 🐦

휴머노이드를 비롯한 다양한 폼팩터의 로봇, 그리고 로봇을 활용한 사례나 데모들이 등장하고 있죠. 시대의 흐름에 발맞추어 ‘로보틱스’를 마스터하고 싶은 여러분을 위해서, 최근에 ‘핫’한 7가지 코스와 튜토리얼을 모아봤습니다:

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

금주의 주목할 만한 업계 동향 📰

Reflection 70B: 모두에게 상처를 남긴 한바탕 소란

• 최고의 오픈소스 모델이라고 요란을 떨었던 Reflection 70B는 AI 커뮤니티에 ‘신뢰’ 문제라는 큰 상처를 남겼습니다. ‘GPT나 Claude 같은 기존 모델을 화려하게 포장한 것에 불과하다’는 사실이 밝혀지면서 큰 비난이 집중되었고, 매트 슈머 (Matt Shumer)는 새롭지도 않은 것을 과대 포장했다는 비난에 직면해 있습니다. 여기서 우리가 주목할 부분은, AI 커뮤니티가 아주 빠르게 이 사실을 파악하고 대응을 했는가 하는 부분이죠. 알렉산더 왕 (Alexander Wang), 토마스 울프 (Thomas Wolf) 등이 바로 적절한 평가 시스템 개발이 중요성을 강조했지만, 제 생각에는, 많은 부분이 ‘느낌’에 기반하고 있어서 누구나 공감할 수 있는 평가는 만들기도, 신뢰하기도 어려운 게 아닌가 싶습니다.

이 사태의 반작용이라고나 할까요? 허깅페이스는 ‘평가’를 더 강조합니다 🤗 💪

코딩 AI 전쟁: Replit, 새로운 에이전트로 돌아오다

• 바야흐로 ‘코딩’을 도와주는 AI 시대로 진입하는가봅니다. Codeium이나 Magic 등에 이어서, Replit도 새로운 에이전트를 공개,AI 기반의 코딩 어시스턴트의 경쟁을 더욱 심화시키는데 가세하고 있습니다. Replit의 에이전트는 개발자가 온갖 종류의 번거로운 작업에서 해방되어 진짜 코딩에 집중할 수 있도록, 설정부터 배포까지 가능한 모든 부분을 자동화하는 것을 목표로 합니다.

Sakana AI: ‘작은 모델’로 ‘큰 꿈’을 꾸다

• 지난 1월 시드라운드 투자를 받은 일본의 생성형 AI 스타트업, Sakana AI는 이번에 엔비디아의 투자를 포함해서 1억 달러 이상 시리즈 A 투자를 받았습니다. 전에 구글 브레인에서 일했던 데이비드 하, 그리고 리온 존스가 이끄는 Sakana AI는 소형의 에너지 효율적인 AI 모델 개발에 초점을 맞추고 있는데, 마침 ‘AI 기술의 독립’을 향한 일본의 목적과 잘 맞아 정부와 대기업들로부터 직간접적인 지원을 받고 있습니다. ‘자연으로부터 영감을 받은’ 모델 개발 접근법을 지향하는 이 회사는 아주 짧은 기간에 주변 경쟁자를 긴장시키는 주요 플레이어로 도약하고 있습니다.

SSI: ‘안전한 AI’를 향한 일리야 수츠케버의 1조짜리 베팅

• “모두가 규모를 키우는 것에 집중하는데, 도대체 ‘무엇’의 규모를 키우고 있는 것인지는 아무도 자문하는 사람이 없다” - 일리야 수츠케버의 말입니다. 이제 일리야 수츠케버는 ‘안전한 AI’에 초점을 맞추고 있는데, 10억 달러 자금 투자를 받은 일리야의 새로운 벤처, SSI (Safe Superintelligence Inc.)는 AI를 인간의 가치에 부합하는 방향으로 이끄는 걸 목표로 합니다. 뭐 보여준 것은 없는데 벌써 50억 달러 기업가치네요 - 다른 사람은 몰라도 일리야 수츠케버는 ‘안전’하다고 느끼지 않을까요? ^.^

앤쓰로픽: ‘Claude for Enterprise’로 오픈AI와의 더 치열한 경쟁 예고

• 오픈AI가 ChatGPT for Enterprise를 1년 전 출시했고, 최근에는 자사 모델에 대해 파인튜닝까지 허용하는 등, 전반적으로 기업용 시장에 대해서도 공을 들이고 있는 모습이죠. 애초에 On-premise 옵션을 제공해서 기업들에게 매력적으로 다가갔던 앤쓰로픽이 ‘Claude for Enterprise’ 플랜으로 경쟁력을 더 키우고 오픈AI와 본격적으로 싸울 태세로 들어가고 있습니다. 500K에 달하는 토큰 사이즈, ‘Project’와 ‘Artefact’ 등 기업 환경에서 좀 더 유리하게 잘 활용할 수 있는 도구들을 함께 제공하고, 물론 기업 데이터를 트레이닝에 사용하지 않는 등의 프라이버시나 보안은 기본입니다. 모든 LLM 개발사가 API 액세스 가격의 하방 압력을 받고 있는 가운데, Claude for Enteprise가 얼마나 빠르게 많은 고객들에게 활용될 것인지 관심이 갑니다.

딥마인드, 단백질 설계용 AI ‘AlphaProteo’ 공개

• 계속해서 놀라운 행보를 보이는 딥마인드인데요. 이번에 공개한 AlphaProteo는 질병과 싸우는 약물에 필수적인 새로운 단백질 결합체를 잘 설계한다고 합니다. SARS-CoV-2와 암 단백질에 경우 성공을 거뒀고, 다시 한 번 AI가 생명공학 분야를 재편하면서 의료, 제약 영역에서 어떻게 쓰일 수 있는지 보여줬습니다.

세일즈포스의 거대 액션모델, xLAM

• 세일즈포스가 에이전트 기능과 함수 호출 작업에 강점을 가진 AI 모델 패밀리 xLAM을 출시했습니다. ToolBench와 같은 벤치마크에서 최적화된 성능을 보여준 xLAM은, 모바일 앱부터 복잡한 대형 시스템에 이르기까지 다양한 분야에서 효율성을 높이도록 설계되었습니다. (러시아 친구가 이야기한 한 가지 안타까운 점은, 러시아어로 쓰레기를 뜻하는 ХЛАМ이라는 단어처럼 보인다는 점이네요 ^.^;)

엔비디아의 도전 과제: 고객 포트폴리오 확대하기

• 엔비디아의 2024년 2분기 매출 300억 달러 중 거의 절반이 마이크로소프트, 메타, 아마존, 구글 등 단 4개의 거대 기업에서 나왔는데요. 엄청난 성공을 거두게 해 주는 좋은 고객들이지만, 집중도가 너무 높은 건 언제든 큰 위험이 발생할 수 있다는 뜻이죠. 엔비디아는 앞으로 이 현상을 어떻게 헷징하려고 할까요?

• 엔비디아의 딥러닝 연구소가 다트머스 대학과 함께 생성형 AI 교육 키트를 무료로 공개했습니다. LLM, NLP 및 디퓨젼 모델에 대한 모듈을 통해서, 학생들이 엔비디아의 클라우드 플랫폼에서 AI 모델을 훈련시킬 수 있습니다.

튜링 포스트 팀이 보고 있는 다른 뉴스레터와 글, 영상들

• 읽어볼 만한 글이니 한 번 보시면 좋겠습니다 : Where is All the Money in Gen AI? (by Artificial Made Simple)
  현재 AI 시장을 가치사슬 요소별로 분리해서 살펴보고, Revenue Pool, Profit Pool이 어떤 논리로 어떻게 배분될지 생각해 봅니다. 영역별 전망도 곁들이고 있습니다.

• A Post-Training Approach to AI Regulation (by Nathan Lambert)
  거대 언어모델을 중심으로 어떻게 안전한 AI 모델을 만들 것이냐 등에 대한 논의가 뜨겁고, 당연히 AI 규제에 대한 다양한 입장이 드러나고 있는데요. (캘리포니아 SB-1047 등). 훈련 과정에 대한 논의를 살짝 벗어나서, Model Specification을 기준으로 여러 이해관계자가 만족할 수 있는 AI 규제가 가능할지 논의해 봅니다.

• 앤쓰로픽 팀의 AI 프롬프트 엔지니어링 Deep Dive

새로 나온, 주목할 만한 연구 논문

금주의 Top Pick

• OLMoE: Open Mixture-of-Experts Language Models
  앨런 연구소의 연구자들이 파라미터는 70억 개지만 입력 토큰당 10억 개만 활성화되는 MoE 모델, OLMoE를 개발했습니다. 5조 개의 토큰으로 훈련된 이 모델은 Llama2-13B-Chat 및 DeepSeekMoE-16B와 같은 거대모델보다 성능이 뛰어나다고 합니다. 또, 특정한 작업에 맞게 파인튜닝된 OLMoE-1B-7B-Instruct도 함께 소개했는데요. 모델 가중치, 학습 데이터, 코드를 포함한 모든 리소스를 공개했습니다. —> [논문 보기]

• Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming
  칭화대학교의 연구자들이 실시간으로 음성 기반 인터랙션을 할 수 있는 오픈소스 엔드-투-엔드 멀티모달 모델인 Mini-Omni를 공개했습니다. TTS 시스템에 의존하는 일반적인 모델과 달리 Mini-Omni는 음성과 텍스트 토큰을 병렬로 직접 생성, 지연 시간을 최소화합니다. ‘Any Model Can Talk’이라고 명명한 새로운 훈련 방법을 활용해서, 아키텍처를 크게 변경하지 않고도 빠르게 효과적으로 음성 모달리티를 통합할 수 있습니다. 또한 음성 출력을 파인튜닝하기 위해 VoiceAssistant-400K 데이터셋도 만들었다고 합니다. 이런 연구를 통해서 실시간 대화형 AI의 쓸모가 크게 높아지지 않을까 기대해 봅니다. —> [논문 보기]

• InkubaLM: A small language model for low-resource African languages
  Lelapa AI, MBZUAI, 맥길대학교, 프리토리아대학교의 연구자들이, 아프리카 5개 언어 - 스와힐리어, 하우사어, 요루바어, 이시줄루어, 이시쇼사어 - 에 초점을 맞춘, 매개변수 40억 개의 다국어 모델 InkubaLM을 개발했습니다. InkubaLM은 작은 크기에도 불구하고 기계 번역, 질의응답, 감정 분석과 같은 작업에서 거대모델과 비슷한 성능을 발휘하는데요. 스와힐리어 감성 분석에서 다른 모델보다 뛰어난 성능을 발휘하고 효율성도 상당히 높습니다. 데이터셋과 모델 모두 오픈소스로 제공되어, 리소스가 부족한 아프리카 언어 NLP 발전에 기여할 것으로 기대됩니다. —> [논문 보기]

수학적 추론과 과학 문헌의 이해

• Building Math Agents with Multi-Turn Iterative Preference Learning은 Code Interpreter 같은 외부 도구를 통합, 수학적 추론 작업에서 LLM의 기능을 향상시키고, GSM8K 및 MATH 데이터셋과 같은 수학 작업의 성능을 개선하는 멀티턴 학습 방법을 제안합니다. —> [논문 보기]

• SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding은 과학 문헌과 관련된 벤치마크에 대해서 지속적인 사전 학습과 감독을 통한 파인튜닝으로 향상된 성능을 보여주는 특화된 LLM, SciLitLLM을 소개합니다. —> [논문 보기]

코드 생성과 데이터 최적화

• How Do Your Code LLMs Perform? Empowering Code Instruction Tuning with High-Quality Data는 Code Instruction Tuning에서 데이터 품질을 분석하고 더 깨끗한 데이터셋을 사용, LLM 성능을 개선하는 데이터 가지치기 전략을 제안합니다. —> [논문 보기]

• Arctic-SnowCoder: Demystifying High-Quality Data in Code Pretraining은 고품질 데이터셋으로 사전 학습된 모델을 사용해서, 코드 생성 성능을 개선하는 데 ‘도메인에 정렬된 데이터’가 큰 가치가 있다는 것을 보여줍니다.
  —> [논문 보기]

AI 에이전트와 의사결정

• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents는 MCTS (Monte Carlo Tree Search)와 Self-Critique 기법을 결합해서 자율적 의사 결정 시스템을 개선, 전자상거래 같은 웹 작업에서의 에이전트의 성능을 크게 높여줍니다. —> [논문 보기]

• From MOOC to MAIC: Reshaping Online Teaching and Learning through LLM-driven Agents는 온라인 교육의 확장성을 강화하고 개인화를 더 잘 할 수 있도록 LLM 기반 에이전트를 활용하는 AI 기반 학습 플랫폼을 제안합니다. —> [논문 보기]

Long-Context 처리와 인용문 생성

• Speculative decoding for high-throughput long-context inference 는 메모리의 병목 현상을 해결해서 Long-Context LLM의 추론을 가속화하고, 대규모의 LLM 작업에서 상당한 수준으로 속도를 향상시킵니다. —> [논문 보기]

• LONGCITE: Enabling LLMs to Generate Fine-Grained Citations in Long-Context QA에서는 Long-Context의 Q&A 작업에서 인용의 정확도를 개선하고 Hallucination을 줄이기 위한 기법으로 LongCite를 소개합니다. —>
  [논문 보기]

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!