FOD#64: AI가 열어가는 '인디 개발자'의 황금 시대

금주의 튜링포스트 코리아 예고:

• AI 101: 코딩 작업에서 GPT-4 Turbo를 최초로 앞선 오픈소스 MoE 모델, DeepSeek 모델 패밀리에 대해서 심층 분석해 봅니다.

기대해 주세요!

기억하실지 모르지만, 딱 한 달 전 ‘FOD#61’에서 Cursor AI를 소개해 드린 적이 있는데요. Cursor AI 같은 도구, 그리고 직접 쉽게 만들어볼 수 있는 에이전트 서비스 등이 등장하면서, 인디 개발자¹와 엔지니어들을 위한 새로운 ‘르네상스’ 시대가 열리는 것 같습니다. 소개했던 Cursor AI는 지금 트위터에서 화제를 불러일으키고 있는데, 초등학교 정도의 어린이부터 안드레 카파시 같은 AI 전문가까지도 이 Cursor에 매료된 듯 해요. 이런 도구가 당연히 완벽하지는 않고 반대하는 사람들도 있지만, 이제 기존의 코딩 방식으로 돌아가지 않으려고 하는 사람들이 점점 늘어나고 있습니다.

‘인디 해커²’를 위한 툴로 출발한 Cursor AI는, 이제 a16z의 지원을 받는 주목받는 스타트업이 되었습니다 - 6천만 달러 규모로 시리즈 A 투자를 받았고, 이후 Thrive Capital, OpenAI 스타트업 펀드, 구글의 수석 과학자인 제프 딘 (Jeff Dean)이 추가 투자해서 현재 기업가치가 4억 달러에 달합니다. Cursor AI가 제공하는 ‘실시간 코드 생성’, ‘즉시 디버깅’ 같은 기능을 잘 활용하면, 개발자는 훨씬 골치를 덜 썩으면서 ‘개발의 달인’이 될 수 있어요. 제가 보기에도 이 Cursor 같은 도구는 반복적인 작업을 자동적으로 처리해 줄 뿐 아니라 개발자의 의도를 파악해서 더 직관적으로, 더 효율적으로 코딩을 하게 해 주는, 일종의 ‘소프트웨어 개발’의 게임 체인저인 것 같습니다. 코딩을 해 본 적이 전혀 없다면 어떨까요? 그럴 때도 Cursor AI가 유용한 도구가 되어줄 수 있습니다.

그런데, 이게 전부가 아닙니다. ‘로보틱스 (Robotics)’에도 새로운 바람이 불고 있어요: 바로 허깅페이스에서 며칠 전에 발표한 LeRobot (프랑스 억양으로 ‘르호봇’ 이렇게 말하면 좀 더 그럴 듯하게 들리려나요? ^.^) 이야깁니다. 이 LeRobot 툴킷이 제공하는 사전 학습된 모델, 데이터셋, 시뮬레이션 환경 등을 활용해서 누구라도 쉽게 로봇을 제작해 볼 수 있습니다. 개발자, 교육자, 또는 취미로 하는 사람 누구에게든, ‘로보틱스’ 영역의 진입 장벽이 엄청나게 낮아지고 실용적인 로봇을 만들 수 있는 시대가 되고 있는 것이죠.

어렸을 때 ‘과학상자’로 여러가지 만들어보신 분들, 아마추어 햄 (HAM)용 무전기 같은 것들 만들어보신 분이라면, 이제 집에서 로봇을 만들 수 있는 미래가 오고 있습니다. 한 번 LeRobot의 깃허브를 확인해 보세요. 지금 적극적으로 채용을 진행하고 있는 로봇 회사도 70개 이상 - 아마 실제로는 훨씬 많겠죠 - 되는 것 같은데, 바로 이게 AI의 발전과 함께 로봇 산업에 새로운 붐이 일고 있다는 신호일 겁니다.

이런 변화와 추세가, 인디 개발자 또는 인디 개발자가 되고자 하는 많은 사람들 - 어쩌면 이 글을 읽고 있는 당신 - 에게 어떤 의미일까요? 적절한 수준의 기술과 아이디어가 있다면, 누구라도 더 이상 대기업의 그늘에서 어려운 경쟁을 하지 않아도 되는 시대가 우리 문 앞에 와 있다는 겁니다. LeRobot, Cursor AI, 그리고 비슷한 다른 많은 다른 도구들을 내 무기로 삼아, 완전히 새로운 차원의 경쟁을 할 수 있습니다.

상상해 보세요 - 날것 같은 꿈과 야망을 품고, 잠옷 차림으로 부스스한 머리를 하고, 라면이 잔뜩 쌓여있는 방에서 다음 세대의 킬러 앱을 만들고 있는 당신을요. LeRobot으로 구동되는 로봇 어시스턴트가 커피를 가져다주는 동안 Cursor AI가 당신과 함께 완벽한 코드를 휘리릭 작성해 줍니다. 이 로봇은 아직 셔츠를 개는 동작이 굼뜨지만, 매일 새로운 동작을 연습하면서 곧 유용한 로봇이 될 겁니다.

개인적으로도 LeRobot과 Cursor 같은 도구에 관심을 가지고 있어서, 앞으로 이런 도구를 활용한 좋은 사례를 지속적으로 여러분께 업데이트해 드리겠습니다. 그리고 저도 한 번 직접 이런 도구들을 배우고 사용해 볼 생각입니다. 여러분이 직접 해 보신 재미있는 실험이 있다면 알려주세요 - 튜링 포스트 코리아에서 다른 분들과도 공유할께요.

지금까지와는 다른 세상이 우리를 기다리고 있습니다.

트위터 라이브러리 (Twitter Library) 🐦

최근 트랜스포머의 문제를 해결하는 하나의 대안 또는 보완책으로 Mamba 아키텍처가 많은 관심을 받고 있습니다. 연구 논문도 많이 나오고, Mamba 기반의 오픈소스 모델들도 연이어 출시되고 있죠.

올 여름 발표된 Mamba 관련 연구 논문과 모델 15개를 모아서 정리해 봤습니다:

업계 전문가들이 추천하는 AI 서비스 👍🏼

• 오랜만에 돌아왔습니다 ^.^ 오늘은 n8n.io를 소개할까 합니다. 이건 AI 기반의 워크플로우를 편리하게 작성할 수 있도록 해 주는 ‘오픈소스 워크플로우 자동화 도구’라고 할 수 있겠습니다. 기술을 잘 모르는 사용자라도 간단한 형식의 스프레드시트를 활용해서 지능형 에이전트를 구축, 다양한 앱이나 서비스에서 작업을 자동화할 수 있게 해 줍니다. AI 에이전트에 대한 관심이 지금도 큰데, 한 번 테스트 삼아 사용해 보면 어떨까 합니다.

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

금주의 주목할 만한 업계 동향 📰

Grok, SGLang으로 가속화하다!

• Grok 2 mini가 SGLang (프로그래밍 언어)으로 추론 스택을 재작성하고 나서 속도가 2배 빨라졌습니다. 이번 업그레이드는 @lm_zheng과 @MalekiSaeed 두 사람이 3일만에 코드를 다시 작성한 거라고 하는데, 단순히 성능이 개선된 것일 뿐 아니라 다중 호스트 추론이 필요한 대형 Grok 2 모델을 더 쉽게 서비스할 수 있는 가능성을 열어준 것이라고 볼 수 있습니다.

앤드리슨 호로위츠 (a16z)가 주목한 생성형 AI ‘뉴키즈온더블럭’

• ‘뉴키즈온더블럭’을 기억하시는 분이 많으려나요? ^.^ a16z가 최근 발표한 ‘Top 100 Gen AI Consumer Apps’는 일반 사용자와 소비자를 대상으로 한 생성형 AI 앱의 트렌드를 보여주는데요. 이들 중 약 30%가 신생 기업과 스타트업들입니다. 내용적으로 크리에이티브용 도구들이 주종을 이루고 있지만, Perplexity와 Claude가 인기를 점점 끌면서 챗GPT의 아성에 도전하는 등 AI 비서도 화제가 되고 있습니다. 물론, 기업에서도 생성형 AI 기술을 활용하는 다양한 도전과 실험을 계속하겠지만, 일단 전체적인 시장은 B2C 앱이나 서비스 영역에서 혁신을 이끌 거라고 보기 때문에, 보고서를 한 번씩들 보시기 권합니다.

알레프 알파 (Aleph Alpha), Pharia 모델로 다국어에 도전한다

• 독일의 AI 스타트업, 알레프 알파에서 ‘유럽의 언어’로 사용자가 더 정확하게, 더 안전하게 상호작용할 수 있는 새로운 소형 언어모델 Pharia-1-LLM-7B-control를 발표했습니다. 오픈소스로 공개된 이 모델은 - 역시 유럽이라고 할까요 - 앞으로 적용될 EU AI Act로 대표되는 유럽의 AI 규제에 부합하게 ‘AI의 투명하고 윤리적인 활용’에 중점을 두고 개발되었다고 합니다. 어쩌면 규제 컴플라이언스나 리스크가 높은 산업이라든가 유즈케이스를 대상으로 어필하는 알레프 알파의 전략일지도 모르겠네요.

구글 AI의 새로운 ‘프롬프트 갤러리’: 창의적 작업을 위한 보물창고 (寶庫)

• 구글의 AI 스튜디오는 Gemini API를 편하게 사용할 수 있도록 미리 작성된 다양한 프롬프트를 제공하는데요. 이 프롬프트 갤러리는 구글의 최신 모델로 생성형 AI 프로젝트를 시작하려고 한다면 아주 좋은 ‘도구 저장고’입니다.

캘리포니아 주의 AI 법안: ‘The Clash of The Titans (거인들의 충돌)’

• 캘리포니아의 AI 규제법안 SB 1047에 대해서 학계와 업계 거물급 인사들의 의견이 갈리고 있습니다. 딥러닝의 3대 구루라고 불리면서 2018년 튜링상 수상자인 세 분 사이에도 의견이 갈리는데, 몬트리올 대학의 요슈아 벤지오 교수 (블룸버그 기사)는 이 법안을 지지하는 입장인 반면 메타 AI의 얀 르쿤 교수는 반대의 뜻을 나타내고 있습니다. ‘AI의 대모’라고 불리는 페이페이 리 교수 (Fortune 기사)도 우려의 뜻을 표하고 있네요.

오픈AI, 파인튜닝 허용하다!

• 오픈AI가 드디어 자사의 GPT-4o 모델을 기업이나 개발자가 자신의 요구 사항에 맞게 파인튜닝을 할 수 있게 해 줍니다. 아마도 오픈소스 진영의 움직임이 거세지면서 생성형 AI 판에서의 헤게모니를 놓치지 않기 위한 방편 중 하나겠지만, 어쨌든 파인튜닝을 통해서 오픈AI의 모델을 더 정확하게 내 도메인에 맞게 활용할 수 있게 되었습니다. GPT-4o는 트레이닝 토큰 100만 개 당 25달러, GPT-4o mini의 경우 9월 23일까지 하루 200만 개의 트레이닝 토큰이 무료 제공됩니다.

앤드류 응의 새로운 도전 : CEO에서 이사회 의장으로

• 앤드류 응이 Landing AI의 CEO 직책에서 물러나고 이사회 의장을 맡습니다. COO였던 댄 말로니 (Dan Maloney)가 CEO 직책을 맡게 되는데, 앤드류 응은 최근 런칭한 AI 펀드와 시각적 AI 연구에 더 많은 시간과 노력을 쓸 것으로 보입니다. 일부에서는 앤드류 응이 새로운 AI 벤처를 시작할 수 있지 않을까 하는 이야기도 있네요.

관심을 가져볼 만한 다른 뉴스, 기사와 글

• FermiNet: Quantum Physics and Chemistry from First Principles - 구글 딥마인드 —> ‘딥러닝 기술을 활용해서 양자 화학의 법칙과 물질 간의 상호작용을 근본적으로 이해하기 위한 연구’인데, 2020년 10월에 처음 발표한 이후 약간의 업데이트가 있는 것 같습니다.

• What’s Really Going On in Machine Learning? Some Minimal Models - Stephen Wolfram —> 머신러닝의 기본 개념, 작동 원리 뒤에 숨겨진 수학적인 기초를 설명하고, 실제 작동 방식을 이해하기 쉽게(?) 설명하는, 아주 긴 글이네요. 시간을 두고 한 번 쭉 일독하면 도움이 될 듯 합니다.

• ‘Make Your Health Insurance Company Cry’: One Woman’s Fight to Turn the Tables on Insurers - The San Francisco Standard —> 이거 재미있는 기사인데요. 여러분들도 미국 생명보험 회사들이 보험 가입자들이 의료비나 약제비 등 청구했을 때 아주 까다롭게 심사한다는 건 다큐멘터리나 영화 등을 통해서 대략 알고 계시죠? 넷플릭스 엔지니어로 일하는 Holden Karau라는 사람이 있는데, 의료비와 약제비 청구를 약 40건 정도 한 것에 대해서 거절을 많이 당했던 모양입니다. 서류를 잘 준비하고 청구 이메일을 잘 작성해서 거절당한 것 중 90% 정도 돈을 돌려받았다고 하는데요. 자신의 경험을 살려서 거절당한 보험 청구를 많은 사람들이 할 수 있도록 ‘Fight Health Insurance’라는 사이트를 오픈했고, 여기서 LLM을 활용해서 보험사에 어필할 레터와 여러가지 문서를 편하게 만들 수 있도록 해 준다고 합니다. 역시, 내 주변에, 내 일에 LLM 활용을 하는 것부터 시작해야겠구나 생각도 드네요.

새로 나온, 주목할 만한 연구 논문

금주의 Top Pick

• Automating Thought of Search: A Journey Towards Soundness and Completeness는 검색의 구성요소를 자동적으로 생성해서, 사람의 피드백이 없더라도 정확도와 완성도를 보장하도록 하는 확장 기능 ‘AutoToS’를 소개합니다. —> [논문 보기]

• To Code, or Not To Code? Exploring Impact of Code in Pre-training 에서는 LLM의 사전 훈련에 코드를 통합해서 코딩 뿐 아니라 코딩이 아닌 작업을 포함한 전반적인 성능이 크게 향상되는지 살펴보고, 결과적으로 모델의 일반화에 있어서 코드가 주는 이점을 확인합니다. —> [논문 보기]

• Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion, and Aviation은 다양한 로봇 플랫폼을 제어할 수 있는 트랜스포머 모델인 크로스포머 (CrossFormer)를 소개하는데, 이 모델이 여러 가지 실제의 작업에서 우수한 적응력과 성능을 나타내는 것을 보여줍니다. —> [논문 보기]

새로운 언어모델, 그리고 기존 언어모델의 새 버전

• Introducing Pharia-1-LLM: transparent and compliant - 독일의 AI 스타트업 알레프 알파 (Aleph Alpha)가 우수한 다국어 능력을 가지고 있고 EU 규제에 맞춰 윤리적인 AI 표준 준수를 강조하는 소형 모델, Pharia-1-LLM-7B-control 및 Pharia-1-LLM-7B-control-aligned 모델을 출시했습니다. —> [블로기 보기]

• Discover the New Multi-Lingual, High-Quality Phi-3.5 SLMs
  - 마이크로소프트가 MoE (Mixture-of-Experts) 방법론을 적용해서 다양한 영역에서 다국어 관련 작업, 이미지 이해 등에서 최적화된 성능을 보여주는 소형 언어모델 Phi-3의 개선 버전인 Phi-3.5 패밀리를 발표했습니다. —> [블로그 보기]

• HERMES 3 Technical Report - Nous Research에서 발표한 Hermes 3 모델은 발전된 추론 능력, 창조적인 커뮤니케이션 능력을 보여주는 흥미로운 모델입니다. Llama 3.1을 기반으로 파인튜닝된 이 모델은 8B, 70B, 405B의 세 가지 사이즈로 오픈소스로 공개되었습니다. —> [보고서 보기]

AI 모델 역량의 혁신

• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning에서는 로봇의 작업에 대한 다양하고 현실적인 데이터셋을 사용해서 ‘오프라인 심층 강화학습’을 평가하는 D5RL 벤치마크를 제안하는데, 이 벤치마크는 ‘작업의 가변성’과 ‘정책의 견고성’에 중점을 두고 있습니다. —> [논문 보기]

• Jamba-1.5: Hybrid Transformer-Mamba Models at Scale은 하이브리드 아키텍처와 새로운 양자화 (Quantization) 기법이 적용된 Jamba-1.5 모델을 소개합니다. 이 모델은 Long-Context 환경에서 아주 좋은 성능을 보이고, 표준 벤치마크에서 동급 모델과 동등하거나 웃도는 기록을 보여줍니다. —> [논문 보기]

발전된 이미지 처리 및 멀티모달 모델

• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering에서는 거대한 확산 모델을 사용해서 역 렌더링 (Inverse Rendering)을 가이드함으로써 특정 이미지에 매우 사실적인 객체를 삽입하는 방법, DiPIR을 제안하는데, 이 방법으로 가상 환경의 어플리케이션 내 이미지 처리를 효과적으로 할 수 있습니다. —> [논문 보기]

• Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model은 언어 모델링과 확산 기술을 결합해서 고품질의 텍스트와 이미지를 생성하는 멀티모달 모델인 ‘Transfusion’을 소개합니다. —> [논문 보기]

AI 모델의 강건성 (Robustness)와 효율성 (Efficiency) 개선

• MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding에서는 ‘Speculative Decoding’으로 Long-Context LLM의 지연 시간을 줄이고 처리량을 확대하는 방법을 제안하는데, 정확도의 저하 없이도 상당한 속도 향상 효과를 거둘 수 있다는 것을 보여줍니다. —> [논문 보기]

• Enhancing Robustness in LLMs: Prompting for Mitigating the Impact of Irrelevant Information은 ‘관련성 없는 정보’를 걸러내어 추론의 정확성을 높여, LLM의 능력을 향상시키기 위한 GSMIR 데이터셋과 ATF 프롬프트 방법을 제안합니다. —> [논문 보기]

새로운 AI 어플리케이션과 기법

• STRATEGIST: Learning Strategic Skills by LLMs via Bi-Level Tree Search는 Self-Play와 Bi-level 트리 서치를 사용해서 LLM이 전략적인 스킬을 가질 수 있도록 하는 방법을 소개하는데, 이 방법은 전통적인 강화학습을 통한 결과를 능가하는 것으로 나타납니다. —> [논문 보기]

• SHORTCIRCUIT: AlphaZero-Driven Circuit Design에서는 AlphaZero의 기술을 활용해서 효율적인 Boolean 회로 설계를 위한 모델을 제시하는데, 최신의 (SOTA) 방법들에 비해서 회로의 크기를 크게 줄여줍니다. —> [논문 보기]

혁신적인 모델 아키텍처와 모델 최적화

• FocusLLM: Scaling LLM’s Context by Parallel Decoding에서는 ‘병렬 디코딩’으로 컨텍스트의 길이를 확장하는 프레임웍을 도입, 최대 400만개의 토큰 시퀀서를 향상된 정확도로, 효율적으로 처리하는 방법을 보여줍니다. —> [논문 보기]

• The Vizier Gaussian Process Bandit Algorithm은 확장 가능한 가우스 프로세스 밴딧 알고리즘 (Gaussian Process Bandit Algorithm)으로 Google Vizier - 구글에서 내부적으로 사용하는 ‘블랙박스 최적화’ 기술로, 구글에서 만드는 모델의 파라미터 최적화 엔진 - 의 베이지안 최적화 방법을 개선, 복잡하고 고차원적인 작업을 더 잘 최적화하게 해 줍니다. —> [논문 보기]

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!

1  대형 회사나 스튜디오 같은 조직과는 독립적으로 소프트웨어를 개발하는 개인 또는 소규모 팀

2  혼자서 온라인 비즈니스를 만들어서 운영하는 사람