- Turing Post Korea
- Posts
- FOD#60: 숨 고르고 중심 잡기
금주의 Turing Post 예고:
AI 101: Meta AI를 이끌고 있는 얀 르쿤의 ‘최애’, ‘말하기 전에 생각하는’ 인공지능으로의 첫 걸음, JEPA에 대해서 알아봅니다.
Interview with Innovators: 딥페이크, 가짜뉴스와의 전쟁터에서 선두에 서서 싸우고 있는 오렌 에치오니 (Oren Etzioni)의 이야기를 들어봅니다.
숨 고르고 중심 잡기
여러분 모두, 정신없으시죠? 정말 AI 학계와 업계에 있는 사람들은 잠도 안 자나봅니다 ㅎㅎ
매일같이 더 많은, 더 새로운 AI 모델, AI 모델을 활용하기 위한 도구들과 기술, 프레임웍, 벤치마크, 데이터셋이 나오고, 여기에 또 서로 다른 입장에서 AI의 기술적 측면, 산업적 측면 등에 대해 열띤 논쟁이 끊이지 않고 있는데요.
트랜스포머가 뭔지 읽어도 읽어도 또 잊어버리는데, 맘바 (Mamba)는 뭐고 MoE는 또 뭐고, JEPA는 뭔지. LLM이 어떤 건지 이제 좀 이해하고 어떻게 우리 회사에서 쓸 수 있을까 생각해 보려니 앞으로는 LLM이 아니라 SLM의 시대라는데 또 이건 어떻게 다른 건지? 뉴스나 주변 이야기를 들으면 생성 AI를 안 쓰는 회사도 없고 안 쓰는 사람도 없는 것 같은데, 세콰이어 캐피탈이나 골드만 삭스에서 ‘AI 거품론’을 다시 이야기한다고 하니, 진짜 AI로 생산성을 높이거나 돈을 벌고 있는 회사가 얼마나 되는 건지?
개인적으로 아주 좋아하는 애널리스트이자 테크 저널리스트인 베네딕트 에반스 (Benedict Evans)가 최근 ‘The AI Summer’라는 이름으로 쓴 글의 일부를 같이 나누고 싶습니다:
수억 명의 사람들이 ChatGPT를 사용해 보았다고 하는데, 그 중 대부분은 거기서 끝이고 계속해서 사용하지는 않는 걸로 보입니다. 모든 대기업이 생성AI 파일럿 프로젝트를 진행했지만, 실제로 만든 것을 현장에서 활용하고 있는 기업은 훨씬 적구요. 물론 상당수의 이슈들은 시간이 지나면 결국은 해결될 겁니다. 하지만, ‘현재의 LLM’이 제대로 된 ‘제품’처럼, 그리고 ‘마법’을 부리는 것처럼 보이더라도, 그저 그럴 듯해 보이는 ‘함정’일 수도 있다는 점은 명심해야 합니다. 아마도, 우리 모두가 생성AI 기술을 사용한 제품의 진짜Product-Market Fit을 찾기 위한, 생각보다 오래 걸리고 지루한 과정을 거쳐야 할 겁니다.
네, 핵심은 Product-Market Fit이고, 핵심은 결국 ROI일 겁니다. 그 관점에서, 다시 이 엄청난 소용돌이의 중심에 있는 ‘AI’를 원래의 자리, ‘도구’의 자리로 돌려놓아야 합니다. LLM도 SLM도, RAG도, 벡터 데이터베이스도 답이 아닙니다. 이 기술들을 사용해서 하고 싶은 ‘그 무엇’이 답이죠. 그 답을 위해서, LLM도, SLM도, 아니면 평범한 머신러닝도 사용하는 겁니다. 아니, 혹시 그런 신기술이 없이도 할 수 있는지 체크를 해 봐야겠죠. 어쩌면 이런 생각이 역설적으로 AI의 확산을, 제대로 된 확산을 위한 전제 조건일지도 모르겠습니다.
주목할 만한 업계 동향
‘한국’을 향한 헤지펀드들의 투자 열기
영국의 Man Group, 싱가폴의 FengHe Fund Mamagement 등의 헤지펀드들이, AI 산업 발 하이엔드 메모리칩 수요 폭증에 대한 기대심리로 한국의 반도체 제조사업체에 투자하고 있습니다. 이 투자자들은 한국 정부의 지원, 그리고 메모리칩 가격 상승에 대한 성장을 기대하면서 SK하이닉스와 삼성전자에 투자, 한국의 코스피 지수를 끌어올렸습니다.
a16z, ‘산소 작전 (Operation Oxygen)’ 개시
a16z (앤드리슨호로위츠)는 뭐 가장 유명한 벤처캐피탈 중 하나죠. a16z는 AI 스타트업을 유치하기 위해서 NVIDIA H100을 포함해서 2만개 이상의 GPU를 가지고 있는, AI에 진심인 VC입니다. 한국어로 하면 ‘산소 작전 (Operation Oxygen)’ 쯤이 될, 새로운 이니셔티브로 a16z는 이 GPU들을 대여하면서 하이엔드 컴퓨팅 자원을 필요로 하는 스타트업들의 지분을 확보할 계획이라고 합니다. AI가 새로운 ‘전기’라면, GPU가 ‘산소’라고 할 수 있겠죠.
오픈AI, AGI로 향하는 5단계 제시 - 그 끝은 ‘딸기’?
오픈AI가 진정한 AGI의 달성까지 거쳐야 할 ‘5단계’를 정의했다고 합니다. (자율주행 단계도 5단계였던 것 같은데, 5단계가 뭔가 완성형의 느낌이 드나요?) 오픈AI 내부적으로는 ‘2단계’에 거의 도달했다고 평가한다고 하네요.
단계 | 설명 |
|---|---|
1단계 (Chatbot) | 사람과 대화가 가능한, 현재 수준의 AI |
2단계 (Reasoner) | 박사학위 교육을 받은 사람 정도의 수준. 기본적인 문제를 해결할 수 있는 AI |
3단계 (Agent) | 사용자를 대신해서 며칠에 걸쳐 특정한 조치를 취할 수 있는 AI 시스템 |
4단계 (Innovator) | 혁신적이고 새로운 아이디어를 제시할 수 있는 AI |
5단계 (Organization) | 전체 조직의 업무를 대신해서 수행할 수 있는 AI |
이와 별도로, 고급 추론 행위를 할 수 있는 AI를 개발하기 위해 ‘프로젝트 스트로베리 (Project Strawberry)’를 진행하고 있다고 하네요. 이 프로젝트는, 자율적으로 계획해서 인터넷을 탐색해서 추론 능력을 향상시키고, 인간과 유사한 지능에 더 가까이 다가가는 것이 최종 목표라고 합니다.
‘AGI’에 좀 더 큰 관심을 가지신 분들은, 칭화대와 상하이 AI 연구소에서 제안한 SGI (Specialized Generalist AI) 논문을 살펴보셔도 좋겠습니다. 이 논문은 AGI에 다가가는 하나의 과정으로서 ‘직관적’ 처리와 ‘분석적’ 처리 방식을 결합하는 방법을 제안하고 있는데요. SGI는 전반적으로 모든 작업에 유능한 능력을 유지하면서도 특정 작업에 아주 뛰어나도록 설계되는데, 이런 방식으로 현재의 AI와 궁극적인 AGI를 이어주는 로드맵을 제시합니다.
살펴볼 만한 다른 뉴스레터 포스팅
Time Series Are Not That Different for LLMs - Henri Lai
How Much Energy Will It Take To Power AI? - Contrary Research
AI’s $100bn Question: The Scaling Ceiling - Exponential View
새로 나온, 주목할 만한 연구 논문
Top pick
FlashAttention-3 - 이 논문은, 정확도는 유지하면서도 2~4배의 속도 향상 효과를 거둘 수 있는, AI의 효율성을 획기적으로 제고하는 아주 중요한 기술에 대한 논문입니다. Colfax, Meta, NVIDIA, 조지아공대, 프린스턴대학교, Together AI 등의 연구원들이 함께 쓴 이 논문은, Asynchronous Tensor Core와 FP8 Low-Precision Support를 사용해서 GPU의 활용도를 높여줍니다. 이렇게 해서 Long Context를 더 잘 처리하고 최신 GPU의 성능을 최적화함으로써, 새로운 어플리케이션의 등장, 그리고 더 효율적인 트랜스포머 기반 AI 시스템의 등장을 가능하게 할 것으로 보입니다. [논문 보기]
에이전트 관련
비전-언어모델 (VLM) 영역
언어모델 인프라 및 최적화
모델의 지각 능력 및 메모리 개선
모델 감시 및 평가
On scalable oversight with weak LLMs judging strong LLMs: 발전된 고급 AI 모델을 감독하기 위한, ‘토론’ 및 ‘자문’과 같은 확장 가능한 감독 방법을 조사합니다. 효과성의 관점에서 ‘토론’ 방법을 권장합니다. [논문 보기]
On Leakage of Code Generation Evaluation Datasets: 코드 생성 데이터셋에서 오염이 발생하는 원천을 식별하고 LLM을 평가하기 위한 더 깨끗한 벤치마크를 도입합니다. [논문 보기]
An Accurate Detection is Not All You Need to Combat Label Noise in Web-Noisy Datasets: 비지도 학습과 노이즈 감지 방법을 결합하여 노이즈가 많은 데이터셋에서 분류 성능을 개선하는 하이브리드 접근 방식을 제안합니다. [논문 보기]
모델의 작동 방식 및 한계점 이해
Self-Recognition in Language Models: LLM이 스스로 출력한 결과물을 인식할 수 있는지 여부를 조사해서, 모델의 의사결정 프로세스에 대한 인사이트를 제공합니다. [논문 보기]
From Loops to Oops: 발전된 고급 모델이 오류와 불확실성을 처리하는 방법을 자세히 설명하면서, 불확실한 상황에서 LLM의 폴백 (Fallback) 방식을 연구합니다. [논문 보기]
Understanding Visual Feature Reliance through the Lens of Complexity: 복잡성 (Complexity)에 따라 딥러닝 모델이 어떻게 Feature의 우선순위를 정하고, 이것이 모델의 의사결정에 어떤 영향을 미치는지 분석합니다.
[논문 보기]
읽어주셔서 감사합니다. 친구와 동료 분들에게도 뉴스레터 추천해 주세요!
Reply