엑셀에서 "이 열의 모든 이메일 주소에서 도메인만 추출해줘" 라고 하면, 자동으로 필요한 함수를 만들어주는 것

"두 숫자를 입력받아서 최대공약수를 구하는 프로그램을 만들어줘" 라고 하면, AI가 알아서 적절한 알고리즘을 선택해서 코드를 작성해주는 것

초기 아이디어
1945년, 앨런 튜링은 ‘자율적으로 프로그램을 생성할 수 있는 기계’를 구상했는데요. 그렇지만 공식적인 근원은 1957년 알론조 처치 (Alonzo Church)가 수학적인 요구사항 (Mathematical Requirements)로부터 회로를 합성하는 아이디어를 제안하면서 시작되었다는게 중론인 듯 합니다. 이걸 지금은 ‘Church 문제’라고 부릅니다.

공식적인 토대의 확립 (1960년대 ~ 1980년대)
이 Program Synthesis 분야는 Büchi와 Landweber (1969)의 ‘오토마타 이론’ 접근법, 그리고 Manna와 Waldinger (1980년경)의 연구 등에 힘입어서 더 강력한 이론적인 기반을 얻게 되었는데요. 이 시기에는 주로 논리적 추론과 연역적 기법에 기반해서 프로그램을 합성할 수 있게 해 주는 형식적 방법론을 개발하는 데 초점을 맞췄습니다.

실용적인 진화 (1990년대 ~ 2010년대)
이 시기에는 Program Synthesis를 더 실용적 관점에서 접근했는데요. 프로그래머가 ‘자동으로 채워질 수 있도록 남겨진 빈 칸이 있는 프로그램 일부를 제공해서 시스템이 완성’하도록 하는 스케칭 (2006년 Armando Solar-Lezama의 SKETCH 시스템으로 도입)이라든가, 사용자가 제공한 입출력 예시들을 보고 패턴을 학습해서 데이터 변환을 자동화하는 예시 기반 프로그래밍(Programming by Example; PBE) (2010년대 Sumit Gulwani가 개발한 엑셀의 Flash Fill과 같은 도구로 대중화됨) 등을 포함합니다.

현대적인 부활 (2010년대 ~ 2020년대)
21세기에는, 특히 ‘형식 검증 커뮤니티’ 내에서 Program Synthesis에 대한 관심이 다시 부활했는데요. 이런 흐름이 ‘논리적 명세 (Logical Specifications)’와 ‘문법적 제약(Grammatical Constraints)’을 결합해서 합성 과정을 가이드하는 SyGuS(Syntax-guided Synthesis)과 같은 발전으로 이어졌습니다.

거대해진 컴퓨팅 파워
GPU의 발전을 떼놓을 수 없죠. Program Synthesis와 머신러닝 알고리즘의 복잡성을 처리할 수 있는 충분한, 그리고 계속해서 강력해지는 컴퓨팅 자원을 확보하는 건, 연구자들이 더 정교하게 기술을 탐구하고 더 큰 문제들을 다루는데 핵심적 요인입니다.

거대한 데이터셋을 사용할 수 있게 됨
빅데이터의 부상, 그리고 온라인 코드 리포지토리의 확산, 이 두 가지 요소가 바로 Program Synthesis에 적용할 수 있는 머신로닝 모델을 훈련시키기 위한 원천이 됩니다. 이런 데이터셋을 활용해서 검색 과정을 가이드하고, 예시로부터 패턴을 학습하고, 새로운 상황이 닥치더라도 적응할 수 있는 접근 방식을 발전시키는 원동력이 되었습니다.

다양한 아이디어의 교차 발전
머신러닝 분야로 전환한 소프트웨어 개발자들이, 자신들의 전문 지식과 열정을 Program Synthesis를 포함한 다양한 분야에 적용하기 좋은 환경이 되었습니다.

구글의 ‘Titans’ 아키텍처, AI에게 ‘기억’ 기능을 제공한다
구글 리서치가 다이나믹한 ‘장기 기억 (Long-term Memory)’을 가진 AI 모델이자 아키텍처, Titans를 공개했습니다. 입력값이 길더라도 이에 대해서 선형적 확장이 가능하다고 하는 이 아키텍처는, 트랜스포머가 가진 내재적인 제약 조건을 깨고 AI에게 마치 ‘사람과 같은 방식으로 작동하는 기억’ 기능을 제공한다고 하는데요. 이 아키텍처에 따라오는 연산 비용이나 메모리 병목현상에 대해서 걱정하는 의견도 있지만, 많은 연구자들이 벤치마크 결과를 기다리는 중입니다. 어쩌면 Titans가 ‘Attention’의 의미를 재정의하게 될지도 모르겠네요.

구글 딥마인드, 계획 및 추론 작업을 혁신적으로 개선하는 ‘Mind Evolution’ 기법 개발
LLM이 더 계획과 추론 작업을 잘 응답할 수 있도록 하는 ‘Mind Evolution’ 기법에 관한 논문을 구글 딥마인드에서 공개했습니다. 이 기법은 ‘탐색’, 그리고 ‘유전 알고리즘’의 두 가지 요소를 기반으로 하는데, 여러 해결책을 탐색하기 위해 ‘아일랜드(Island)’라는 방식을 사용합니다. 각 단계에서 알고리즘이 해결책을 여러 그룹으로 나누고, 각 그룹에서 해결책을 발전시킨 다음, 가장 좋은 해결책을 다음 그룹으로 옮겨서 결합하고 새로운 해결책을 만들어내는 식으로, 전역적이고 전체적인 맥락을 반영하는 해결책을 ‘진화적’으로 만들어냅니다. 평가 함수의 적용에 있어서도 ‘자연어’를 기반으로 한다는 특징도 눈에 띄네요. 1-Pass, Best-of-N, Sequential Revisions+ 같은 기존 기법들과 비교해서 높은 성공률을 보이는 것으로 나타나고 있습니다.

“새로운 대통령 시대의 시작과 함께하겠다”는 의지를 보여주다
트럼프 대통령 취임식 며칠 전, 오픈AI는 마치 ‘선언문’과 같은 청사진을 공개하고, 민주주의를 보호하면서 AI 기반의 성장을 추진하기 위한 칩, 에너지, 인재에 대한 투자를 촉구했습니다. 아무래도 오픈AI의 영향력을 유지하기 위해서 새로운 대통령의 노선에 맞춰가려는 노력이겠죠.

소프트뱅크, 오라클과 함께 데이터센터 합작회사 ‘스타게이트’ 설립 발표
오픈AI가 AI 개발에 최적화된 데이터센터 구축을 위한 합작사 '스타게이트'를 소프트뱅크, 오라클과 함께 설립하겠다고 발표했네요. 향후 4년간 총 5천억 달러 (약 700조원)를 투자해서, 미국 내 AI 인프라 확충 및 일자리 창출에 기여할 계획이라고 합니다. 소프트뱅크는 재정적인 관점에서, 오픈AI는 운영을 담당하는 역할로 알려져 있고 손정의 회장이 전체 의장이 될 거라고 합니다. 텍사스주에 첫 데이터센터 건설을 시작했고 이후 추가 건설이 이어질 예정인데, 초기 단계에만 약 1천억 달러가 투입됩니다. 아마 미국 정부와의 협업 영역이 있으리라 보이는데, 자세한 진척 상황과 그 의미는, 후속으로 팔로우업을 해 보아야 하겠습니다.

웹브라우저 AI 에이전트, ‘오퍼레이터’ 프리뷰 공개
1월 23일, 오픈AI가 사용자를 대신해서 웹 브라우저를 제어하고 특정한 작업을 독립적으로 수행하는 GUI 에이전트, ‘오퍼레이터 (Operator)’를 프리뷰 공개했습니다. 월 200불의 ‘챗GPT 프로’ 요금제를 사용하는 미국 사용자에게 우선 공개되고, 이후 유료 요금제 챗GPT 플러스, 팀, 엔터프라이즈 등으로 확대된다고 합니다. 현재 온라인 쇼핑, 식사 배달, 레스토랑 예약, 여행 숙박 예약 등을 자동화하는데, 오퍼레이터 전용 웹브라우저, 에이전트 작업에 대한 설명 창을 통해서 작업을 진행하고, 오퍼레이터가 작업하는 동안에도 사용자가 화면 제어 가능합니다. 오퍼레이터는 GPT-4o와 비전과 추론 능력을 결합한 CUA (Computer Use Agent) 모델로 구동되는데, 개발자용 API가 없이도 다양한 서비스가 가능하다고 합니다. 단, 은행 거래와 같은 민감한 작업 등에는 사람이 개입하도록 한다고 하네요. 공식 유튜브는 많이들 보셨을 것 같고, 유튜버 JM님이 자그마치 약 32만원 (챗GPT 프로 요금 + VPN 요금)을 들여 테스트해 본 영상, 한 번 보시죠 ^.^

MatterGen, 연구실을 위한 AI를 지속적으로 혁신한다
MatterGen은 처음부터 새로운 물질을 설계하는데 특화된 생성형 AI 모델입니다. 기존의 선별 과정을 건너뛰고, 자성이라든가 내구성 등의 특성을 가진 안정적인 화합물을 이미 만들어내고 있습니다. 배터리, 태양전지, 이산화탄소 포집 등 특히 지속 가능한 기술의 영역에서 MatterGen이 혁신의 열쇠가 될 수 있을 것으로 기대합니다.

AutoGen 0.4 릴리즈, ‘더 똑똑한 에이전트의 시대를 위하여!’
기존 AutoGen 아키텍처를 재설계한 AutoGen v0.4를 공개했는데요. 이 새로운 버전은 AutoGen 라이브러리를 완전히 재설계해서 에이전트 워크플로우와 관련된 코드의 품질, 강건성 (Robustness), 사용성, 확장성 모두에 큰 개선을 이뤄내기 위한 목표로 만들어졌다고 합니다. 개발 도구와 1st Party 어플리케이션, 그리고 3rd Party 어플리케이션을 만들고 연동하기 쉬운 계층적 아키텍처로 구성되어 있습니다.

‘AI 엔지니어링’ 부문 신설
전 메타의 핵심 인력이었던 Jay Parikh를 영입, 새로운 ‘AI 엔지니어링’ 부문을 이끌게 한다고 합니다. Parikh는 슈퍼컴퓨터와 플랫폼 확장 영역을 담당하게 되는데,, 이건 사티아 나델라의 미션인 ‘30년의 변화를 3년 안에 이루겠다’는 목표를 달성하기 위한 포석입니다.

Sakana AI, 재훈련 없이도 실시간으로 파인튜닝 가능한 새로운 트랜스포머 발표

2024년 일본에서 설립, 빠르게 유니콘으로 올라서서 큰 화제가 된 바 있는 Sakana AI에서 ‘새로운 Self-Adaptive AI 모델’인 ‘트랜스포머²(Transformer²)’ 논문을 발표했습니다. 이 모델은 수학, 코딩, 추론, 시각적 이해 등 다양한 작업에서 LoRA 등 여러 가지 PEFT 기법보다 더 작은 파라미터로도 높은 효율과 뛰어난 성능, 그리고 다양한 작업에 자연스럽게 적응하는 능력을 보여준다고 합니다.

Mistral AI는 AFP와 파트너십을 맺고 Mistral AI 챗봇을 통해 공급할 40년 이상의 기사 아카이브를 확보했고, 오픈AI도 이에 뒤질새라 Axios와 협업해서 지역 뉴스들이 미국의 도시들에 확산, 공급될 수 있도록 한다고 합니다. 또, 구글의 Gemini 앱에서는 AP 통신의 실시간 피드에 기반한 정보를 제공할 수 있도록 협의 중이라고 하네요. 얼마 전까지 뉴스 등을 비롯한 컨텐츠 제공자들과 거대 AI 서비스 공급자들 간의 힘겨루기가 결국은 양 당사자들간 협업을 통해 이슈를 해결하는 방향으로 가닥을 잡는 모양새입니다. 다만, 이 가운데 이런 파트너십에 끼기 어려운 수준의 규모인 컨텐츠 공급사들은 생존을 위한 또 다른 전략이 필요할 것 같습니다 - 어쩌면 AI의 발전이 의도치 않게 컨텐츠 산업의 구조 변화에도 영향을 주고 있는 것 같네요.

Transformer²: Self-Adaptive LLMs
AI의 성능을 실시간으로 높이기 위해 가중치를 정교하게 조정하고, 작업별 전문성을 갖춰 새로운 상황에도 잘 대응하는 모델, Transformer²를 소개합니다. 앞에서 말씀드린 Sakana AI의 논문입니다.

Tensor Product Attention Is All You Need
어텐션 구조에서 텐서를 효율적으로 압축해서 메모리 사용량을 줄이고, 더 광범위한 맥락에서도 성능을 높일 수 있게끔 해 줍니다.

MiniMax-01: Scaling Foundation Models with Lightning Attention
빠른 어텐션 기술과 전문가 시스템을 섞어서, 긴 문맥도 잘 처리하고 다양한 형태의 데이터도 함께 다룰 수 있게 되어서, 광범위한 작업에서 모델의 성능을 향상시켜 줍니다.

Towards Large Reasoning Models: A Survey on Scaling LLM Reasoning Capabilities
강화학습과 Test-time Scaling 같은 기술로 LLM의 구조적 문제 해결 능력을 향상시켜 줍니다.

In-situ Graph Reasoning and Knowledge Expansion Using Graph-PReFLexOR
그래프 기반 추론과 기호 추상화 (Symbolic Abstraction)를 통합해서 적응력을 높이고 여러 분야의 문제를 더 잘 해결하게끔 해 줍니다.

OmniThink: Expanding Knowledge Boundaries in Machine Writing Through Thinking
기계가 글을 쓸 때 사람의 사고 과정을 모방해서, 지식을 동적으로 찾고 확장하면서 풍부한 콘텐츠를 생성하게 해 줍니다.

Learnings from Scaling Visual Tokenizers for Reconstruction and Generation
비전 트랜스포머를 효율적으로 확장해서, 적은 연산 비용으로도 이미지와 영상 처리에서 최고 수준의 결과를 달성하게 해 줍니다.

Inference-Time Scaling for Diffusion Models Beyond Scaling Denoising Steps
노이즈 선택을 최적화해서, 생성형 확산 모델의 이미지 품질과 다양성을 개선해 줍니다.

HALOGEN: Fantastic LLM Hallucinations and Where to Find Them
아주 디테일한 벤치마크로 LLM의 환각 현상 패턴을 분석하고 오류를 분류, 개선 전략을 수립하게 해 줍니다.

PokerBench: Training Large Language Models to Become Professional Poker Players
LLM이 전략적 게임을 수행하는 능력을 평가해서, 불완전한 정보 상황에서의 복잡한 과제 처리 능력을 파악하게 해 줍니다.

SPAM: Spike-Aware Adam With Momentum Reset for Stable LLM Training
스파이크를 고려한 최적화로 학습 안정성을 높이고 급격한 그래디언트 변화에 대응해서 효율성과 성능을 개선해 줍니다.

Enhancing Automated Interpretability with Output-Centric Feature Descriptions
출력 기반의 특성 (Feature) 분석에 중점을 두어서 해석 가능성을 높이고, 활용도가 낮은 신경망의 특성 (Feature)을 되살리게 해 줍니다.