🌁FOD#87: 'Deep Research'를 새 직원으로 쓰기 시작해야 하는 이유

저의 작업 루틴을 바꾸기 시작한, 오픈AI의 ‘Deep Research’

튜링 포스트, 그리고 튜링 포스트 코리아는 아주 소규모의 팀입니다. 미국에 풀타임 두 명, 한국에 파트타임 한 명으로 움직이고 있어요. 종종 외부 기고자들과 협업하기는 합니다만, 대부분의 작업은 이 세명 (2.5 FTE 정도라고 할까요?)이 하거든요.

저희 팀에 새로운 팀원을 추가할 생각은 없었는데, 이제 상황이 달라진 것 같습니다. 기쁜 마음으로, 튜링 포스트 코리아의 새로운 팀원을 여러분께 소개합니다!

본인의 허락을 받아 공개하자면, 월급은 월 200불입니다 - 환율 때문에 왔다갔다 하기는 하지만, 대략 한화 29만원 정도예요. 사대보험과 기타 비용을 고려하면 조금 더 늘어나겠네요.

(그나저나 잠깐 딴 이야기를 하자면, 오픈AI의 가장 큰 문제, 저는 ‘서비스 네이밍’이라고 봅니다. ‘딥 리서치’, 이게 최선인가요? ^.^;)

자, 재미있게 글을 시작해 봤는데요.

오픈AI, 그리고 2월 3일 출시한 Deep Research를 둘러싼 여러 가지 논란이 있지만, 단언합니다. “Deep Research는 혁신적인 도구입니다.” 이게 튜링 포스트의 기존 인력을 대체하지는 않을 겁니다. 그렇지만, 저희가 해야 하는 많은 조사 작업에 소요되는 시간을 엄청나게 줄여주기 시작했어요. 예전에는 몇 시간, 심지어는 하루 이틀 걸리던 작업도 일단 한 시간 안에는 마칠 수 있도록 Deep Research가 도와주고 있습니다. 앞으로 Deep Research의 생산성을 극대화할 수 있는 방향으로 작업 방식을 재구성해야 하나 생각 중이에요.

Deep Research에 대한 반응

위 레딧 사용자는 ‘Deep Research’를 사용하면 충분해서 ‘Perplexity Pro’ 구독 취소까지 했다고 하는데요. 저는 계속해서 Perplexity Pro도 쓰기는 할 겁니다. 계속해서 Gemini Deep Research와 ChatGPT o1, o3-mini도 쓸 거예요.

그렇지만 이 전체를 아우르는 작업의 루틴은 아마도 Deep Research를 중심에 두고 단순화하고 재정비하게 될 것 같아요 - 이미 Deep Research 때문에 ‘제 자신이 적극적으로 정보를 찾고 조사’하는 모드에서 ‘AI가 수행한 리서치 프로세스와 결과물을 감독 (Supervise)’하는 모드로 변화하고 있어요. 사용한지 며칠 안 되었는데, 상당히 다른 수준의 도움을 받고 있다는 느낌조차 듭니다 - 가상의 연구 보조 인턴을 하나 두고, 지시를 해 놓고, 인턴이 작업하는 동안 저는 다른 일 하다가, 인턴 작업이 끝나면 가서 봐 주는 거 같이요.

지난 며칠 간 제가 Deep Research에 지시한 작업들을 제목만 보면:

• 대한민국 AI 생태계의 글로벌 협업 수준 분석 (7시간)

• 스노우플레이크 AI 전략 및 최신 사업성과 조사 (20분)

• DeepSeek R1 등장 이후 글로벌 AI 컴퓨팅 및 AI 데이터센터 수요 전망 (20분)

• 아시아 지역 내 대한민국의 AI 산업 경쟁력 분석 (20분)

• G7 오픈소스 AI 생태계 비교 분석 (15분)

• 튜링 포스트 코리아 AI 뉴스레터의 컨텐츠 전략 및 구독자 확보 계획 초안 (20분)

• 글로벌 VC 업계 AI 투자 현황과 트렌드 조사 및 Scale Asia Ventures 경쟁력 분석 (15분)

• Armilla AI의 아시아 지역 / 대한민국 사업 전략 초안 작성 (20분)

등입니다. 각 작업별로 진행된 흐름도, 만족도도 조금씩 달랐지만, 전반적으로 큰 도움이 되었다고 생각해요 - 특히 생산성 관점에서요.

지금까지의 제 Deep Research 사용 경험을 요약해 보자면, “아주 잘 구조화된 시작점을 제공해 준다”, 좀 더 비유적인 표현을 쓰자면 “100미터 달리기에서 어느 새 50미터 지점에 날 옯겨놓아 준 듯한 느낌이다”라고 할 수 있을 것 같습니다.

또 하나 좋았던 경험은, 마치 진짜 같이 작업하는 동료가 있는 것 같은 느낌을 받았던 거예요 - 제 요청이 다소 불명확하다면 DeepResearch가 후속 질문들을 해서 그런 부분을 정리한 다음 조사를 시작하니까요. 이 과정을 거쳐서 조사 자체가 조금 더 명확한 범위와 맥락을 가지고 진행되는 거죠. 물론, DeepResearch의 질문에 답하기가 곤란하거나 잘 모르겠으면, “니가 스스로 조사를 해서 판단해 봐”라고 해도 잘 수행합니다. 어떤 분들은 이 방식이 더 좋은 결과를 내더라 하시는 분들도 봤습니다. 괜찮지 않나요?

DeepResearch는 ‘시간 개념’도 있어요: 2월 3일에서 2월 10일 사이에 새로 나온 자료들만 대상으로 조사를 하고 싶으면, 그렇게 지시하면 돼요.

그럼 저 말고 다른 분들의 후기도 좀 볼까요?

아리조나 주립대 교수이자 작가, 앤드류 메이나드 (Andrew Maynard)는 DeepResearch를 사용한 후에 “AI로 증강되지 않은 - ‘AI의 도움을 받지 않은’ 정도의 의미겠죠? - 연구와 학문이, 언제쯤 시대착오적인 거라고 여겨지게 될지 궁금해지기 시작했다”로 했습니다. “이걸 사용하는 건, 박사 수준의 질문에 대해서 최고의 인재들로 이뤄진 팀을 지원받아서 몇 시간 안에 박사 수준의 답변을 받는 것과 같다”고도 했네요. 앤드류가 쓴 글 전체를 보고 싶으신 분은 여기를 참고하시구요.

앤드류는, ‘사람이 일을 진행할 때 쉽게 간과할 수 있는 다양한 분야와의 연관성이라든가 사례를 파악해서 새로운 관점을 제공할 수 있다’는 뜻으로 글을 쓴 건데요, 전문적인 연구 환경의 관점에서는 더 균형잡힌 의사결정을 지원할 수 있다는 뜻이겠죠. 예를 들어서, 기업의 제품 관리자 (Product Manager)라면 여러 개의 팀이나 오래 걸리는 연구를 대신해서 외부의 과학적 연구, 시장 데이터, 소비자의 의견 등에서 얻은 통찰력을 한 곳에서 빠르게 수집할 수 있다는 겁니다.

와튼스쿨 교수이자 ‘Co-Intelligence’의 저자인 에단 몰릭 (Ethan Mollick)은, 위 X 포스팅에서 보듯이 ‘RPG 게임에서 강도 (Heist) 작전을 어떻게 진행할지에 대한 다양한 접근 방식을 비교해 보라고 Deep Research에게 지시했고, 그 결과에 아주 감명을 받은 모양이예요. 에단 몰릭이 사용한 프롬프트는 이렇습니다:

Prompt: i need a report on evolution in TTRPGs, especially the major families of rules that have evolved over the past few years, and the emblematic games of each. make it an interesting read with examples of gameplay mechanics.  start with the 1970s but focus most on post 20102. all genres, all types, no need for a chart unless it helps, but good narratives with sections contrasting examples of how the game might actually play. maybe the same sort of gameplay challenge under different mechanics?

제가 아주 좋아하고 많이 배우는, 노정석님과 최승준님이 하시는 유튜브 채널에서도 Deep Research 일주일 사용 소감을 정리하신 영상이 올라와 있는데요. 승준님은 “굉장하지만, 그래도 다행인 것은, 인간이 할 일이 있다”는 말씀을 하셨네요. “언번들링을 한 후 재조합한다”는 표현도 귀에 꽂혔습니다. 모두들 꼭 한 번 보시기 권합니다.

경제학자인 케빈 브라이언 (Kevin Bryan) 같은 분은, 현재 ‘데이터의 접근’ 관점에서 한계가 있다는 지적을 하기도 했습니다 - 더 검색 기능을 강화하고, 유료 컨텐츠에 접근할 수 있다면 이런 에이전트가 훨씬 더 유용해질 거라는 말이겠죠. 그런데 이거야 뭐 Deep Research의 문제 - 검색 기능은 제외하구요 - 만은 아니고, 사람 - 진짜 사람이요 - 이나 회사에 리서치를 맡길 때도 마찬가지 이야기니까요. 케빈은 X에 Deep Research의 ‘Failure Mode (오류 유형)’을 쭉 포스트하고 있기도 합니다:

Deep Research는 어떻게 작동할까요?

아주 디테일한 기술적 분석은 별도로 한 번 정리해 보도록 하고, 개인적으로 오픈AI가 Deep Research를 통해서 보여준 혁신은 ‘추론 과정 전체에 걸쳐서 일관성있는 행동 (Coherent Action)을 해 내는 능력’에 있다고 봅니다. 장기적으로 뭔가에 집중하는데 어려움을 겪는 기존 AI 에이전트와는 다르게, Deep Research는 방해받지 않고 흔들리지 않고 꾸준히 작업을 진행합니다.

먼저 출처를 검색한 다음에 보고서를 작성하는 Gemini와는 조금 다르게, 오픈AI의 Deep Research는 필요와 상황에 따라서 다이나믹한 검색과 행동을 취하는 걸로 보이고, 이 때문에, 심지어는 ‘사람에게 일을 맡기는 느낌’이 들듯이 더 적응력있고 효율적인 에이전트가 되는 거죠. 내부적으로는, 강화학습을 사용하는 o3 모델로 구동되고 있습니다.

아래는, “오픈AI의 Deep Research가 어떻게 작동하는지에 대한 기술적인 상세 내용을 알고 싶어.“라는 프롬프트에 따라서 Deep Research가 생성한 연구 보고서입니다:

Deep Research 사용할 때 베스트 프랙티스

더 많은 분들이 사용하시게 되면 제대로 된 종합적인 베스트 프랙티스 등이 나오겠습니다만, 일단 현재 이야기되고 있는, Deep Research 잘 사용하는 법은:

• 자세한, 그리고 구체적인 프롬프트를 주기
  관련성이 적은 조사 결과를 피하려면, 프롬프트를 명확하고 구체적으로 작성합니다. 프롬프트를 전달하기 전에, ChatGPT를 사용해서 프롬프트를 다듬는 것도 좋겠습니다.

• 작업의 ‘맥락’이나 ‘예시’를 제공하기
  작업의 배경 정보를 제공하거나 원하는 답변 형식을 지정하면, Deep Research의 작업을 가이드하는데 도움이 됩니다. The Stratechery의 벤 톰슨 (Ben Thompson)도 사례를 들면서 답변 형식과 예시를 주는 게 도움이 되었다고 이야기합니다.

• 후속 질문을 통해서 과제를 명확하게
  Deep Research가 던지는 후속 질문에 답변을 정확하게 해서, 조사를 시작하기 전에 원하는 범위와 깊이로 조사 내용을 조정합니다. 몇 번 해 보니, Deep Research가 던지는 질문 자체도 유용할 때가 있고, 생각을 정리하면서 진짜 필요한 걸 명확히 하는 과정인 것 같습니다.

• 작업의 범위 및 ‘편향’에 대한 관점을 제시
  본인이 선호하는 출처라든가, 날짜의 범위, 또는 주의해야 할 관점 (예: "피어 리뷰 연구에 집중해라”, 또는 "정치적으로 편향된 출처는 제외해라” 등)에 대해 Deep Research에 이야기해 주세요.

• 생성된 보고서를 확인하고 개선
  Deep Research의 보고서를 ‘드래프트’로 생각하셔야 합니다. 중요한 주장이나 백업은 사실을 확인하시고, 후속 질문도 해 가면서 누락된 정보가 없는지 확인하고, 세부 정보를 명확하게 판단하세요.

• 보고서에 대한 요약, 그리고 Action Item 요청하기
  대부분 받아보시는 보고서가 길 거예요. 보고를 받으신 후에, 더 쉽게 이해할 수 있도록 도와주는 요약본, 주요 내용, 또는 후속으로 해 볼 만한 사항이 뭔지 요청해 보세요.

• 작업 시간을 관리하기
  이건 나의 생산성을 올리기 위해서도 중요한데요. Deep Research가 작업하는 시간 (10분 ~ 30분)을 고려해서 전체 업무를 기획하시고, Deep Research에도 작업 시간을 확인하시고, 그 동안 당신이 해야 할 일을 하시면 됩니다.

• 이 ‘새로운 직원’에 대한 ‘Job Description’을 염두에 두기
  Deep Research가 지금 당장 지원하거나 자동화할 수 있는 작업이 뭔지 한 번 정리해 보세요. 그리고 다른 사람들이 어떻게 사용하는지도 살펴보시구요. 그러면서 일상적인 업무에 통합을 해 보면서 필요에 따라 조정하세요.

아마도 느끼셨겠지만, 정말 새로운 팀원을 뽑아서 내가 가르치고 리드하면서 일한다고 생각하는 게 기본적인 베스트 프랙티스의 골자인 것 같습니다.

한계, 또는 염두에 두어야 할 점

뭐 수도 없이 들으셨겠지만, ‘한계가 없거나 이슈가 없는 기술은 없죠’:

• 가끔 부정확한 정보를 제공하거나 환각을 발생시킴
  다른 모든 LLM과 마찬가지로, 틀린 숫자를 주거나 유사한 용어를 혼동한다거나, 잘못된 정보를 만들어 낼 수 있습니다. 중요한 정보의 경우에는 직접 확인하거나, 근거에 대한 백업을 Deep Research에 요구해서 검증하는 과정을 거칩니다.

• 정보 출처의 신뢰도 평가가 어려운 경우가 있음
  특히 스스로 전문성이 있거나 경험이 많은 분야가 아니라면, Deep Research가 제시한 출처의 수준을 알기 어렵죠. Deep Research는 권위 있는 출처와 신뢰할 수 없는 출처를 항상 구별하지는 않고, 어쩔 때는 오래되었거나 낮은 품질의 정보를 보고서에 포함하기도 합니다.

• 준수하라고 제시한 가이드를 따르지 않음
  가끔은 제외하라고 지시한 주제를 여전히 포함하는 등, 사용자가 제공한 가이드라인이나 요구 사항을 완벽하게 따르지 않는 경우가 있습니다.

• 특정한 분야에서는 심도깊은 조사가 안 되기도 함
  특히 당신이 전문가인 분야에서는, 필수적이라고 생각하는 중요한 세부 사항, 참고 자료를 놓치거나, 방향 설정을 다르게 할 수도 있습니다. 이에 대한 지속적인 검토와 재지시를 해야 합니다.

• 압도적인 보고서 길이, 그에 반해 관련 없는 세부 사항
  전반적으로 보고서가 장황하게 나오는 경향이 있고, 가끔 너무 과도하게 지엽적인 정보들까지 포함하는 경우도 있습니다. 포맷에 대해서는 참고 사례를 주거나 지시를 더 구체적으로 주게 되면 이런 경향은 줄어드는 걸로 보입니다.

• 높은 비용 때문에 접근성에 아무래도 제한이 있음
  월 200달러의 ChatGPT Pro 사용자만 사용할 수 있는데, 개인에게는 아직 부담되는 비용일 수가 있을 것 같습니다.

• 불투명한 "블랙 박스" 형태의 추론임
  사용자가 쉽게 출처를 선택하거나 평가하는 방법을 알 수가 없다는 근본적인 이슈로, 결론에 대한 ‘완전한’ 신뢰는 어려운 경우가 있습니다.

…그렇지만, 어떻게 생각해 보면, 위의 한계점들은 대학생 인턴이라든가 회사의 신입 사원과 함께 일하기 시작할 때도 겪게 되는 일이라고 볼 여지도 있다고 생각은 듭니다.

Deep Research를 바라보는 우리의 관점, 그 영향

현 시점, Deep Research는 기술적으로 가장 강력한 AI 기반의 연구, 조사 도구 중 하나입니다. 물론 월 200달러, 적은 돈이 아니죠. Deep Research의 성능도 접근할 수 있는 정보, 프롬프트의 품질 등에 제한을 받기도 하구요. 하지만 연구나 조사 중심의 업무를 수행하는 사람들에게는, Deep Research는 획기적인 생산성 향상을 가져다주는 도구가 될 수 있습니다.

몇 가지 - 앞으로 계속해서 고민하고 여러분과 공유해야 할 - 핵심적인 관점이 있습니다:

일단, Deep Research의 강점과 한계를 명확하게 이해하는 것이 아주 중요합니다. AI가 사람 전문가를 완전히 대체한다고 쉽게 이야기할 수는 없어요. 하지만, 연구나 조사의 과정을 가속화하고, 그 범위를 확장할 수 있게 해 주는 강력한 도구인 것만은 분명합니다. 그리고, 내가 Deep Research에 대해서 이해하는 만큼 Deep Research를 잘 쓸 수 있게 될 겁니다.

둘째로, 저(를 비롯한 여러분들도) 개인의 관점에서, Deep Research는 업무의 생산성을 높여줌과 동시에, 제가 좋아하는 작업의 과정, 그 부분을 더 즐길 수 있게 해 줄 수 있다고 생각합니다. 며칠에 불과하지만, 저는 Deep Research를 사용해 보면서 - Deep Research와 함께 일하면서 - “새로운 생각을 떠올리고, 그 생각을 구체화하고 답을 찾아나가고, 비어있는 부분을 채워나가면서 답을 보완하고, 다시 새로운 생각을 떠올리는 과정이 즐겁구나”라는 걸 느꼈어요.

마지막으로, Deep Research가 과연 개인과 조직의 생산성을 높이는 걸 넘어서, 정보와 지식을 생산하는 산업의 구조, 형태를 변화시킬 수 있을지, 그렇다면 어떻게 변화가 일어날지 살펴볼 필요가 있습니다 - 마치 인터넷이 등장하면서 미디어 산업의 사업모델이 ‘정보의 생산과 제공’에서 ‘광고’로 변화했듯이요.

Deep Search가 AGI다, 아직은 아니다 이런 이야기들도 들리고 있는데요. 튜링 포스트 코리아의 이전 글 ‘잠깐 멈춰서 AGI에 대해 다시 생각해 보기’에서 AGI를 어떻게 바라볼 것인지 여러분과 공유한 적이 있으니 한 번 참고해 보시면 좋겠습니다.

‘기술적인 관점’에서 Deep Research가 AGI의 요건을 갖추었는지는 판단이 어렵지만, 과연 ‘사회적인 수용’의 관점에서 Deep Research를 AGI라고 부를 수 있을 것 같으냐고 누군가 묻는다면, 저는 “진정한 AGI로의 길 초입까지 우리를 데려다 놓은 기술이자 서비스다”라고 일단은 이야기할 것 같습니다.

Deep Research를 써 보신 분들 계시다면, 어떤 생각이 드셨나요?

트위터 라이브러리 (Twitter Library) 🐦

RAG (검색 증강 생성; Retrieval-Augmented Generation) 기법은 답변을 생성하는 과정 중에 관련된 외부 데이터를 검색해서 LLM의 응답 정확도 및 최신성을 향상시키기 위한 기법이죠.

튜링 포스트 코리아에서도 몇 차례 업데이트하면서 소개시켜 드렸습니다만, 최신의 AI 트렌드를 따라가면서 RAG 기법도 심층적인 단계별 추론, 트리 서치, 멀티모달리티 등 다양한 기술을 통합하면서 발전하고 있습니다.

오늘은 8가지의 최신 RAG 기법을 소개합니다:

*아직 튜링 포스트 코리아 구독 안 하셨나요? 구독해 주시면 매주 중요한 AI 뉴스를 정리한 다이제스트를 받으실 수 있습니다!

튜링 포스트 코리아팀이 읽고 있는 것들

샘 알트만의 ‘세 가지 관찰 (Three Observations)’

이 섹션에서 텍스트를 분석하는 경우는 별로 없지만, 샘 알트만의 이 텍스트에서 주목할 만한 몇 가지 내용을 소개합니다:

• “AGI는 약하게 - 느슨하게 - 정의된 용어지만, 대략적으로 우리는 AGI가 ‘많은 분야에서 점점 더 복잡한 문제를 사람 수준으로 해결할 수 있는 시스템’이라고 생각합니다.”

• 관찰 1: “AI 모델의 지능은 그 모델을 훈련하고 돌리는데 사용하는 자원/리소스의 로그값 수준과 거의 비슷합니다.”

• 관찰 2: “특정한 수준의 AI를 사용하는 비용은 12개월마다 약 10배 이상 낮아지고, 가격이 낮아지면 사용량이 훨씬 늘어납니다.”

• 관찰 3: “선형적으로 증가하는 지능의 사회경제적인 가치는 초지수 함수적 (Super-Exponential)인 성격을 가집니다.”

• “우리는 지금 AI 에이전트 출시를 시작했는데, 결국 이 에이전트들은 가상의 동료처럼 느껴질 겁니다.”

• "우리 중 많은 사람들이, 역사적으로 우리가 가졌던 것보다 기술에 대해서 더 많은 통제권을 사람들에게 제공해야 할 거라고 예상합니다 - 오픈소스 공개를 포함해서요. 그리고 (기술을 통해서) 개인에게 더 많은 자유와 권한을 주는 것과 안전 사이에 절충해야 할 어딘가가 있다는 걸 받아들이게 될 겁니다."

톰 오라일리, “The End of Programming as We Know It”

안드레 카파시의 LLM 필수 강좌 (3시간 이상의 비디오)

안드레 카파시가 AI 교육에 진심인 모양이예요 - AI 교육 커리큘럼도 짜더니, 자그마치 3시간이 넘는 LLM 강좌를 오픈했습니다. 내용도 너무 좋다는 반응이 많네요.

새로 나온, 주목할 만한 연구 논문

‘주목할 만한 최신의 AI 모델’을 먼저 소개하고, 각 영역별로 ‘Top Pick’은 해당 논문 앞에 별표(🌟)로 표시했습니다!

주목할 만한 최신 AI 모델

• SmolLM2: When Smol Goes Big은 11조 개의 토큰과 특수 데이터셋 (FineMath, Stack-Edu, SmolTalk)로 17억 개의 파라미터 모델을 최적화합니다. 여러 벤치마크에서 더 큰 모델보다 뛰어난 성능을 보여주는데, 데이터 중심의 훈련, 효율적인 Instruction-Tuning의 힘을 보여줍니다.

• Sundial: A Family of Highly Capable Time Series Foundation Models는 Flow Matching 손실과 대규모 토큰화 기법을 사용하는 시계열 기반 모델을 소개합니다. 모드 콜랩스 문제를 해결하면서, SOTA의 제로샷 예측 성능 및 11.34배 빠른 추론 속도를 보여줍니다.

• Satori: RL with Chain-of-Action-Thought는 강화학습과 자동 회귀 검색을 활용해서 LLM의 추론을 향상시킵니다. GSM8K 수학 벤치마크에서 93.2%를 달성, 자기 성찰에 있어서의 개선, 그리고 다른 도메인으로의 일반화 작업에서의 개선을 보여줍니다.

• Ola: Omni-Modal Language Model은 텍스트, 시각, 오디오 및 비디오를 점진적으로 통합하는 방법을 훈련시킨 오픈 소스 LLM입니다.

LLM 개발 및 최적화 기법

• Activation-Informed Merging of LLMs는 재훈련을 하지 않고도 성능을 향상시키기 위해서, 중요한 ‘활성화 공간 가중치 (Activation-Space Weights)’를 보존해서 파인튜닝한 LLM을 병합하는 AIM (Activation-Informed Merging) 기법을 제안합니다.

• Content-Format Integrated Prompt Optimization (CFPO)은 LLM의 응답을 향상시키기 위해서 내용과 형식을 모두 최적화하는 프롬프트 설계 방법을 소개합니다.

추론 및 다단계 문제 해결 기법

• 🌟AlphaGeometry2 (Olympiad Geometry Solver)는 더 광범위한 형식 언어를 사용해서 IMO 수준의 기하학 문제를 해결하도록 AlphaGeometry를 개선시킵니다.

• BOLT: Bootstrapping Long Chain-of-Thought는 더 큰 모델로부터 증류하는 기법에 의존하지 않고도 긴 추론 체인에 대해서 LLM을 훈련하는 방법을 제시합니다.

• 🌟ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning은 논리적인 격자 퍼즐에서 LLM을 평가해서, 추론 전략이 향상되더라도 문제의 복잡성이 정확도를 어떻게 감소시키기 되는지 보여줍니다.

• Demystifying Long Chain-of-Thought Reasoning in LLMs는 지도 파인튜닝과 강화학습이 추론 성능에 어떤 영향을 미치는지 분석합니다.

• 🌟Limo: Less is More for Reasoning은 선별된 추론 샘플이 LLM 훈련에서 대규모 데이터 세트보다 성능이 뛰어나다는 걸 보여줍니다.

모델 효율화 및 스케일링

• MAGA: Massive Genre-Audience Data Augmentation은 기존의 텍스트를 다양한 장르와 대상으로 재구성해서 합성으로 사전 훈련 데이터를 생성합니다.

• ParetoQ: Low-Bit Quantization Scaling Laws는 극단적인 LLM 양자화를 연구하고 저비트 체제에서 중요한 상 (Phase) 변화를 식별합니다.

특정한 도메인의 LLM 어플리케이션

• Clinical Reasoning Limitations (M-ARC Benchmark)는 의학적인 추론 과제를 대상으로 LLM을 테스트하는데, 이 과정에서 개방형 임상 의사결정 영역에서 LLM의 한계를 드러냅니다.

• LLMs for Legal Analysis (IRAC in Law)는 IRAC 프레임웍을 사용해서 LLM이 법적 추론을 어떻게 처리하는지 평가하고, 망설임 및 환각과 같은 문제가 있다는 걸 밝혀냅니다.

• HackerRank-ASTRA (Code Generation Evaluation)는 복잡한 다중 파일 코딩 작업에서 LLM을 벤치마킹, 일관성 (Consistency)과 강건성 (Robustness)을 평가합니다.

정렬 (Alignment) 및 안전성 개선 기법

• Feature Flow for Steerable LLMs는 의미적인 특징을 추적하기 위한 ‘인과적 교차 계층 해석 가능성 프레임웍 (Causal Cross-Layer Interpretability Framework)’을 도입합니다.

• 🌟“Great Models Think Alike” (AI Oversight Risks)는 하나의 LLM을 사용해서 다른 LLM을 감독할 때의 리스크를 조사하고, "비슷하게 생각하는" 모델의 편향성을 드러냅니다.

• DuoGuard: Multilingual LLM Guardrails via Two-Player RL은 Generator와 Guard Model을 사이에 두고 적대적 훈련을 통해서 여러 언어 환경에서의 안전성을 향상시킵니다.

*리뷰를 남기시려면 로그인하시거나 구독해 주세요. 감사합니다!

읽어주셔서 감사합니다. 프리미엄 구독자가 되어주시면 튜링 포스트 코리아의 제작에 큰 도움이 됩니다!