10가지 새로운 CoT 기법

AuthorAuthor

Ben Eum & Ksenia Se
May 08, 2025

CoT(Chain of Thought), 매력적인 아이디어와 그에 어울리는 뛰어난 효과 때문에 AI 분야에서 가장 인기 있는 기법 중의 하나로 자리잡았죠: 모델이 ‘명시적인 중간 추론 단계를 활용해서 복잡한 문제를 해결하도록 장려’하는 방법인데요. 많은 경우에, 원래 CoT 기법을 그대로 쓰기보다는, 이 기법을 다양한 방식으로 수정해서 LLM의 추론 능력을 한층 더 향상시키는 팁들을 찾아내곤 하죠. 오늘은 이런 관점에서 새로 등장한 새로운 CoT 기법 10가지에 대해 알아봅니다.

  1. Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption (2504.20769)
    LLM의 견고성 (Robustness)을 향상시키기 위해서, 구조화된 방어적 추론 (Defensive Reasoning) 예시를 몇 가지 제공합니다.

  2. AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization (2504.21659)
    Long-CoT와 Short-CoT를 결합한 적응형 하이브리드 추론 모델(AdaR1)을 사용해서, 효과적인 추론 스타일을 선택하기 위한 방안으로서 ‘이중 (Bi-level)의 선호도 훈련’을 적용하는 방법을 제안합니다.

  3. T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT (2505.00703)
    의미론적 (Semantic) 레벨의 CoT를 프롬프트 계획에 사용하고, 토큰 (Token) 레벨의 CoT를 픽셀 레벨의 생성 작업에 사용하는, T2I-R1 Text-to-Image 생성 모델을 소개합니다. 이 과정에서 BiCoT-GRPO가 두 과정을 모두 조정합니다.

  4. Efficient Reasoning for LLMs through Speculative Chain-of-Thought (2504.19095)
    SCoT는 라이트한 초안으로서 여러 개의 추론 경로를 작성하고, 그 중 가장 뛰어난 것을 선택한 다음 타겟 모델을 사용해서 수정합니다 - 이 모든 과정을 통해서 지연 시간을 48-66% 정도 줄일 수 있다고 합니다.

  5. Co-CoT: A Prompt-based Framework for Collaborative Chain-of-Thought Reasoning (2504.17091)
    추론 과정을 사용자가 검사, 수정 및 재실행할 수 있는 블록으로 나누어서 사용자의 적극적인 참여를 촉진합니다. 적응 (Adaptation) 메커니즘을 기반으로 해서 다양한 인지 (Cognitive) 스타일과 사용자의 목표에 맞춰 출력값을 조정합니다.

  6. Enhancing Non-Core Language Instruction-Following in Speech LLMs via Semi-Implicit Cross-Lingual CoT Reasoning (2504.20835)
    반암시적 (Semi-Implicit) CoT 접근법으로 중간 과정의 토큰을 압축해서, Speech-to-Text 번역을 추론 작업과 통합하는 Cross-Lingual 프레임웍입니다. 이 기법으로 비핵심 언어 - 영어가 아닌 - 에 대한 응답을 최대 45%까지 향상시킨다고 합니다.

  7. CoT-RAG
    CoT 접근법에 3가지 새로운 설계를 추가합니다: 1) 추론 체인을 가이드할 지식 그래프 기반의 CoT 생성, 2) 관련되 하위 사례를 제공하기 위해서 RAG와 지식 그래프를 결합하는, 학습 가능한 Knowledge Case-Aware RAG, 그리고 3) 논리 기반의 의사 (Pseudo) 프로그램 프롬프팅 실행이 그 세 가지라고 합니다.

  8. Unsupervised Visual CoT (UV-CoT)
    모델이 생성한 Bounding Box 간의 선호도를 비교합니다. 시각적 영역에 대한 모델의 응답을 생성하고 순위를 매기고, 이 피드백을 사용해서 이미지 레벨의 추론을 향상시키는 훈련을 하도록 가이드합니다.

  9. CoTAL
    CoT와 액티브 러닝을 결합해서 커리큘럼과 연계한 평가, 사람이 참여하는 프롬프트 설계, 그리고 Teacher/Student 피드백 등의 요소로 자동적인 스코어링의 결과를 개선합니다. 이 기법으로 GPT-4의 정확도를 최대 24.5%까지 향상시킬 수 있다고 합니다.

  10. Deconstructing Long CoT (DLCoT)
    데이터를 세그멘테이션하고, 해결책을 단순화하고, 중간 오류 상태를 최적화해서 증류 데이터를 강화, 모델의 성능과 토큰 효율성을 개선해 줍니다.

*읽어주셔서 감사합니다. 재미있게 보셨다면 친구와 동료 분들에게도 뉴스레터를 추천해 주세요.

Reply

or to participate.