NLP paper review (5/4~5/10)

1. HeavySkill

• 핵심 아이디어
  • 에이전트 성능을 좌우하는 것은 복잡한 오케스트레이션 코드가 아니라, 병렬 추론 → 숙고(deliberation) 라는 단일 내적 스킬이라는 주장
• 방법
  • 2단계 파이프라인:
    • 1단계: 여러 추론 체인을 병렬로 생성
    • 2단계: 생성된 체인들을 비교·비판·종합하여 최종 답 도출
  • 해당 패턴을 RLVR(Reinforcement Learning with Verifiable Rewards) 로 모델 내부 스킬로 학습
• 주요 결과
  • GPT-OSS-20B: LiveCodeBench 정확도 69.7% → 85.5%
  • R1-Distill-Qwen-32B: IFEval 35.7% → 69.3% (거의 2배)
• 의미
  • 하네스 차원의 트릭이 아니라 모델 자체의 능력으로 내재화 가능
  • 장기적으로는 “오케스트레이션 없는 에이전트 모델”로 수렴 가능성

 

2. Conductor (Sakana AI, ICLR 2026)

• 핵심 아이디어
  • 문제를 직접 푸는 모델이 아니라, 다른 LLM들을 조율(orchestrate)하는 모델이 성능을 만든다는 접근
• 방법
  • RL로 학습된 단일 정책이:
    • 어떤 에이전트가 누구와 통신할지(토폴로지 설계)
    • 각 에이전트에 어떤 프롬프트를 줄지(타깃 프롬프트 설계)를 동시에 결정
  • 학습 시 보지 못한 에이전트 조합도 추론 시 대응 가능
• 주요 결과
  • GPQA-Diamond, LiveCodeBench에서 SOTA
  • AIME25, GPQA-D에서 약 3% 성능 향상 (모델 세대 업그레이드급)
• 의미
  • “라우팅과 조율” 자체가 학습 가능한 정책
  • 멀티 모델 프로덕션 스택에 매우 적합한 추상화

 

3. Self-Improving Pretraining (Meta FAIR)

• 핵심 아이디어
  • 안전성, 사실성, 추론 능력을 사후 미세조정(post-training) 이 아니라 사전학습(pretraining) 단계에서부터 주입
• 방법
  • 강력한 post-trained 모델을:
    • 리라이터: 프리트레이닝 텍스트 suffix를 더 좋은 방향으로 재작성
    • 저지: 원본 vs 재작성 대비 모델 출력 평가
  • 다음 토큰 예측 대신 시퀀스 생성 + 보상 최적화
• 주요 결과
  • 사실성 +36.2%
  • 안전성 +18.5%
  • 생성 품질 최대 86.3% win-rate
• 의미
  • 기존 모델을 활용해 다음 세대 모델의 사전학습 품질을 재귀적으로 개선
  • “행동 특성은 사전학습에서 잠긴다”는 주장에 실증적 근거

 

4. Connect Four AlphaZero from Scratch

• 핵심 아이디어
  • 코딩 에이전트를 평가할 때 패치 수준이 아니라 시스템 전체 재구현 능력을 봐야 한다는 제안
• 방법
  • 최소한의 설명 + 제한된 자원 하에서
  • AlphaZero(검색, 신경망, self-play, 학습 루프)를 처음부터 구현
• 주요 결과
  • Claude Opus 4.7:
    • 3시간 내 전체 구현
    • Pascal Pons 기준 솔버 상대로 7/8 승리
  • 다른 에이전트는 대부분 2/8도 실패
• 의미
  • 실제 연구·엔지니어링에 가까운 강력한 신규 벤치마크
  • 코딩 에이전트 간 실력 격차를 명확히 구분

 

5. Coordination as Architecture

• 핵심 아이디어
  • 멀티에이전트 실패의 41%–87%는 모델이 아니라 ‘조율 실패’
• 방법
  • 정보 접근, 모델, 프롬프트를 동일하게 고정
  • 조율 구조만 변화시키는 통제 실험
• 주요 기여
  • 조율을 독립된 아키텍처 레이어로 정의
  • “컨텍스트 크기”와 “조율 효과”를 분리 측정 가능
• 의미
  • 멀티에이전트 연구의 비교 기준을 정립
  • 생산 환경에서 가장 ROI 높은 개선 지점이 ‘조율’임을 명시

 

6. Horizon Generalization (Microsoft Research)

• 핵심 아이디어
  • 장기 과제 실패는 추론 능력 부족이 아니라 horizon(목표까지의 단계 수) 문제
• 방법
  • 동일한 규칙·추론 구조에서 목표 거리만 증가
  • 액션을 매크로 액션으로 재파라미터라이즈
• 주요 결과
  • 학습 안정성 즉각 개선
  • 짧은 horizon으로 학습 → 긴 horizon으로 일반화
• 의미
  • “큰 모델 + 더 많은 컴퓨트”가 아닌 훈련 설정 변경이 해법

 

7. 1,000 Synthetic Computers (Microsoft Research)

• 핵심 아이디어
  • 컴퓨터 사용 에이전트의 병목은 모델이 아니라 현실적인 장기 데이터
• 방법
  • 실제와 유사한 파일·디렉토리를 가진 1,000개 가상 컴퓨터
  • 사용자 에이전트 + 작업 에이전트 2중 구조
• 특징
  • 평균 8시간, 2,000턴 이상 실행
  • 향후 수백만~수십억 환경 확장 고려
• 의미
  • 실제 사용자 로그 수집 없이도 장기 에이전트 학습 가능

 

8. Contextual Agentic Memory is a Memo

• 핵심 아이디어
  • 현재 에이전트 메모리는 ‘기억’이 아니라 메모(lookup) 에 가깝다
• 이론적 배경
  • 신경과학의 Complementary Learning Systems
    • 빠른 저장(해마) + 느린 추상화(신피질)
• 문제 제기
  • 벡터 검색 기반 메모리는:
    • 추상 규칙 일반화 불가
    • 메모리 오염(memory poisoning)에 취약
• 의미
  • 장기 실행 에이전트에는 통합·압축·추상화 메모리가 필수

 

9. Agentic‑imodels

• 핵심 아이디어
  • 해석가능성의 대상은 인간이 아니라 다른 에이전트
• 방법
  • 코딩 에이전트가 사람이 읽기 쉬운 모델(scikit-learn 형태)을 진화적으로 탐색
  • 작은 LLM이 해당 모델을 “읽고 시뮬레이션할 수 있는지”로 해석가능성 정의
• 주요 결과
  • 65개 데이터셋에서 기존 결정트리/GAM/선형모델을 파레토 상으로 초과
  • BLADE 벤치마크에서 8%–73% 개선
• 의미
  • 에이전트 중심 데이터 사이언스에 적합한 새로운 해석가능성 기준

 

10. Skills as Verifiable Artifacts

• 핵심 아이디어
  • 에이전트 스킬은 신뢰 가능한 코드가 아니라 미검증 코드
• 주장
  • 런타임은 스킬을 기본적으로 불신(untrusted) 해야 함
  • 검증된 스킬만 자동 실행, 나머지는 HITL
• 의미
  • 에이전트 스킬 생태계가 커지기 전 필요한 공급망 보안 관점
  • SKILL.md 같은 표준 필요성 제기