NLP paper review (6/21~6/28)

1. Sakana Fugu (오케스트레이터 LLM)

 

• 고정된 파이프라인이 아니라, 질문에 따라 동적으로 agent 구성하는 orchestrator 모델 제안
• 여러 LLM agent의 전문성을 결합하여 단일 모델을 능가하는 성능 달성 (SWE-Bench, GPQA 등)
• Fugu (속도/균형) vs Fugu-Ultra (최고 성능) 두 가지 버전 제공
• 핵심 방법: fine-tuning + 진화 알고리즘 + RL 결합
• ✅ 의미:
  • “모델 하나 → agent 집단 orchestration” 패러다임 전환
  • agentic scaffold 자체를 학습하는 방향으로 발전

 

2. Agent-Native Memory

 

• 기존 memory 시스템 평가 방식(F1 등)은 실제 성능을 제대로 반영하지 못함
• memory를 데이터 시스템으로 보고 4개 모듈로 분해:
  • 저장 / 추출 / 검색 / 유지관리
• 12개 memory 시스템 비교 → 단일 최적 구조 없음 (task-dependent)
• ✅ 의미:
  • memory는 단순 retrieval이 아니라 운영 비용·업데이트 안정성까지 포함된 시스템 문제
  • “agent memory = 인프라”로 재정의

 

3. Autodata (Agentic 데이터 생성)

• AI agent를 “데이터 사이언티스트”로 활용 → 학습 데이터 생성 자동화
• 핵심: agent 자체를 meta-optimization으로 개선 → 데이터 품질도 계속 향상
• 다양한 도메인(법률, 수학, CS)에서 기존 synthetic data 방법보다 성능 우수
• ✅ 의미:
  • 데이터 생성도 static pipeline → self-improving system으로 전환
  • inference compute가 데이터 품질로 환산될 수 있음

 

4. Critique of the Agent Model

• “agent” 개념이 너무 모호 → 명확한 정의 필요
• agent를 5가지 차원으로 분석:
  • 목표, 정체성, 의사결정, 자기조절, 학습
• agentic vs agentive 구분:
  • agentic = 외부 워크플로 기반
  • agentive = 내부적으로 능력 형성
• ✅ 의미:
  • 진짜 agent는 단순 tool orchestration이 아님
  • autonomy, safety, controllability 논의의 기준 제시

 

5. Agent-as-a-Router (ACRouter)

 

• 기존 routing은 static classification → 성능 한계 존재
• 새로운 framing:
  • Context → Action → Feedback → Context loop (학습형 routing)
• 성능 통계 정보 추가만으로도 15.3% 성능 향상
• ✅ 의미:
  • routing은 함수가 아니라 경험 축적하는 agent 문제
  • multi-LLM 시대의 핵심 인프라

 

6. Agent Communication Protocols

 

• multi-agent 시스템에서 통신 프로토콜이 핵심 병목
• 5가지 축으로 프로토콜 taxonomy 정의:
  • 상대 / payload / 상태 / 발견 / 스키마
• 주요 트렌드:
  • hybrid payload
  • session state 유지
  • schema 유연성 증가
• ✅ 의미:
  • 단일 표준이 아니라 federated protocol stack으로 진화 예상
  • interoperability가 핵심 문제

 

7. A Pinch of Human Data

 

• pure self-play RL는 인간과 호환되지 않는 정책 생성
• 해결책: 소량 human data를 regularization으로 사용
• 단 30분 데이터로도 행동 alignment 가능
• ✅ 의미:
  • 대규모 데이터 대신 적절한 위치의 human signal이 더 중요
  • alignment 비용 크게 절감

 

8. Skill-MAS

• multi-agent 시스템 생성의 한계:
  • inference-only vs fine-tuning 모델 tradeoff
• 해결: orchestration을 Meta-skill로 진화시키는 구조
• gradient 업데이트 없이 경험 축적
• ✅ 의미:
  • orchestration 능력이 모델 weight 외부에서 지속 개선 가능
  • 비용 대비 성능 최적화 방향

 

9. Reliability without Validity

• LLM-as-a-Judge 평가 방식의 문제:
  • 단순 agreement metric → 성능 과대평가
• Cohen’s kappa 기준으로 보면 33~41% 과대평가 발견
• ranking도 크게 변동
• ✅ 의미:
  • evaluation 자체가 신뢰 문제
  • judge 모델 검증 프로토콜 필요

 

10. NatureBench

• 과학 문제 해결 능력을 평가하는 benchmark
• 90개 Nature 논문 기반 task
• 결과: 최고 agent도 SOTA 재현 성공률 17.8% 수준
• ✅ 의미:
  • agent는 아직 “발견(discovery)”보다
    → “기존 문제를 ML task로 변환”하는 수준