NLP paper review (5/31~6/7)

1. Self-Revising Discovery Systems

• 입력 구성
  • evidence (데이터)
  • artifacts (모델/가설)
  • operations (변환 규칙)
  • verifiers (검증 함수)
• 핵심 구조
  • 모든 요소를 타입이 지정된 객체(type system)로 표현
  • 전체 과학 시스템을 category theory graph로 모델링
• 실행 프로세스
  1. 기존 표현 체계(regime)에서 탐색
  2. anomaly/불일치 감지
  3. 새로운 표현 체계(regime') 제안
  4. 기존 결과를 functorial mapping으로 변환 (이식)
  5. 잔차(residual)를 계산 → 진짜 discovery 판단
• 승인 조건
  • description length 감소 시만 채택 (MDL 기준)
• 핵심 메커니즘
  • “search” + “representation revision”을 통합한 loop

 

2. Disentangling Agent Self-Evolution

• agent 구성 (2-model 구조)
  • Evolver model → harness 업데이트 생성
  • Solver model → 실제 task 수행
• Harness 구성 요소
  • memory
  • tools
  • prompts
  • skill modules
• 실행 루프
  1. Evolver:
     • 현재 harness 상태 입력
     • 수정 patch 생성 (코드/프롬프트/툴 변화)
  2. Harness 업데이트 적용
  3. Solver:
     • 수정된 환경에서 task 수행
  4. 성능 측정 → reward signal 생성
• 핵심 분리
  • update quality vs exploitation capability
  • 서로 다른 scaling law를 가짐
• 실험 설계
  • 서로 다른 모델 조합 (Evolver vs Solver)
  • 성능 곡선 비교 (non-monotonic behavior)

 

3. LEAP (Google)

• 시스템 구성
  • LLM (general-purpose)
  • Lean compiler (verifier)
  • agent scaffold (control loop)
• 실행 흐름
  1. 문제 입력
  2. LLM:
     • informal reasoning 생성
     • theorem decomposition (subgoals)
  3. 각 단계:
     • formal proof로 변환
     • Lean compiler 검증
  4. 실패 시:
     • error feedback → LLM에게 전달
     • refinement 반복
• 핵심 루프
• reasoning → formalization → verification → feedback → revision
• 설계 특징
  • fine-tuning 없음
  • verifier를 “hard constraint”로 사용

 

4. Scaling Laws for Agent Harnesses

• 단위 분석 대상
  • agent trace (step-by-step execution log)
• EFC 계산 구성
  • feedback signal 중:
    • informative
    • valid
    • non-redundant
    • retained → 조건 만족하는 것만 카운트
• 정규화
  • task difficulty로 normalization
• 실험 프로토콜
  1. 동일 task에서
  2. token 수 / tool call 변화
  3. feedback quality 변화
  4. 성능 correlation 비교
• 핵심 모델링
  • performance = f(EFC / task demand)

 

5. AutoLab

• 벤치마크 구성
  • 36개 task (engineering 문제)
  • baseline solution 제공 (suboptimal 상태)
• agent 입력
  • 코드 / 시스템 / 모델
  • 제한된 wall-clock budget
• 실행 루프
• 수정 → 실행 → 평가 → 개선 (iterative loop)
• 측정 지표
  • final solution quality
  • iteration count
  • improvement trajectory
• 핵심 변수
  • persistence (iteration 지속 여부)
  • time management

 

6. Reusable Context Engineering (AdaCoM)

• 모듈 분리 구조
  • Agent (frozen)
  • Context Manager (external model)
• Context Manager 동작
  • 입력: 현재 context + task state
  • 출력: 수정된 context
• action space
  • keep
  • compress
  • drop
  • rearrange
• 학습 방식
  • RL (end-to-end)
  • reward: task success
• 실행 루프
• context → manager edit → agent inference → outcome → reward → manager update
• 핵심 특징
  • agent 변경 없이 plug-in 가능

 

7. Learn From Your Own Latents

• 학습 대상 비교
  • token prediction
  • latent representation prediction
• 이론 설정
  • probabilistic context-free grammar (PCFG)
• 학습 방식
  • latent model:
    • internal representation 예측
  • token model:
    • surface symbol 예측
• 핵심 분석
  • sample complexity 식 비교
  • tree depth L 기준 scaling 분석
• 핵심 결론
  • latent → 구조 직접 학습
  • token → 구조 재구성 필요

 

8. Post-Training Reasoning Data Primer

• 데이터 구조 정의 하나의 reasoning data =
  • problem state
  • model trace (intermediate steps)
  • evaluation (judge/verifier)
  • attribution (source/meta)
• 데이터 생성 방식
  • RL rollout
  • self-play
  • human annotation
  • verifier-based filtering
• 핵심 프레임워크
  • usefulness = f(validator, dataset context)

 

9. State-Externalizing Harnesses (Harness-1)

• 구조 분리
  • policy (LLM)
  • state (environment)
• external state 구성
  • candidate pool
  • curated set (importance tagging)
  • evidence graph
  • verification history
• 실행 루프
• action → environment state update → observation → next action
• 학습 방식
  • RL on action policy
  • state tracking은 환경이 담당
• 핵심 효과
  • RL이 “state reconstruction” 학습하지 않음

 

10. Do More Agents Help? (SIMAS)

• 시스템 구조
  • multiple agents
  • sequential iterative updates
• 실행 흐름
  1. agent₁ → response
  2. agent₂ → refinement
  3. 반복
• 변수
  • agent count
  • base model strength
  • interaction protocol
• 실험 설계
  • agent 수 증가 실험
  • coordination overhead 측정
• 핵심 결과 구조
  • 성능 = f(agent count, coordination cost)