NLP paper review (6/14~6/21)

1. SpatialClaw (NVIDIA)

• 문제: VLM이 3D/4D 공간 추론에 약함 (텍스트로 바로 답하려고 해서 실패)
• 핵심 아이디어:
  • 코드를 action interface로 사용 (Python 기반 agent reasoning)
• 방법:
  • SAM3, Depth-Anything 등 perception 도구를 Python 함수로 호출
  • Jupyter kernel을 stateful하게 유지 (중간 결과 저장 및 재활용)
• 결과:
  • 평균 정확도 59.9%, 기존 대비 +11.2%p 개선
• 의미:
  • training 없이도 spatial reasoning 가능
  • VLM을 “코드 실행 기반 reasoning 시스템”으로 변환

 

2. Compositional Skill Routing (SkillWeaver)

• 문제: 실제 작업은 여러 스킬 조합이 필요한데 기존은 단일 tool 선택
• 핵심 아이디어:
  • skill routing을 “조합 문제”로 재정의
• 방법:
  • 3단계:
    • task decomposition (LLM)
    • skill retrieval (bi-encoder + FAISS)
    • dependency-aware planning
• 결과:
  • decomposition 개선 시 정확도 51.0% → 67.7%
• 의미:
  • agent는 단일 tool 선택이 아니라 multi-skill planning 필요

 

3. PreAct

• 문제: 동일 task 반복 시 매번 reasoning 비용 재발생
• 핵심 아이디어:
  • agent 실행을 state machine으로 컴파일
• 방법:
  • 성공 실행을 프로그램으로 저장 후 replay
  • 화면 상태 확인 후 실행 (불일치 시 agent 복귀)
• 결과:
  • 8.5~13배 속도 향상
• 의미:
  • agent → reusable automation system으로 전환

 

4. Can LLM Agents Infer World Models?

• 문제: agent가 환경의 latent 구조를 학습할 수 있는가?
• 방법:
  • DFA(유한 오토마타) 추론 문제로 정의
  • membership / equivalence query 기반 평가
• 결과:
  • 에이전트 성능이 DFA 크기 증가 시 급격히 감소
• 의미:
  • world model inference는 아직 미해결 문제
  • reasoning model이 더 우수하지만 classical algorithm 대비 큰 격차

 

5. From Trainee to Trainer

• 문제: RL 환경 설계를 사람이 수작업으로 수행
• 핵심 아이디어:
  • 모델이 스스로 학습 환경을 설계
• 방법:
  • 실패 trajectory 분석 → 다음 stage 환경 자동 생성
• 결과:
  • 현재 policy가 base model보다 더 좋은 환경 설계 수행
• 의미:
  • RL pipeline에서 인간 개입 제거 가능성

 

6. OpenClaw-Skill

• 문제: 기존 skill distillation은 단일 trajectory 기반 → 일반화 부족
• 핵심 아이디어:
  • Collective Skill Tree Search (CSTS)
• 방법:
  • 여러 모델로 skill 후보 생성 및 평가 → 트리 구조 구축
  • 계층적 skill library 구성
• 의미:
  • 범용적이고 재사용 가능한 skill 시스템 구축

 

7. Back on Track (Diffusion LLM RL)

• 문제:
  • sparse reward
  • trajectory drift
• 해결 방법 (PAPO):
  • step-level reward 제공
  • 실제 생성 경로 재현 (entropy-guided reenactment)
• 결과:
  • GSM8K/MATH500 성능 4.5% → 42.2%
• 의미:
  • diffusion LLM에 RL을 적용하는 핵심 방법 제시

 

8. AtomMem

• 문제: 장기 메모리 drift 및 오염
• 핵심 아이디어:
  • atomic fact 단위로 memory 관리
• 방법:
  • Fact Executor로 중요한 정보만 추출
  • hierarchical event + temporal profile 구조화
  • associative memory graph로 연결
• 결과:
  • LoCoMo benchmark SOTA 달성
• 의미:
  • agent memory의 안정성과 정확성 크게 개선

9. Beyond Domains (SkillMigrator)

• 문제: 웹 에이전트는 사이트마다 새로 학습 필요
• 핵심 아이디어:
  • UI 패턴 기반 skill transfer
• 방법:
  • 페이지 layout 패턴 기반 skill 저장 및 재사용
• 결과:
  • LLM action 수 8~10% 감소
• 의미:
  • 웹 에이전트의 범용성 향상

 

10. Stanford EDGAR Filings Dataset

• 내용:
  • SEC 기업 보고서를 구조적으로 재구성한 대규모 데이터셋
• 규모:
  • 152B tokens (총 550B 중 일부)
• 특징:
  • Common Crawl과 중복 < 0.1%
  • financial reasoning / OCR benchmark 포함
• 의미:
  • 금융 domain long-context 학습 데이터 확보