NLP paper review (5/24~5/31)

• SkillOpt

• 

   
  • LLM의 “스킬 문서(SKILL.md)” 자체를 학습 가능한 파라미터처럼 최적화하는 방법 제안
  • 검증 기반 수정(Validation gate)을 통해 문서 개선
  • 여러 벤치마크에서 기존 방법 및 인간 작성보다 성능 우수

 

• Compiling Agentic Workflows into Weights

• 

   
  • 복잡한 에이전트 워크플로우를 모델 가중치로 압축(distillation)
  • 오케스트레이션 비용 제거 → 약 100배 비용 절감
  • 작은 모델로도 높은 성능 유지

 

• AutoScientists

• 

   
  • 중앙 컨트롤러 없이 여러 AI 에이전트가 협업하는 분산형 연구 시스템
  • 가설 평가 후 계산 자원 투자 → 비효율 감소
  • 실제 생명과학 벤치마크에서 성능 향상

 

• Language Models Need Sleep

• 

   
  • 긴 컨텍스트 문제 해결을 위해 “수면(sleep)” 개념 도입
  • 컨텍스트를 fast weights로 압축 후 캐시 제거
  • 긴 작업에서 성능 향상

 

 

• Adapting the Interface, Not the Model (Life-Harness)

• 

   
  • 모델 재학습 없이 인터페이스(runtime harness) 개선으로 성능 향상
  • 다양한 환경에서 일관된 성능 개선

 

• The Efficiency Frontier
•  

  

   
  • 컨텍스트 처리 전략을 비용-성능 관점에서 최적화
  • 재사용 여부에 따라 retrieval vs preprocessing 전략 선택
  • 토큰 비용 절감 효과 확인

 

• Forecasting Scientific Progress with AI (CUSP)

• 

   
  • AI가 과학 발전을 예측할 수 있는지 평가
  • 가능성 판단은 잘하지만 실제 결과와 시점 예측은 약함
  • 과도한 확신(overconfidence) 문제 지적

 

 

• Your Agents Are Aging Too (AgingBench)
  • 장기간 실행되는 에이전트의 성능 저하(aging) 분석
  • 메모리 압축, 간섭 등 다양한 노화 메커니즘 정의

 

• Harnesses Are Not Uniformly Better
  • 복잡한 에이전트 구조가 항상 좋은 것은 아님
  • 과도한 분해/제어는 오히려 성능 저하 가능

 

• Epicure
  • 음식 재료 임베딩 데이터셋 구축 (420만 레시피 기반)
  • 화학적 특성과 요리 맥락을 함께 반영