NLP paper review (5/11~5/17)

 

1. Lighthouse Attention

• 핵심 아이디어
  • long context 학습 비용을 줄이는 training-only attention wrapper
  • inference 시에는 제거 → 기존 attention 그대로 사용 가능
• 방법
  • query/key/value를 계층적으로 compress → 다시 복원
  • gradient 없이 선택하는 구조 (효율성 강화)
• 결과
  • 전체 학습 속도 개선 + 최종 loss 감소
  • 512K context에서 최대 21배 forward 속도 향상
• 의미
  • “효율적 attention = 모델 변경 필요”라는 기존 문제를 회피
    → 배포 부담 없이 학습만 최적화 가능 구조 등장

 

2. Is Grep All You Need?

• 핵심 아이디어
  • coding agent에서 벡터 검색 대신 grep(text search)도 충분히 강력
• 결과
  • 조건 맞추면 embedding retrieval과 동등하거나 더 좋음
• 중요 발견
  • 성능 차이의 대부분은 retrieval 방식이 아니라
    👉 agent harness(구조 설계) 에서 발생
• 의미
  • “무조건 vector DB” 패러다임 약화
    → 에이전트 설계가 더 중요

 

3. A Geometric Calculator Inside a Neural Network

• 핵심 아이디어
  • LLM 내부에 기하학적 계산기 구조 존재
• 방법
  • 숫자를 원(circle) 위 위치로 표현
  • 덧셈 = 회전(rotation)
• 특징
  • residue number system과 유사하지만 더 일반적 구조
  • 수학 외 task에도 동일 구조 사용
• 의미
  • LLM이 단순 통계 모델이 아니라
    👉 구조적인 “계산 회로”를 내재

4. δ-mem

• 핵심 아이디어
  • frozen LLM에 작은 online memory 추가
• 방법
  • delta-rule 기반으로 memory 업데이트
  • attention 출력에 low-rank correction 적용
• 결과
  • 평균 성능 1.10배 향상
  • memory-heavy task에서 최대 1.31배 향상
• 의미
  • context 늘리거나 외부 retrieval 없이
    👉 경량 메모리로 장기 기억 개선 가능

 

5. Beyond Individual Intelligence

• 핵심 내용
  • multi-agent 시스템을 3축으로 정리:
    1. 협업 구조
    2. 오류 원인 분석 (failure attribution)
    3. 자기 진화 (self-evolution)
• 특징
  • 특히 failure attribution을 독립 연구 분야로 강조
• 의미
  • multi-agent 연구를 체계화하는
    👉 공통 프레임워크 제공

 

6. AutoTTS

• 핵심 아이디어
  • test-time scaling을 “설계”가 아니라
    👉 검색(search) 문제로 전환
• 방법
  • reasoning trajectory 기반 offline 평가
  • controller 자동 생성
• 결과
  • 사람이 만든 전략보다 더 좋은 accuracy-cost 성능
  • 비용 $39.9, 약 160분
• 의미
  • “TTS 설계 → 자동화”
    → agent 최적화 방식의 패러다임 전환

 

7. AI Co-Mathematician (Google DeepMind)

• 핵심 아이디어
  • 수학 연구용 agent workbench
• 구조
  • 비동기 + 상태 유지 + multi-workstream
• 기능
  • 아이디어 생성 / 문헌 탐색 / 증명 검증 / 계산 수행
• 결과
  • FrontierMath Tier 4에서 48% 최고 성능
• 의미
  • Chatbot → 도구 →
    👉 “연구 환경(operating system)”으로 진화

 

8. AEvo

• 핵심 아이디어
  • self-improvement를 두 역할로 분리:
    • candidate 생성
    • procedure 개선(meta-agent)
• 특징
  • 과거 실행 로그를 memory로 활용
• 결과
  • baseline 대비 26% 성능 향상
• 의미
  • 단순 반복이 아니라
    👉 “방법 자체를 진화시키는 agent” 구조

 

9. The Memory Curse in LLM Agents

• 핵심 발견
  • history 길어질수록 협력 감소
• 원인
  • 과거 중심 사고 → 미래 의사결정 약화
• 해결 방법
  • forward-looking 데이터 학습 (LoRA)
  • memory 내용 정제
• 추가 발견
  • chain-of-thought가 문제 악화 가능성
• 의미
  • “long context = 무조건 좋다”는 가정 붕괴
    → 메모리 ‘내용’ 관리가 핵심

 

10. Token Superposition Training (TST)

• 핵심 아이디어
  • pretraining 속도 개선 방법
• 방법
  • 초기 학습에서 token을 묶어서 처리
  • 이후 standard next-token으로 복귀
• 결과
  • 2~3배 학습 속도 향상
  • 동일 FLOPs에서 더 낮은 loss
• 의미
  • 모델 구조 변경 없이
    👉 학습 효율 극대화 가능