NLP paper review (4/19~4/26)

1️⃣ DeepSeek V4

🔹 연구 배경

• 기존 LLM의 초장문 컨텍스트(수십만~백만 토큰)는 “옵션 기능”이거나 비용·안정성 문제로 실사용이 어려움.
• DeepSeek는 처음부터 100만 토큰을 기본값으로 전제한 구조를 설계.

🔹 핵심 아이디어

• 어텐션을 하나의 방식으로 처리하지 않고, 압축 수준이 다른 두 어텐션(CSA, HCA)을 계층적으로 사용.
• 초대형 모델 학습 시 발생하는 loss spike(학습 붕괴)를 구조적으로 완화.

🔹 방법

• CSA (Compressed Sparse Attention)
  • KV를 압축 + 슬라이딩 윈도우 기반 sparse attention → 지역 정보 보존
• HCA (Heavily Compressed Attention)
  • 극단적 KV 압축으로 초장문 레이어 유지
• 학습 안정화 기법
  • Anticipatory Routing: 라우터와 백본 업데이트 분리
  • SwiGLU Clamping: 활성값 상·하한 제한

🔹 결과

• GPT-5.2, Gemini 3.0-Pro 급 성능
• 오픈웨이트 기준 폐쇄형 프런티어에 가장 근접

🔹 의미

• “긴 컨텍스트 = 비용 폭탄”이라는 전제를 실제로 무너뜨린 첫 사례

 

2️⃣ Autogenesis

🔹 연구 배경

• 에이전트는 배포 후 환경 변화에 취약 → 지속적 수작업 패치 필요

🔹 핵심 아이디어

• 에이전트가 스스로 자신의 구조를 점검·개선
• 단, 안전성과 감사 가능성이 전제

🔹 방법

• 이중 계층
  • RSPL: 프롬프트·도구·메모리 접근 표준
  • SEPL: Generate → Reflect → Improve → Evaluate → Commit
• 모든 변경은:
  • 버전 관리
  • 롤백 가능
  • 검사 가능

🔹 결과

• 멀티에이전트 환경에서도 각 역할이 자신의 프롬프트·도구 래퍼를 자율 개선

🔹 의미

• “자기개선”을 추상 개념이 아닌 배포 가능한 프로토콜로 구현

 

3️⃣ Attention to Mamba (Apple)

🔹 연구 배경

• Mamba(SSM)는 빠르지만 Transformer 품질 재현이 어려움

🔹 핵심 아이디어

• Transformer 정보를 한 번에 Mamba로 옮기지 말고, 중간 단계를 둔다

🔹 방법

1. Softmax Attention → Linearized Attention
   • 학습 가능한 커널로 softmax 근사
2. Linear Attention → HedgeMamba
   • SSM과 수학적으로 연결된 구조 활용

🔹 결과

• 1B 모델에서 Transformer 품질 거의 유지
• 추론 비용은 선형 복잡도

🔹 의미

• 기존 Transformer 자산을 저비용 장문 모델로 재활용 가능

 

4️⃣ Skill-RAG

🔹 연구 배경

• RAG는 “항상 검색”한다는 구조적 비효율 존재

🔹 핵심 아이디어

• 실패가 예상될 때만 검색
• 실패 유형에 따라 검색 방식도 다르게

🔹 방법

• LLM 히든 스테이트에 probe 학습 → 실패 확률 예측
• 실패 유형별:
  • 사실 검색
  • 다중-hop
  • 시점 의존 검색 등

🔹 결과

• 정확도 상승 + 검색 호출 비용 감소

🔹 의미

• RAG의 핵심 설계 질문이 “무엇”에서 “언제·어떻게”로 이동

 

5️⃣ Self-Generated World Knowledge

🔹 연구 배경

• 외부 지식 의존은 비용·지연·확장성 문제

🔹 핵심 아이디어

• 생성된 지식이 실제로 성공률을 높였는지로 보상

🔹 방법

• SFT → Reinforcement Rejection Sampling
• 결과가 좋은 trajectory만 정책 업데이트

🔹 결과

• 14B 모델로 웹 내비게이션 성능 대폭 개선

🔹 의미

• “정답 라벨” 대신 환경 반응이 교사

 

6️⃣ Self‑Evolving Logic Synthesis (NVIDIA)

🔹 연구 배경

• EDA 툴은 수십 년간 전문가 수작업 최적화

🔹 핵심 아이디어

• LLM 에이전트가 실제 코드베이스를 진화

🔹 방법

• 역할 분리 에이전트:
  • 탐색
  • 합성
  • 검증
• ABC 코드 직접 수정 + 자동 벤치마크 평가

🔹 결과

• 기존 수동 튜닝 초과 성능

🔹 의미

• 프롬프트가 아닌 산업용 소프트웨어 자체의 자기개선

 

7️⃣ Stateless Decision Memory

🔹 연구 배경

• Stateful 에이전트는 대규모 병렬 시 메모리가 병목

🔹 핵심 아이디어

• 상태 대신 불변 결정 로그(Event Log)

🔹 방법

• 모든 결정·도구 호출·관찰을 append-only 로그로 저장
• 필요 시 재생(replay)

🔹 결과

• 감사·복원·멀티테넌시 지원

🔹 의미

• 에이전트 메모리를 분산시스템 관점으로 재정의

 

8️⃣ There Will Be a Scientific Theory of Deep Learning

🔹 핵심 주장

• 딥러닝은 이미 과학 이론 형성 단계

🔹 근거

• 학습 동역학
• 거시적 법칙
• 정량적·반증 가능한 예측

🔹 의미

• 해석(interpretability)과 경쟁이 아닌 보완적 이론 축

 

9️⃣ MASS‑RAG

🔹 연구 배경

• 의미는 맞지만 쓸모없는 문서가 RAG 실패 유발

🔹 핵심 아이디어

• 검색·평가·합성을 에이전트로 분업

🔹 결과

• 실제 기여 문서만 사용한 합성

🔹 의미

• 연구형·심층 분석 에이전트에 적합한 구조

 

🔟 Diversity Collapse in Multi‑Agent LLMs

🔹 연구 배경

• 멀티에이전트 = 다양성이라는 가정 검증

🔹 발견

• 시간 경과 시 출력 동질화
• 공통 컨텍스트·피드백이 원인

🔹 의미

• 브레인스토밍용 멀티에이전트는:
  • 초기 격리
  • 비동기 평가
  • 이질적 조건이 필수