1. Verification as a Scaling Axis 주제: 검증(Verification)을 새로운 AI 스케일링 축으로 활용Stanford, NVIDIA, UC Berkeley 연구진이 학습 없이 사용하는 새로운 Verifier를 제안기존처럼 "통과/실패" 판정을 내리지 않고, 모델의 로짓(logit) 값에서 연속적인 품질 점수를 직접 추출성능 향상 요소점수 세분화(score granularity)반복 평가(repeated evaluation)평가 기준 분해(criteria decomposition)다양한 에이전트 벤치마크에서 높은 성능 달성Terminal-Bench V2: 86.5%SWE-Bench Verified: 78.2%RoboRewardBench: 87.4%MedAgentBench: 7..

1. Red Queen Gödel Machine기존 자기개선(Self-Improving) 에이전트는 고정된 평가 함수(Evaluator) 를 사용하기 때문에 일정 수준에 도달하면 더 이상 발전하지 못하는 문제가 있음.연구진은 에이전트뿐 아니라 평가자 자체도 진화의 대상으로 포함시킴.각 에폭(epoch)마다 효용함수(utility function)를 변경할 수 있도록 설계하여 평가 기준이 계속 바뀌도록 함.에이전트가 평가 기준을 "공략"하면 평가자도 더 정교해지며, 양측이 함께 발전하는 Red Queen Race 구조를 형성함."AI와 인간 작업을 동일한 수준으로 엄격하게 평가하는 리뷰어" 같은 새로운 평가자를 자동 발견할 수 있음.자기개선을 단순 최적화가 아니라 공진화(Co-Evolution) 문제로 재..

1. Sakana Fugu (오케스트레이터 LLM) 고정된 파이프라인이 아니라, 질문에 따라 동적으로 agent 구성하는 orchestrator 모델 제안여러 LLM agent의 전문성을 결합하여 단일 모델을 능가하는 성능 달성 (SWE-Bench, GPQA 등)Fugu (속도/균형) vs Fugu-Ultra (최고 성능) 두 가지 버전 제공핵심 방법: fine-tuning + 진화 알고리즘 + RL 결합✅ 의미:“모델 하나 → agent 집단 orchestration” 패러다임 전환agentic scaffold 자체를 학습하는 방향으로 발전 2. Agent-Native Memory 기존 memory 시스템 평가 방식(F1 등)은 실제 성능을 제대로 반영하지 못함memory를 데이터 시스템으로 보고 4개..

1. SpatialClaw (NVIDIA)문제: VLM이 3D/4D 공간 추론에 약함 (텍스트로 바로 답하려고 해서 실패)핵심 아이디어:코드를 action interface로 사용 (Python 기반 agent reasoning)방법:SAM3, Depth-Anything 등 perception 도구를 Python 함수로 호출Jupyter kernel을 stateful하게 유지 (중간 결과 저장 및 재활용)결과:평균 정확도 59.9%, 기존 대비 +11.2%p 개선의미:training 없이도 spatial reasoning 가능VLM을 “코드 실행 기반 reasoning 시스템”으로 변환 2. Compositional Skill Routing (SkillWeaver)문제: 실제 작업은 여러 스킬 조합이 필..

1. MiniMax Sparse Attention (MSA)배경Agent / 코드 베이스 reasoning / multimodal / persistent memory에서 초장문 context(1M+) 필요 증가하지만 dense attention은 비용이 너무 큼핵심 아이디어block 단위 sparse attention + routing 구조로 필요한 KV만 선택방법2-branch 구조Index Branch: 전체 context에서 Top-k KV 블록 선택Main Branch: 선택된 블록에만 정확한 sparse attention 수행GPU 최적화:exp-free Top-kKV-outer sparse attention결과1M context에서:attention 연산 28.4배 감소prefill 14.2배..

1. Self-Revising Discovery Systems입력 구성evidence (데이터)artifacts (모델/가설)operations (변환 규칙)verifiers (검증 함수)핵심 구조모든 요소를 타입이 지정된 객체(type system)로 표현전체 과학 시스템을 category theory graph로 모델링실행 프로세스기존 표현 체계(regime)에서 탐색anomaly/불일치 감지새로운 표현 체계(regime') 제안기존 결과를 functorial mapping으로 변환 (이식)잔차(residual)를 계산 → 진짜 discovery 판단승인 조건description length 감소 시만 채택 (MDL 기준)핵심 메커니즘“search” + “representation revision”을..

SkillOpt LLM의 “스킬 문서(SKILL.md)” 자체를 학습 가능한 파라미터처럼 최적화하는 방법 제안검증 기반 수정(Validation gate)을 통해 문서 개선여러 벤치마크에서 기존 방법 및 인간 작성보다 성능 우수 Compiling Agentic Workflows into Weights 복잡한 에이전트 워크플로우를 모델 가중치로 압축(distillation)오케스트레이션 비용 제거 → 약 100배 비용 절감작은 모델로도 높은 성능 유지 AutoScientists 중앙 컨트롤러 없이 여러 AI 에이전트가 협업하는 분산형 연구 시스템가설 평가 후 계산 자원 투자 → 비효율 감소실제 생명과학 벤치마크에서 성능 향상 Language Models Need Sleep 긴 컨텍스트 문제 해결을 위해 “..

1. Code as Agent HarnessLLM 위에 얹는 “agent harness”를 독립적인 연구 대상으로 정립좋은 agent 시스템의 4가지 조건 제시:실행 가능 (executable)내부 상태 확인 가능 (inspectable)상태 유지 (stateful)거버넌스 가능 (governed)JSON 기반 orchestration보다→ 코드 기반 harness가 성능 우수의미:향후 agent 혁신의 중심은 모델 → 시스템(harness)으로 이동 2. OpenAI – Unit Distance Conjecture 해결AI가 80년 미해결 수학 문제를 자율적으로 해결핵심:brute-force가 아닌 고급 수론 이론 사용인간 연구자 없이 아이디어 생성수학자들이 이후 검증의미:AI가 탐색 보조 → 실제 연..