AI paper review (10/19~10/25)
·
AI/Paper Review
Object-Oriented Harness 에이전트 하네스(Harness)는 프롬프트, 도구, 실행 흐름을 정의하는 실행 환경인데, 하나의 범용 하네스로 모든 작업을 처리하기 어렵다는 문제를 다룸.연구진은 객체지향 프로그래밍의 상속(Inheritance) 개념을 활용해 작업군별 특화 하네스를 자동 생성하는 OO-Harness를 제안.학습 과정에서 에이전트가 실행 기록을 분석해 새로운 하위 클래스 하네스를 만들고, 각 하네스는 필요한 기능만 오버라이드함.AutomationBench, Workspace-Bench 등에서 기존 하네스 대비 큰 성능 향상을 기록했으며, 단순히 추론 횟수를 늘리는 것보다 하네스 구조를 개선하는 것이 효과적임을 보여줌. Gemini Agents Beat MinecraftGoogle..
AI paper review (10/12~10/18)
·
AI/Paper Review
1. Quantum Circuit Discovery동기양자 알고리즘의 핵심 연산을 실제 reversible quantum circuit으로 변환하기 어려움특히 Toffoli gate 수와 필요한 qubit 수를 동시에 줄이는 효율적인 회로 설계가 주요 병목메소드LLM이 회로 설계 후보를 생성하고 독립 evaluator가 정확성 검증 및 비용 평가OpenEvolve 기반 evolutionary search 적용Claude Mythos 5를 활용해 회로 생성 프로그램의 구조와 코드를 반복적으로 수정correctness 검증을 통과한 회로에 한해 Toffoli count와 peak qubit count 평가기여8개 과제 중 7개에서 기존 최고 설계보다 적은 Toffoli gate 및 qubit 사용결합 비용 ..
AI paper review (10/5~10/11)
·
AI/Paper Review
핵심 트렌드 요약에이전트 성능 향상의 중심이 모델 파라미터 학습에서 하니스(Harness) 최적화로 이동장기 작업(Long-horizon tasks)을 위한 검증(Verification), 메모리(Memory), 멀티 에이전트 구조 연구가 급증RL(Post-training)이 항상 좋은 것은 아니며, 오히려 탐색 능력을 감소시키는 사례 발견엔터프라이즈 환경에서 문서 탐색을 위한 사전 구축된 지식 그래프/엔티티 맵이 중요해짐여러 연구가 "모델 + 시스템" 전체를 공동 진화(Co-evolution)시키는 방향을 제안1. Harness Learning (CMU)핵심 아이디어에이전트를 구성하는 핵심 요소를:모델(Model)하니스(Harness: 도구 사용, 정보 흐름, 호출 방식을 정의하는 코드) 로 분리모델 ..
AI paper review (9/21~9/27)
·
AI/Paper Review
Agent, Long-term Memory, Evaluation, Multi-Agent 관련 연구를 중심으로 정리1. HySparse2무엇인가?샤오미 MiMo 팀이 개발한 차세대 장문맥(Long Context) Transformer 아키텍처.핵심 아이디어KV Cache를 여러 레이어에서 공유Prefill 과정을 조기에 종료Sparse Attention 효율 개선결과100만 토큰 문맥에서기존 Hybrid SWA 대비 연산량 5배 감소KV Cache 사용량12.09GB → 2.69GB의미장기간 실행되는 Agent는 매 턴마다 긴 검색 결과나 실행 로그를 저장한다.HySparse2는Agent 운영 비용 절감Retrieval 정확도 향상을 동시에 달성.2. SIFT무엇인가?Agent가 자기 자신을 수정(Self..
AI paper review (9/14~9/20)
·
AI/Paper Review
Byte Model Scaling 바이트(Byte) 기반 언어 모델의 재평가Meta 연구진은 토크나이저 없이 원시 바이트를 직접 처리하는 모델이 충분한 연산량에서는 토큰 기반 모델을 능가할 수 있음을 보여줌.대규모 학습 시 데이터 효율성과 성능 모두에서 장점이 나타남. Agora Agora: Git 기반 다중 에이전트 협업NVIDIA는 여러 AI 에이전트가 연구 문제를 해결할 때 Git 저장소를 공유 기억장치로 사용하는 방식을 제안.중앙 관리자 없이도 13개의 에이전트가 수천 건의 기여를 통해 협업 가능함을 입증. Stellar Colosseum Stellar Colosseum: 복잡한 수학 증명용 다중 에이전트 시스템Google Research가 여러 에이전트를 활용해 장문의 수학 증명과 알고리즘..
AI paper review (9/7~9/13)
·
AI/Paper Review
장기 작업(Long-horizon) 에이전트의 구조화소형 모델 기반 코딩 에이전트의 RL 학습초장문 컨텍스트 처리 및 검색(Retrieval)AI 에이전트 조직(Multi-Agent)의 구조 최적화자기개선(Self-Improvement) 및 에이전트 거버넌스1. Procedural Graphs (Google) 장기 작업 에이전트가 "무엇을 해야 하는지" 절차적 지식을 명시적으로 저장하는 방법을 제안.핵심 아이디어기존 에이전트는 행동 순서를 암묵적으로 Transformer 내부에 저장작업이 길어질수록:목표를 잊음순서를 틀림실패한 행동을 반복이를 해결하기 위해 절차 그래프(Procedural Graph)를 구축기술적 특징기존 KG:Entity → Relation → EntityProcedural Graph:..
AI paper review (8/31~9/6)
·
AI/Paper Review
핵심 트렌드 요약장기 실행(Long-Horizon) 에이전트, 에이전트 메모리 관리, 지속적 학습, 장기 평가 벤치마크, 추론 비용 절감특히 "에이전트가 수일~수개월 동안 지속적으로 동작하는 방법"과 "긴 컨텍스트를 더 저렴하게 처리하는 방법"이 주요 연구 주제로 나타남.1. Declarative Attention문제긴 컨텍스트 모델은 토큰 하나를 생성할 때마다 전체 KV Cache를 다시 읽음.실제로는 극히 일부 정보만 참조하는데도 전체 문맥을 반복적으로 탐색해야 함.핵심 아이디어모델이 Chain-of-Thought 내부에서 직접:Global (전체 문맥 탐색)Focus (특정 영역 탐색)Local (최근 출력만 확인)모드를 선언하게 함.결과Gemma-4-31B: 디코딩 시 attention 토큰 52..
AI paper review (8/24~8/30)
·
AI/Paper Review
1. Judges as a Lifecycle (Netflix)핵심 아이디어LLM Judge를 한 번 검증한 후 배포하는 것이 아니라 지속적으로 관리해야 하는 시스템으로 접근해야 한다는 주장.주요 내용Judge 개발 과정을 4단계로 정의Birth: 평가 기준 및 인간 라벨 데이터 구축Training: Rubric 개선Deployment: 실제 서비스 적용Monitoring: Drift 감지 및 재튜닝 수행Reasoning-Aligned Rubric TuningJudge의 추론(reasoning)을 또 다른 meta-judge가 평가사람과 Judge 간 불일치 원인을 rubric 수준에서 수정Judge가 두 역할 수행품질 게이트(Quality Gate)생성 결과를 개선하는 피드백 제공자결과 및 의미수천만 사..
jaehee831
Neural Notes