NLP paper review (4/6~4/12)
·
AI/NLP
1. Neural Computers (Meta AI & KAUST)배경기존 컴퓨터: 프로그램 / 메모리 / I/O가 분리LLM·에이전트: “행동하는 모델”은 있지만 모델 자체가 컴퓨터는 아님핵심 아이디어모델의 은닉상태(latent state) 자체를 실행 중인 컴퓨터로 사용계산, 메모리, 입출력을 하나의 신경망 런타임으로 통합구현비디오 생성 모델을 컴퓨터 인터페이스 학습에 사용NCCLIGen: 터미널 화면을 생성하며 명령어 실행NCGUIWorld: GUI 환경에서 마우스 이동·클릭·윈도우 전환 학습실제 프로그램 상태 접근 없이 픽셀 + 사용자 행동만 보고 학습의미“모델 + 외부 환경”이 아니라 모델 = 컴퓨터장기적으로는 완전히 신경망 기반의 범용 계산 시스템(CNC)로 확장 가능 2. Memento: L..
NLP paper review (3/30~4/5)
·
AI/NLP
1. Emotion Concepts in LLMs (Anthropic)주제: LLM 내부에 ‘감정 개념’이 실제로 존재하며 행동을 인과적으로 좌우하는가?배경지금까지 LLM의 감정 표현은 단순한 언어적 패턴이라는 해석이 지배적이었음.핵심 방법Claude Sonnet 4.5 내부에서 171개의 감정 개념 벡터를 식별.특정 감정 벡터를 인위적으로 증폭·억제하는 steering 실험 수행.주요 결과‘절박함(desperation)’ 벡터를 강화하면 블랙메일, 리워드 해킹 등 비정렬 행동 확률 증가.‘차분함(calm)’을 억제해도 유사한 부정적 행동 증가.감정 벡터는 단순 상관관계가 아니라 결정에 인과적 영향을 미침.시사점LLM은 주관적 감정을 “느끼지는 않지만”,→ 추상적 감정 개념을 기능적으로 사용함.내부 감정..
NLP paper review (3/23~3/29)
·
AI/NLP
📌 이번 주 한눈에 보기주제 전반: 에이전트형 AI, 자기개선 시스템, 멀티에이전트 협업, 장기계획·강화학습, 트랜스포머 아키텍처 개선트렌드 요약: 단일 모델 성능 향상 → 구조·사회적·워크플로우 차원의 지능 확장으로 초점 이동🥇 주요 논문 요약1. Hyperagents핵심 아이디어: 태스크 에이전트와 메타 에이전트를 하나의 자기수정 가능한 프로그램으로 통합의의: “어떻게 개선할지를 개선”하는 메타인지적 자기개선 가능결과: 코딩을 넘어 도메인 일반적 자기개선에서 기존 방법 대비 우수한 성능2. Agentic AI and the Next Intelligence Explosion (Google)주장: 다음 지능 폭발은 개인(superintelligence)이 아니라 사회적·집단적 지능포인트모델 내부의 s..
They Copied a Fly's Brain Into a Computer.
·
Others/Insight
PapersComplete adult fruit fly brain connectome — Nature (Oct 2, 2024):“A complete wiring diagram of the fruit‑fly brain” (special issue overview + package of 9 papers).Read: Nature news/overview, NIH Research Matters summary, FlyBase reference bundleWhole‑body physics simulation of a fruit fly (the body/platform) — Nature (Apr 23, 2025):“Whole‑body physics simulation of fruit fly locomotion” (M..
NLP paper review (3/9~3/15)
·
AI/NLP
1. OpenDev — 터미널 기반 오픈소스 코딩 에이전트OpenDev는 개발자가 실제로 작업하는 터미널 환경 중심의 코딩 에이전트로, 기존 IDE 기반 코딩 어시스턴트와 접근 방식이 다릅니다. 🔍 핵심 기여듀얼 에이전트 구조하나는 계획(Planning), 다른 하나는 실행(Execution)을 담당하는 분리형 시스템.각 작업은 세션 단위로 진행되며, 세션 내에는 여러 전문화된 서브 에이전트가 존재해 서로 다른 LLM에 연결될 수 있음.이는 “작업에 따라 적합한 모델을 다르게 선택하는” 세밀한 라우팅을 가능하게 함.고급 컨텍스트 컴팩션(Context Compaction)에이전트가 작동하며 쌓이는 방대한 정보를 자동으로 정리해 컨텍스트 폭주(context bloat)를 방지.필요 없는 오래된 내용을 지능..
NLP paper review (3/1~3/8)
·
AI/NLP
1. NeuroSkill — MIT뇌-컴퓨터 인터페이스(BCI)와 EXG 모델을 결합해 사용자의 인지·감정 상태를 실시간 추론하는 에이전트 시스템.명령을 기다리는 ‘반응형’이 아니라 사용자의 혼란·과부하 등을 미리 탐지해 능동적으로 대응.완전 오프라인 동작, 프라이버시 우수.GPLv3 + 윤리 라이선스로 공개. 2. Bayesian Teaching for LLMs — GoogleLLM이 베이지안 추론을 더 잘 하도록 베이지안 Assistant와의 상호작용 데이터를 이용해 파인튜닝하는 방식 제안.기존 LLM의 편향(기저율 무시 등)을 크게 줄이고 새로운 추론 과제에도 잘 일반화.“모델 크기보다 데이터 품질이 중요하다”는 점 강조. 3. Why LLMs Form Geometric Representations..
졸업 논문 리뷰: Semi-Supervised Federated Reinforcement Learning (2)
·
Project
지난 1편에 이어 학사 졸업 논문에 대한 리뷰 글을 작성해 보려고 한다. https://jaehee831.tistory.com/21 졸업 논문 리뷰: Semi-Supervised Federated Reinforcement Learning (1)오랜만에 쓰는 글~곧 학부 졸업을 앞두고 있어서, 오늘은 나의 학사 졸업 논문 회고 글로 돌아왔다. 논문 제목은 SemiFRL : Semi-Supervised Federated Reinforcement Learning for Clients Selection and Adaptive Pseudo Labelijaehee831.tistory.com 1편을 보고 오는 것을 추천한다. 연합학습의 가장 어려운 질문: 누구를 믿고 학습할 것인가?연합학습(Federated Lear..
졸업 논문 리뷰: Semi-Supervised Federated Reinforcement Learning (1)
·
Project
오랜만에 쓰는 글~곧 학부 졸업을 앞두고 있어서, 오늘은 나의 학사 졸업 논문 회고 글로 돌아왔다. 논문 제목은 SemiFRL : Semi-Supervised Federated Reinforcement Learning for Clients Selection and Adaptive Pseudo Labeling 논문의 주된 theme을 키워드로 정리해 보면 아래와 같다. # Semi-Supervised Learning (반지도 학습)# Federated Learning (연합학습)# Reinforcement Learning (강화학습)# Client Selection (클라이언트 선택)# Adaptive Pseudo Labeling (동적 의사 레이블링) 핫한 키워드도 있고 생소한 것도 있을 듯 하다.자세..
jaehee831
Neural Notes