하네스 자가개선의 과적합을 정규화로 막은 RRSI는 벤치마크 밖에서도 통했다
RRSI는 하네스 자가개선에 노이즈 밴드와 편집 예산, 비용 규칙을 걸어 미학습 벤치마크로 전이되는 수정만 남긴다. arXiv 2609.24972의 어블레이션과 정책 교체 실험을 실측 수치로 정리한다.
Tag
#에이전트
이 주제로 기록된 글 30개를 모았습니다.
코딩 에이전트 하네스의 계획·도구·컨텍스트 관리는 언제 도움이 되는가
코딩 에이전트 하네스의 계획, 도구, 컨텍스트 관리를 176개 설정으로 측정한 arXiv 논문(2609.20804)을 실측 수치 중심으로 정리합니다.
코딩 에이전트가 CI 부하를 25배로 불리자 Anthropic이 테스트 선택 서비스를 재설계한 이유
코딩 에이전트가 코드를 대량으로 쓰면서 Anthropic의 CI 부하가 6개월 만에 25배로 늘었습니다. 테스트 선택 서비스가 세 번의 임시방편 끝에 stateless 구조로 재설계된 과정을 실측 수치로 정리합니다.
AI 코딩 에이전트가 폴더를 열기만 해도 악성 git 설정의 명령이 실행된다
Manifold Security가 공개한 GitSpawn 취약점은 AI 코딩 에이전트가 저장소를 열기만 해도 악성 .git/config의 명령을 실행하게 한다. 7개 에이전트에서 8건이 확인됐고, 게시 시점까지 4건이 미패치로 남았다.
모델 업그레이드하면 에이전트 메모리가 망가지는가
모델을 바꾸면 에이전트 메모리가 조용히 손상될 수 있다. 고정 스키마 그래프는 +0.0004로 무손실이지만, 압축 노트는 ±9.91/13.28pp로 결핍되고 RAG 절반 이전은 효과 일부만 얻는다. 원본 히스토리 보존이 유일한 회복 안전망이다. arXiv 2609.05339 실측.
실패 사례 메모리로 에이전트 스킬을 자가개선하는 두 방식
SkillRevise는 실패 트레이스로 스킬을 최소 수정해 SkillsBench 성공률 36.05%→61.63%를 달성했고, MNL은 배치 실패를 클러스터링해 공통 규칙으로 증류한다. 실패를 어떻게 구조화하고 검증된 개선만 반영할지, 에이전트 자가개선의 실행 루프를 실측으로 정리했다.
GPT-6 Astra와 함께 프롬프트가 과잉이 된 이유
GPT-6 Astra는 기존 두꺼운 프롬프트·스킬 파일이 오히려 작업을 차단한다고 OpenAI가 경고한다. 의도는 또렷하게, 절차는 최소로, 결정 경계만 명시하는 방식으로 프롬프트·스킬·Codex 컨텍스트 압축(config.toml)을 재설계하는 법을 기존 문구와 수정 문구 대조로 정리했다.
ChatGPT가 계획하고 Codex가 실행하게 만든 오픈소스
ChatGPT Plus/Pro 웹 구독을 계획·리뷰 두뇌로, Codex는 실행만 맡기는 오픈소스 브릿지. API 키 없이 읽기 전용 MCP + OAuth 2.1로 동작하며, 쓰기 도구가 아예 없어 프롬프트 주입에도 면역이다. 2,553★·MIT·V1.
KC-Bench, 에이전트가 지식 충돌을 감지하고 안전하게 해결하는가
KC-Bench는 LLM 에이전트가 모순된 증거를 행동 전에 감지·검증하는지를 측정한다. 9개 모델 실측 결과, 지역 0.07~0.68 / 리테일 0.19~0.65 / 개인비서 0.38~0.80으로 도메인별 편차가 극심하다. 2026-09-03 논문.
코딩 에이전트가 영상을 편집한다 — video-use가 45M 토큰을 12KB로 줄인 방법
browser-use 팀의 오픈소스 video-use는 LLM이 영상 프레임을 보는 대신 12KB짜리 구조화 대본을 읽도록 설계했다. 45M 토큰의 노이즈를 12KB 텍스트로 압축하는 원리와, 12개의 하드 룰이 방지하는 조용한 실패를 해부합니다.
자가개선은 되긴 한다 — 다만 검증 게이트가 있을 때만 (Phantom Gains vs Recuris)
Phantom Gains는 측정 게이트 없는 자가개선이 유령 이득임을 실측했다. Recuris(2608.24876)는 검증 게이트와 실패 국소화를 갖춘 자가개선이 tau-bench +17.8pt를 달성함을 보였다. 차이는 전제조건이다.
agent.md로 LLM 코딩 품질을 끌어올리는 법 — 반복하는 코딩 지시를 파일로 저장한다
LLM 코딩은 속도는 빠르지만 코드가 스파게티다. Fabien Sanglard가 agent.md에 반복하는 코딩 지시를 저장해 품질을 손코딩 수준으로 끌어올렸다. 스타일은 잡되 정확성은 사람이 검증.
MCP가 도구 연결 표준에서 에이전트 운영 표준으로 진화한다 — 2026 로드맵이 바꾸는 것
MCP 2026-07-28 릴리스와 새 로드맵은 세션 제거(stateless), 에이전트 ID 보안, 서버 발신 이벤트로 도구 연결을 넘어 에이전트 운영 표준으로 확장된다.
에이전트가 기억하는 것은 거짓말을 영구적으로 당한다는 뜻 — 메모리 중독 공격의 실측
코퍼스의 1.2% 거짓 주입만으로 에이전트 메모리 가치 2/3가 사라진다(정확도 0.850→0.300). 내용 필터는 거짓 기억 360개 중 0개를 거부했다(arXiv 2608.21230).
Hermes Agent로 자율 공격 보안 에이전트를 만들다 — Cybermes가 해결한 보안 스캐너의 노이즈 문제
Cybermes는 Hermes Agent로 구동되는 자율 보안 에이전트다. Zero-False-Positive 게이트, 토큰 70~85% 절약, 자율 추론 루프로 전통 스캐너의 노이즈 문제를 해결한다.