오늘 X를 하루종일 휩쓴 J-Space Cognition Suite. "가중치 안 바꾸고 DeepSeek V4-Pro가 Fable 5를 이긴다"는 주장의 실체를 파헤친다. 자체 보고 수치, paper-to-follow, Bilibili 인플루언서 저자, Anthropic J-space 이름 차용 — 미검증 바이럴의 해부.
핵심 요약
- J-Space Cognition Suite는 DeepSeek V4-Pro용 추론 시점 하네스로 X에서 오늘 하루종일 바이럴됐습니다. "가중치 안 바꾸고 벤치마크가 크게 올랐다", "DeepSeek V4-Pro가 Fable 5를 이긴다"는 주장이 퍼지고 있습니다 (GitHub).
- 하지만 이 모든 수치는 자체 보고(self-reported)입니다. 벤치마크를 실행한 사람은 만든 사람 자신이고, 어떤 제3자도 독립적으로 재현하지 못했습니다 (explainx.ai).
- 커밋 메시지에 'paper-to-follow'가 있습니다. 아직 논문도 없는 상태에서 벤치마크 우월성 주장이 먼저 나돈 것입니다.
- 프로젝트 저자는 중국 Bilibili 인플루언서(Tiger380) 입니다. 기술 결과가 아니라 홍보·바이럴이 목적인 가능성을 배제할 수 없습니다 (GitHub).
- 이름은 Anthropic의 'J-space' 연구에서 차용했습니다. Anthropic의 J-space는 Claude 내부 신경 워크스페이스에 대한 해석가능성 연구이고, 이 프로젝트는 DeepSeek용 하네스로 완전히 다른 것입니다.
- "하네스가 성능을 좌우한다"는 논제 자체는 흥미롭습니다. 하지만 검증되지 않은 수치를 사실인 양 퍼뜨리는 것은 위험합니다.
오늘 하루종일 퍼진 것, 하지만 검증은 없다
X에서 오늘 하루종일 한 주장이 돌았습니다. "누군가 DeepSeek V4-Pro-0813의 진짜 힘을 깨우는 법을 찾았다", "간단한 하네스로 사고 과정 오류를 고쳤더니 전 작업에서 Fable을 완전히 이긴다", "가중치 변경 없이 사고만 고쳤다" 같은 문구들입니다. J-Space Cognition Suite라는 프로젝트가 이 주장의 중심에 있었습니다.
그런데 이 주장이 가진 결정적 한계는 간단합니다. 벤치마크 수치를 실행한 사람이 프로젝트를 만든 사람 자신이라는 것입니다. Terminal-Bench 87.9 → 90.1, NL2Repo 61.5 → 73.4, Toolathlon-Verified 74.1 → 79.5. 이 숫자들 뒤에는 '독립적 재현'이라는 단어가 하나도 없습니다 (explainx.ai).
이건 AI 벤치마크의 오래된 함정입니다. 벤치마크 표는 누가, 어떤 하드웨어에서, 어떤 하네스로, 어떤 데이터로 실행했는지에 따라 신뢰도가 갈립니다. 특히 이름 없는 GitHub 프로젝트의 자체 보고 수치는, 공개 기업의 자체 보고보다도 신뢰도가 낮습니다. 공개 기업은 명성·규제의 부담이 있지만, 익명 커뮤니티 프로젝트에는 그런 부담이 없기 때문입니다.
'paper-to-follow' — 논문도 없이 벤치마크 주장만
이 프로젝트의 커밋 기록에서 가장 결정적인 단서를 찾았습니다. 커밋 메시지에 "Update citation message: paper-to-follow" 가 있습니다 (GitHub). '논문은 추후 제공'이라는 뜻입니다.
이 순서가 뒤집혀 있다는 것을 지적하고 싶습니다. 정상적인 과학적 흐름은 방법을 설명하고, 재현 가능한 실험을 공개하고, 그다음에 결과를 주장하는 것입니다. 그런데 여기서는 결과 주장이 먼저 바이럴됐고, 검증 가능한 방법(논문)은 아직 없습니다. 검증의 순서가 뒤집혔다는 것은 그 자체로 위험 신호입니다.
인플루언서 홍보와 이름 차용
두 가지 더 검토할 부분이 있습니다.
첫째, 저자의 정체입니다. 프로젝트 설명에는 "哔哩哔哩(Tiger380)" — 중국 Bilibili 크리에이터라는 정보가 있습니다. Bilibili는 기술 콘텐츠·창작자가 많은 플랫폼이고, 별 1,863개가 모인 건 화제성을 반영합니다. 하지만 화제성과 검증된 성능은 다른 것입니다. 바이럴이 목적인 크리에이터가 벤치마크 수치를 주장하는 것은, 그 수치의 신뢰도를 높이는 게 아니라 오히려 낮춥니다.
둘째, 이름 차용입니다. 'J-Space'라는 이름은 Anthropic이 2026년 7월 발표한 연구에서 왔습니다. Anthropic의 J-space는 Claude 내부의 신경 워크스페이스 — 출력에 나타나기 전에 모델이 무엇을 생각하는지 드러내는 해석가능성 구조입니다 (Mitiga). 이 프로젝트는 그와 완전히 다른 것 — DeepSeek용 하네스입니다. 유명한 이름을 빌려와 같은 '전역 워크스페이스' 언어를 쓰는 것은, 의도든 우연이든 신뢰를 얻기 위한 장치로 보일 수 있습니다.
하네스가 성능을 좌우한다는 논제 자체는?
비판만 하면 균형을 잃습니다. "하네스가 성능을 좌우한다"는 논제 자체는 흥미롭고, 사실일 가능성도 있습니다. 표현 드리프트(representation drift)와 조기 완료(premature stopping)가 장기 태스크에서 모델 성능을 깎는다는 것은 그럴듯한 관찰입니다. 가중치를 안 바꾸고 하네스로 고친다는 컨셉도 우리가 최근 반복해서 다룬 '하네스 엔지니어링' 흐름과 일치합니다.
핵심은 이 특정 프로젝트의 수치가 신뢰할 수 있는가입니다. 논제가 맞다고 해서, 이 프로젝트의 벤치마크가 맞다는 뜻은 아닙니다. 그리고 미검증 수치를 사실인 양 퍼뜨리는 것은, 설사 나중에 부분적으로 맞다 해도, 그 과정에서 생긴 신뢰 손상은 돌이킬 수 없습니다.
판단과 체크리스트
이 프로젝트에 대해 내릴 수 있는 공정한 판단은 하나입니다. "흥미로운 주장이지만, 현재로서는 검증되지 않은 커뮤니티 바이럴이다." "DeepSeek V4-Pro가 Fable 5를 이긴다"는 확인된 사실이 아니라, 한 커뮤니티 프로젝트가 자기 테스트에서 주장한 결과입니다.
이런 바이럴을 마주했을 때 적용할 체크리스트입니다.
- 1단계 — 수치를 실행한 사람이 누구인지 확인합니다. 프로젝트 자신이 실행했다면 '자체 보고'로 분류합니다.
- 2단계 — 제3자 재현이 있는지 확인합니다. 익명 프로젝트 + 자체 수치 + 무재현 조합은 신뢰도 최하위입니다.
- 3단계 — 검증 순서를 확인합니다. 논문·재현 가능한 실험이 결과보다 앞서는지, 아니면 결과가 먼저 퍼졌는지 봅니다.
- 4단계 — 저자의 정체를 확인합니다. 크리에이터·인플루언서가 홍보 목적으로 벤치마크를 주장하는지 의심합니다.
- 5단계 — 이름 차용을 경계합니다. 유명 연구·제품 이름을 빌려온 프로젝트는 그 이름으로 신뢰를 얻으려는 의도를 의심합니다.
결론은 이렇습니다. J-Space 하네스는 오늘 하루종일 바이럴됐지만, 검증된 성능이 아니라 자체 보고된 주장입니다. 하네스가 성능을 좌우한다는 논제는 흥미롭지만, 이 프로젝트의 수치가 사실이라는 근거는 아직 없습니다. 바이럴에 휩쓸리기 전에, 수치가 누구의 손에서 나왔는지부터 확인하는 것이 가장 현명한 태도입니다.