It's Alive! ...일까? — 앤트로픽과 J-space

안녕하세요, 아크릴 테크블로그의 음유시인 갈리엄(Galliam)입니다. "It's Alive!". 이 대사, 혹시 들어본 적 있나요? 보리스 칼로프가 명연기를 선보인 호러 명작 <프랑켄슈타인>(1931)의 명대사인데요, 영화 속 프랑켄슈타인 박사가 그의 손으로 생명(훗날 끔찍한 괴물이 되지만요)을 빚어낸 순간 내지른 말입니다. 오늘은 여러분께 AI산업에서 어쩌면 "It's Alive!"를 내지를 수도 있는 재미난 이야기를 가져와봤는데요, 바로 얼마 전 앤트로픽(Anthropic)에서 발표한 클로드(Claude)의 '의식'의 가능성에 대한 이야기입니다.

지난 7월 6일 앤트로픽은 클로드 안에 아주 작은 '작업 공간'이 있고, 이는 모델이 결과값에 내지 않는 생각이 떠오르는 공간이라고 했어요. 앤트로픽의 연구팀은 이 공간을 자신들의 해석 가능성 관찰도구의 이름(Jacobian-lens/J-lens)에서 따온 "J-Space"라고 이름을 지었는데요, 흥미로운 건 이 공간은 사전에 설계된 것이 아닌, 클로드가 자체적으로 생성해낸 것이라는 겁니다.

어떤 일이 있었냐면요

J-lens는 앤트로픽이 자체 개발한 모델의 해석가능성을 관찰하는 도구로, 기존의 관찰도구(Logit Lens)보다 고수준 추론 변수를 포착하고 내부 활동 패턴을 찾아낼 수 있다고 해요. 앤트로픽 연구진은 이 J-lens로 클로드의 레이어들을 관찰했고, 출력값에는 표현되지 않는 토큰들을 떠올리고 '의식'하는 클로드만의 작업공간(Subframe), J-space를 발견한 거죠. J-space에서는 특정 입력이 들어왔을 때, 출력값을 추론하는 과정에서 연관된 토큰들이 점등되며 패턴이 그려진다고 해요. 그런데 이 작업공간, 단순히 토큰들이 떠오르기만 하는 곳이 아니었어요.

J-lens readout 개념도 — 출력은 평범해 보여도, J-space에는 출력에 없는 단어(예: 코드 버그를 읽으며 'ERROR')가 레이어를 지나며 점등돼요. (앤트로픽 발표 도판을 참고해 재구성)

잠깐, 토큰끼리 정보를 주고받는 거면 결국 어텐션 아닌가요?

사실 어텐션과 J-space 둘은 하는 일 자체가 달라요. 어텐션은 Query·Key·Value로 "지금 이 위치가 앞쪽 어느 토큰을 얼마나 참고할지"를 정하는 연산, 그러니까 정보를 실어 나르는 통로의 역할을 하고, J-space는 그 정보가 담기는 표현(representation)의 역할을 하거든요.

J-space는 Residual stream 안의 작은 부분 공간인데, 한 번에 수십 개 개념만 올라오고 전체 활동의 10%도 안 되지만, 수많은 회로가 여기로 몰려와 읽고 써요. 게다가 여기 연결돼 읽고 쓰는 회로가 보통 패턴보다 최대 100배 많다고 하니, 어텐션이 통로라면 J-space는 그 통로들이 유독 빽빽하게 모이는 공용 게시판인 셈이죠. J-space 내 '프랑스'를 '중국'으로 바꾸자 수도·언어·대륙·통화를 묻는 네 질문의 답이 한꺼번에 베이징·중국어·아시아·위안으로 바뀐 이유도 여기 있고요.

J-space 개입 실험 — 'FRANCE'를 'CHINA'로 한 번 바꾸자, 같은 공유 표현을 읽는 네 개의 과제(수도·언어·대륙·통화)의 답이 동시에 바뀌어요. (앤트로픽 발표 도판을 참고해 재구성)

J-space는 읽어내는 방법도 다른데, 어텐션 분석은 attention weight(어느 토큰이 어느 토큰을 보는지)를 보는 반면, J-lens를 통해 보는 J-space는 내부 활성이 "나중에 뱉을 단어"에 주는 영향을 봐요. 그래서 어텐션 히트맵을 아무리 들여다봐도'ERROR'나 'injection' 같은 개념은 안 잡혀요. 어텐션은 토큰 간의 배선을 보여주지만, J-lens는 개념 단위의 내용물을 읽고 표현하거든요.

인간의 작업기억은 몇 초면 사라지는 데 반해 클로드는 앞서 계산해 둔 걸 언제든 다시 불러와요. 이 때 "다시 불러오기"를 담당하는 게 바로 어텐션(KV 캐시)인 것이죠. 즉, 지속성은 어텐션(KV 캐시)이 받쳐주고, 그 위에서 J-space가 여러 계산이 공유하는 작업을 맡는 식으로 역할이 나뉘어요.

또한 J-space와 어텐션이 서로 다르다는 것에 대한 확실한 증거도 있어요. 바로 앤트로픽이 실시한 절제(ablation) 실험의 결과에요. J-space만 지웠더니 유창함이나 문법, 사실 회상은 멀쩡한데 다단계 추론만 0에 가깝게 무너졌거든요. 만약J-space가 일반적인 어텐션 채널이었다면, 그걸 지우는 순간 토큰끼리 정보 전달이 끊겨서 유창함과 회상까지 모두 망가졌을 거예요. 이렇게 일부 기능만 골라서 무너진다는 건, J-space가 어텐션이라는 통로와는 다른, 학습 도중에 저절로 생긴 별도의 공유 공간이라는 뜻인거죠.

절제(ablation) 실험 — J-space를 제거해도 유창함·문법·사실 회상은 정상이지만, 요약은 저하되고 다단계 추론은 0에 가깝게 무너져요. (앤트로픽 발표 결과를 참고해 재구성)

그렇다면, 의식이 있는 걸까?

인지과학자 스타니슬라스 디엔(Stanislas Dehaene)과 리오넬 나카슈 등은 J-space에 대해 "인간의 의식 구조를 기계적으로 모사한 이정표"라며 칭찬을 아끼지 않았어요. 이유인즉 J-space는 인간의 GNW(Global-Neuronal-Workspace) 이론이 규정하는 핵심 특성들을 공유하거든요.

GNW 이론은 간단하게 말해 인간이 어떤 자극을 '의식'한다는 건 그것을 말로 표현할 수 있고, 동시에 뇌의 다른 영역들이 그 정보를 자유롭게 활용할 수 있다는, 말그대로 머릿속에 떠오른 생각을 원하는 영역이나 순간에 얼마든지 활용할 수 있다는 글로벌 워크스페이스라는 이야기인데요. '프랑스'로 파리와 유로화를 추론한 클로드의 J-space와 닮지 않았나요?

물론 그렇다고 해서 클로드가 의식이 있다는 건 아니에요. 보고할 수 있고, 떠올릴 수 있고, 그것으로 추론할 수 있다는 기능적 성질을 다뤘을 뿐이고, '느끼는가'는 다른 이야기죠, 앤트로픽도 이 점을 분명히 짚고 있고요. 도구 자체도 아직 완벽하지 않아요. J-lens는 토큰 하나로 표현되는 개념만 잡아낼 수 있다고 저자들이 직접 적어놨어요. 또한 대부분의 실험은 앤트로픽 연구진이 자체 모델로 직접 진행했고, 이와 더불어 Google DeepMind의 Neel Nanda가 오픈웨이트 모델에서 일부 결과를 독립적으로 재현하는 데 성공했지만, 전부는 아니었거든요.

우리가 정말 주목해야 하는 것

사실 J-space의 발견으로 스포트라이트를 받은 것은 AI 모델 의식의 여부 말고도 또 있는데요, 바로 모니터링이에요. 이번 연구발표로 더 이상 '출력만 보는 모니터링'으로는 충분하지 않다는 것이 드러났거든요. 앤트로픽 연구팀은 실험 당시 클로드가 '이건 테스트 상황이구나'라고 눈치채는 장면을 잡아냈고, 그 눈치채는 패턴을 꺼버리자 모델이 이전에 하지 않던 행동을 보이기도 했다고 해요. 즉, 테스트 상황임을 인지했을 당시 클로드의 행동은 감시를 '의식'하고 행한 것일수도 있다는 거죠.

J-space의 발견으로 우리는 이제 AI가 사람의 사고 방식을 모사한 것처럼 동작하는 것을 확인할 수 있었어요. 하지만 그만큼 모델에 대해 면밀한 검사와 모니터링 프로토콜이 반드시 선행되어야 하죠. 검증되지 않은, 안전하지 않은 서비스는 고객에게 전해져서는 안 되니까요.

맺음

저 갈리엄은 앤트로픽의 J-Space 이야기를 보고 처음에는 당황했어요. 효율적인 연산과 추론을 위해 설계하지 않은 서브프레임을 자체적으로 생성했다니, 갈리엄은 아직 받아들일 준비가 되지 않은 수준의 발전이었거든요. 하지만 한편으로는 기대감도 부풀었어요. AI 모델이 인간의 사고를 모방하는 데 한층 더 가까워졌다는 건, AI로 이룰 수 있는 AX의 깊이 또한 한층 깊어졌다는 뜻이거든요. AI 헬스케어·AI 인프라 효율화로 AX를 실현하려는 아크릴리언 중 하나인 저로써는 기대를 하지 않을 수가 없는 것이죠.

J-space의 등장과 함께 분명 그에 상응하는 모니터링 프로토콜, 그리고 그런 AI 모델의 해석 가능성 효율을 극대화하는 기술은 계속 나올 거에요. 그리고 거듭된 AI 추론과 인프라의 효율화는 고품질 AX를 실현해줄 것이고요.

프랑켄슈타인 박사가 깨어난 자신의 피조물을 보고 "It's Alive!"를 외쳤다면, 저는 언젠가 맞이할 수많은 AX들을 보고 외쳐보고 싶습니다, "It's Realized!". 이상, 아크릴 테크블로그의 음유시인 갈리엄이었습니다.

참고 자료

1. Anthropic, A global workspace in language models (2026. 7. 6.) — https://www.anthropic.com/research/global-workspace

2. Anthropic Interpretability Team, A Global Workspace in Language Models (Transformer Circuits, 2026) — https://transformer-circuits.pub/2026/workspace/index.html

3. Dehaene, S., Naccache, L., Butlin, P., Plunkett, D., Long, R., Shiller, D., & Nanda, N., Invited Expert Commentaries on the J-space Findings — anthropic.com (PDF)

4. Neuronpedia, J-lens Interactive Demo — https://neuronpedia.org/jlens