사고의 외양, 추론의 환상, 그리고 인지적 한계의 진단

📘 《The Illusion of Thinking》 큐레이션 에세이

Thank you for reading this post, don't forget to subscribe!

― 사고의 외양, 추론의 환상, 그리고 인지적 한계의 진단

LLM 은 “보기엔 생각하는 것 같다”

현대의 대형 언어모델(LLM)은 그저 문장을 생성하는 도구를 넘어서, 마치 인간처럼 사고하고 판단하는 듯한 인상을 주고 있다. 우리는 이제 모델에게 논리적 추론을 시키고, 스스로 근거를 설명하게 하며, 일련의 사고 흐름을 명시적으로 출력하도록 유도한다. 대표적인 방식이 바로 Chain-of-Thought(CoT) 추론이다. 이 방식은 추론 과정 자체를 언어적으로 드러내게 만들며, 그 구조를 분석하고 검토할 수 있게 한다는 점에서 ‘사고의 외양’을 가능하게 한다. 하지만 이 논문 《The Illusion of Thinking》은 바로 이 지점에서 매우 근본적인 질문을 던진다.

“그 외양은 진짜 사고일까, 혹은 사고처럼 보이게 만든 환상일 뿐일까?”

추론모델은 복잡성이 높아지면 추론을 포기한다(?)

이 논문은 CoT와 같은 추론 방식이 실제로 얼마나 사고적인지를 측정하기 위해, 매우 정교하게 설계된 실험 환경을 제안한다. 단순히 정답률을 측정하는 기존의 벤치마크 평가 방식을 넘어서, 이 논문은 문제의 ‘복잡성’을 통제 가능한 변수로 조작하며, 그에 따라 LLM이 생성하는 reasoning trace—즉 사고의 흐름이 어떻게 변화하는지를 분석한다. 실험 결과는 놀랍다. 복잡도가 일정 수준을 넘어서자, LLM은 충분한 토큰 예산에도 불구하고 오히려 reasoning trace를 줄이고, 경우에 따라서는 아예 추론을 포기한 것처럼 보이는 구조적 collapse를 보인다. 마치 사람이 “모르겠다”며 생각을 멈추는 듯한 상태로 진입하는 것이다.

전문가의 인지과정처럼 바라보자

이 지점에서 이 논문은 단순한 모델 성능 평가를 넘어서, 인지과학적 해석의 대상이 된다. 특히 Naturalistic Decision Making(NDM), Recognition-Primed Decision(RPD) 모델, 그리고 Cognitive Task Analysis(CTA)의 프레임을 적용해 이 논문의 인지적 구조를 읽어보면, LLM이 사고하는 듯한 외양을 유지하는 과정 자체가 하나의 ‘시뮬레이션된 판단 구조’라는 것을 알 수 있다.

RPD 모델에 따르면 전문가들은 상황을 빠르게 인식하고, 과거의 경험 패턴과 매칭시켜 즉시 판단을 내린다(RPD 1형). 그러나 새로운 복잡한 상황이 등장하면, 전문가들은 시뮬레이션을 통해 가능한 결과를 예측하고, 필요에 따라 기존의 판단 구조를 재구성하거나 전략을 전환한다(RPD 2형/3형). 이 논문에서 LLM은 명백히 RPD 1형에 가까운 구조로 작동하고 있다. 즉, 익숙한 문제 상황에서는 reasoning trace를 생성해내지만, 복잡도가 증가하면 더 이상 패턴 재현이 작동하지 않기 때문에 reasoning이 무너진다. 인간 전문가라면 이 지점에서 판단을 재구성하거나 문제를 다시 인식하려고 시도하겠지만, LLM은 그런 전략 전환 능력을 보이지 않는다. 이는 reasoning trace가 단지 사고의 징후처럼 보일 뿐, 실제 사고는 아니라는 것을 보여준다.

또한 CTA 관점에서 보면, reasoning trace는 일종의 인지 전략(output strategy)으로 볼 수 있다. 그러나 이 전략은 문제 복잡성이 증가함에 따라 전환(shift)되어야 한다. 즉, reasoning의 길이를 늘리는 것이 아니라, reasoning의 구조를 바꾸어야 하는 지점이 온다는 것이다. 그러나 LLM은 그 전환을 감지하거나 실행하지 못한다. reasoning trace는 계속해서 동일한 패턴을 반복하거나, 그 자체가 붕괴되면서 추론은 사실상 멈추게 된다. 이 현상은 사고의 환상—the illusion of thinking—을 그대로 드러낸다.

그럼에도 불구하고, 이 환상은 무용하지 않다. 오히려 이 논문이 시사하는 가장 역설적인 인사이트는 다음과 같다:

“사고의 환상은 우리가 LLM을 사고 파트너로 대하게 만드는 전제 조건이다.”

다시 말해, reasoning trace는 그 자체가 사고가 아닐지라도, 인간 사용자로 하여금 ‘이 모델이 사고 중이다’라는 인식을 만들어내는 장치로 작동한다. 이는 곧 시뮬레이션 기반 인지(simulation-based cognition)의 핵심과도 맞닿아 있다. 인간 뇌는 사실과 상상을 구분하지 못할 때가 많으며, 오히려 이 특성 덕분에 미래 상황을 시뮬레이션하거나, 경험하지 않은 문제를 판단할 수 있다. LLM이 보여주는 reasoning trace가 우리가 믿을 수 있는 ‘생각의 징후’로 기능할 수 있는 것은 바로 이 때문이며, 그 외양을 잃게 되면 우리는 LLM을 판단의 파트너로 신뢰하지 않게 된다.

결국 이 논문은 기술적 평가를 넘어서, 인지적 환상과 판단 구조의 경계를 진단하는 시도다. 이 진단은 LLM을 어떻게 설계하고, 어떻게 평가하며, 어떤 상황에 어떻게 활용해야 할지에 대한 새로운 인지적 지도를 제공한다. 우리는 이 논문을 단지 LLM의 한계를 밝힌 글로 읽는 것이 아니라, 인간–기계 협업이 사고와 환상의 경계에서 어떻게 작동하는지를 드러낸 ‘판단 구조의 해부학’으로 읽을 필요가 있다.

📌 마무리: LLM이 사고 하는 것처럼 보여주지만,  LLM 사고하지 않는다. 우리가 그걸 “사고 한다”고 착각하게 한다.

“LLM은 사고하지 않는다. 그러나 사고하는 것처럼 보일 수 있다. 이때 reasoning trace는 실제 사고가 아니라, 인간이 사고 중이라는 환상을 유지하게 만드는 인지적 외형이다. 이 환상이 무너질 때, 추론도 무너진다. 그러나 바로 이 환상 덕분에 우리는 추론을 LLM과 시작할 수 있다.”

(논문 링크)https://dub.sh/8uDj14P

이 글은 NDM EXPERTISE AGENTS와 해경(고경만)이 협력하여 작성하였습니다