체화된 인지와 확장된 마음

사람들은 화면 위에서 마우스 커서를 잃어버리면 눈동자 대신 마우스를 흔든다. 주변시는 해상도는 낮지만 움직임 포착에 탁월하기 때문에, 눈을 움직이는 대신 손을 움직여 같은 목적을 더 쉽게 달성하는 것이다. 철학자 앤디 클락(Andy Clark)은 저서 『Supersizing the Mind』(2010)에서 이런 행위를 생태적 조합(ecological assembly)이라 부른다. 영리한 인지 주체는 최소한의 노력으로 충분한 결과를 낼 수 있다면 눈앞의 어떤 자원 조합이든 즉석에서 끌어 쓴다는 것이다. 이때 손의 움직임은 전통적 의미의 '행동'이 아니라 지각을 돕기 위한 인식적 행동(epistemic action)이며, 목표 달성을 위해 세상에 직접 개입하는 통상적 행동은 이와 구분해 실용적 행동(pragmatic action)이라 부른다. 1980년대 사용자 중심 디자인이 "사용자에게 복잡한 행동을 강요해서는 안 된다"는 원칙을 남겼지만, 이 원칙이 종종 "사용자는 복잡한 행동을 하지 못한다"는 식으로 왜곡되곤 한다. 좋은 디자인은 복잡한 행동을 강제하지 않으면서도, 필요할 때 사용자가 다양한 생태적 조합을 활용할 수 있도록 열어두는 디자인이다.

인간은 인식적 행동으로 물리적·사회적 환경을 변형해 인지 효율을 높인다. 포커에서 손패를 재배치하거나, 퍼즐 조각을 색상별로 분류해두거나, 포스트잇을 어피니티 다이어그램으로 가까이 배치하는 행동이 모두 이에 해당한다. 이렇게 눈앞 정보의 형태를 인식하기 쉽게 바꾸는 행위를 정보 자가 구축(information self-structuring)이라 하고, 이를 통해 인간이 스스로의 인지 환경을 개선해가는 과정을 인지 적소 구축(cognitive niche construction)이라 부른다(생태학의 '적소 구축niche construction' 개념 응용). 이 관점에서는 인지 과정을 뇌에만 있는 것으로 보지 않고, 몸에 담긴 뇌(embodied), 환경에 담긴 몸(embedded, situated), 그리고 환경이 인지 과정에 능동적으로 관여한다는 능동적 외재주의(active externalism)로 확장해 이해한다. 사용자를 관찰실로 데려와 진행하는 실험실 조사는 거미줄을 걷어내고 거미를 관찰하는 것과 마찬가지로 제한적이며, 이것이 컨텍스추얼 인쿼리가 중요한 이유이기도 하다.

몸과 환경의 능동적 역할을 보여주는 대표 사례가 로봇공학에 있다. 혼다의 인간형 로봇 아시모(Asimo)는 정교한 제어 프로그램으로 보행의 매 순간을 통제하지만 에너지 효율이 인간의 16분의 1 수준에 그친다. 반면 동력 없이 골격 구조와 중력만으로 걷는 수동적 보행자(passive walker)는 인간에 육박하는 효율을 낸다. 여기에 최소한의 동력만 더하면 매우 효율적인 보행 로봇이 만들어진다. 이처럼 신체 구조·재질·중력 같은 환경 자체가 정교한 제어 프로그램의 역할을 대신하는 현상을 형태적 계산(morphological computation)이라 부른다. 손의 움직임이 시지각을 보조하듯, 로봇에서는 골격과 환경이 뇌의 계산을 대신하는 셈이다. 이런 뇌-몸-환경 시스템을 분석·설계할 때는 각 요소가 '어떻게 구현되었는가'보다 '어떤 기능적 역할을 수행하는가'에 주목하는 것이 유익한데, 이를 분산된 기능적 분해(distributed functional decomposition)라 한다.

이 관점은 디자인론과도 곧바로 연결된다. 래리 테슬러(Larry Tesler)는 1984년 모든 시스템에는 더 이상 제거할 수 없는 최소한의 복잡성이 존재한다는 복잡성 보존의 법칙(the law of conservation of complexity)을 제안했다. 남은 질문은 "누가 이 복잡성을 다루게 할 것인가—사용자, 애플리케이션 개발자, 플랫폼 개발자 중 누구인가"이며, 이는 pxd 이재용이 말한 "UI의 모든 문제는 제한된 자원(스크린, 사용자의 주의력과 시간)을 누구에게 어떻게 배분할 것인가의 문제"(UI 근본 문제와 UX 핵심 4단계 참고)라는 진단과 맞닿아 있다. 애자일 방법론의 창시자 중 한 명인 켄트 벡(Kent Beck)은 퍼머컬처(permaculture)에서 영감을 얻어 "Design is beneficially relating elements(디자인은 요소들을 서로 이롭게 연결하는 일이다)"라고 정의했는데, 이는 시스템에 내재된 복잡성을 각 요소(메모리, 인지, 어텐션, 몸, 환경, 정보 전달 채널 등)에 가장 효율적으로 분배하고 요소 간 관계를 이롭게 만드는 작업으로 디자인을 재정의하게 한다. AI가 서비스에 결합되는 시대에도 디자이너의 역할은 결국 새로운 AI 기술이 기존에 무엇을 대체·보강·변경하는지, 인간이 더 잘하는 일과 인간이 해야만 '이로운' 일이 무엇인지를 판단해, 시스템 전체의 복잡성과 기능적 역할을 재분배하는 데 있다.

핵심 내용

  • 생태적 조합(ecological assembly): 최소 노력으로 충분한 결과를 낼 수 있다면 눈앞의 어떤 자원이든 즉석에서 끌어 쓰는 경향(앤디 클락)
  • 인식적 행동(epistemic action) vs 실용적 행동(pragmatic action): 지각을 돕는 행동과 목표 달성을 위한 통상적 행동의 구분
  • 정보 자가 구축: 눈앞 정보의 배치를 바꿔 인지 효율을 높이는 행위 (포스트잇 어피니티 다이어그램 등)
  • 인지 적소 구축(cognitive niche construction): 정보 자가 구축을 통해 스스로의 인지 환경을 개선하는 과정
  • 인지 과정은 embodied·embedded/situated·능동적 외재주의로 뇌를 넘어 몸과 환경까지 확장된다
  • 형태적 계산(morphological computation): 신체 구조와 환경이 제어 프로그램의 역할을 대신하는 현상(수동적 보행자 사례)
  • 분산된 기능적 분해: 시스템을 구현이 아닌 기능적 역할 중심으로 이해하는 접근
  • 복잡성 보존의 법칙(래리 테슬러, 1984): 시스템의 복잡성은 제거되지 않고 누군가에게 배분될 뿐
  • 켄트 벡: "Design is beneficially relating elements" — 요소들을 서로 이롭게 연결하는 것이 디자인

인지과학과 다중감각 UX: pxd talks 조광수 교수 강연

pxd talks 세 번째 강연에서 성균관대 인터랙션 사이언스 연구소 조광수 교수는 "UX가 왜 중요해졌는가"라는 질문을 인지과학의 틀로 풀어냈다. 인스타그램 케빈 시스트롬의 성공이나 흔히 TGIF(트위터·구글·아이폰·페이스북)로 묶이는 기업들의 공통점은 원천 기술보다 UX/UI에 가치를 두고 승부했다는 데 있으며, 이는 연구개발 비용 대비 만족도를 높여 소비자의 지불 의사와 비즈니스 이윤을 함께 끌어올리는 전략으로 설명된다.

강연 후반부는 인지과학을 "사람이 세상을 경험하는 방식을 연구해 인간과 같은 지능 시스템을 설계하는 학문"으로 정의하며, 인간이 세상을 이해하는 핵심 기제로 개념과 범주화(Categorization)를 짚었다. 지식을 구조 형태로 저장하는 이 범주화 과정은 정보 구조의 레이블링과 직결되는데, 제작자와 사용자 사이의 심상(mental model) 차이가 레이블링이 실패하는 근본 원인으로 지목됐다. 인터랙션이라는 용어도 다시 정의된다 — 흔히 '조작'으로 좁게 이해되지만, 실제 신체를 통한 인터페이스는 매번 정확히 같은 동작을 되풀이할 수 없으므로, 정밀한 제어가 아니라 신체 감각·인지·행동·환경이 통일된 유사 범위 내 조작으로 인식되는 내러티브 구조로 이해해야 한다.

인간이 다중 감각체(Multi Modal)라는 점도 강조됐다. 같은 시각 정보라도 함께 지각되는 청각 요소에 따라 다르게 해석되는데, 이를 극적으로 보여주는 사례가 맥거크 효과(McGurk Effect)다 — 입모양은 '가'인데 소리는 '바'로 들려주면, 청자는 실제로 존재하지 않는 '다'로 지각한다. 소리를 귀만이 아니라 눈으로도 함께 '듣는다'는 것을 보여주는 대표적인 다중감각 통합 사례다. 노화에 따라 단파장(청색 계열) 지각이 저하되고 적색 계열이 상대적으로 잘 보이는 현상처럼, 연령별로 지각 능력 자체가 달라진다는 점도 UI가 사용자의 맥락에 따라 달라져야 하는 근거로 제시됐다. 강연은 "심플하게 만드는 것만이 HCI의 목표가 아니다"라는 문장으로 마무리된다. 인터페이스를 문(door)에 비유하면, 문을 아예 없애 버리면 간단해지지만 동시에 공간의 구분도 사라진다 — 인터페이스를 최소화하는 것이 언제나 이상적인 것은 아니며, 쉬움보다 유용함을, 어떤 가치를 누구에게 어떻게 제공할지를 먼저 고민해야 한다는 메시지다.

핵심 내용 (인지과학과 다중감각 UX)

  • UX가 중요해진 배경: TGIF(트위터·구글·아이폰·페이스북) 등 원천기술보다 UX/UI 가치에 승부한 기업들의 성공
  • 인지과학: 인간이 세상을 경험하는 방식을 연구해 지능 시스템을 설계하는 학문
  • 범주화(Categorization): 지식을 구조로 저장하는 방식, 정보 구조 레이블링과 직결 — 제작자·사용자 간 심상 차이가 레이블링 실패의 원인
  • 인터랙션의 재정의: 정밀한 반복 조작이 아니라 신체·인지·행동·환경이 통일된 유사 범위 내 조작으로 인식되는 내러티브 구조
  • 맥거크 효과(McGurk Effect): 입모양과 소리가 불일치할 때 존재하지 않는 제3의 소리로 지각되는 다중감각 통합 현상 — 인간이 Multi Modal 존재임을 보여주는 사례
  • 노화에 따른 단파장(청색) 지각 저하 — 연령별 지각 차이가 UI 설계에 반영돼야 하는 근거
  • "심플함이 HCI의 유일한 목표는 아니다" — 문 비유를 통해 유용성과 사용성의 균형을 강조

관련 개념

출처

최종 업데이트: 2026-08-17 | 출처 2개