Research 3. 온라인과 오프라인을 연결하는 접점들 (1) : 인터랙션

초연결 사회는 여러 사물들이 연결되어 오프라인과 온라인이 융합되어 있는 상태를 의미한다.

초연결 사회를 구현하기 위해 인터랙션, 디스플레이 등 오프라인과 온라인을 이어주는 접점의 확장과 연구가 계속해서 이어지고 있다.

이러한 인터랙션의 종류에 대해 알아보고 어떤 공간에서 어떻게 활용되는지를 정리하고자 한다.

 

Contents

인터랙션의 종류

1. 터치 스크린을 통한 제스처

2. 음성

3. 햅틱 피드백

4. 웨어러블 디바이스를 통한 핸드 제스처

5. 뉴런

 

인터랙션의 종류

입력/출력 장치에 따른 구분

노브(knob)와 같은 하드웨어로 조절하는 방식도 있지만, 현재의 인터랙션 연구들은 점차 비접촉식으로 발전되고 있다. 실생활에서 주로 발견할 수 있는 터치 제스처부터 뉴런까지의 인터랙션을 수집해 보았다.

 

1) 터치스크린을 통한 제스처

2009년의 제스처(Credit : Gestureworks)

제스처 컨트롤 차트 (Credit: Touch Gesture Reference Guide)

일상생활에서 가장 쉽게 접근할 수 있는 인터랙션 방식이다. 주로 스마트폰의 터치 스크린 클릭으로 이루어지며 탭, 핀치, 드래그, 롱 프레스, 스프레스, 스와이프가 있다. 하지만 터치 제스처를 사용할 때 '어떻게' 작동할 수 있을지에 대한 힌트를 줘야 한다.(e.g.SNS에서 채팅방을 옆으로 밀었을 때 삭제, 별표 표시 등 숨겨진 기능이 뜨는 것을 사용자에게 알려줘야 함)

 

2) 음성

음성의 의미를 파악하여 사물을 제어하는 방식이다. 시리, 빅스비 등 스마트폰에 탑재되어 있고 몇 년 전 유행하였던 인공지능 스피커를 통해 쉽게 접근할 수 있는 기능이다. 최근 애플은 23 발표를 준비하면서 접근성을 높이기 위한 음성 관련 기능들을 미리 선보였다. 음성은 특히 시각 장애인들에게 유용하게 사용되며 손을 사용하기 어려울 때에도 접근을 가능하게 해 편리함을 증대할 수 있다.

영상은 LG의 오브제 컬렉션 중 하나인 정수기로 이외에도 에어컨, TV 등 음성제어를 통해 기기를 사용할 수 있게 만들었다. 영상에서는 정수기 버튼에 손이 안 닿는 아동이 음성 제어를 통해 사물을 제어하는 모습을 볼 수 있다.

 

3) 햅틱 피드백

사용자에게 진동을 통해 행동에 대한 피드백을 주는 용도로 사용되고 있다. 주로 게임과 같은 가상세계에서의 접촉, 촉감을 알려주는 용도로 사용하여 사용자의 몰입을 높인다. 영상의 플레이스테이션은 단순히 '주의' 측면뿐만 아니라 타격감, 게임 내 촉감, 상호 작용들의 몰입감을 높이기 위한 다양한 세기와 빈도로 햅틱 피드백을 이용하고 있다.

 

4) 웨어러블 디바이스를 통한 핸드 제스처

앞선 터치 제스처처럼 손을 사용하지만 디바이스를 직접 터치하는 것이 아닌 다른 탭핑, 핸드 제스처를 통해 인터랙션이 이루어지는 방식이다. 웨어러블 디바이스는 주로 생체 정보를 수집하여 건강을 관리하는 용도로 사용되지만, Tap XR과 스마트링처럼 제스처나 키보드를 탭핑하는 식의 움직임을 감지하여 input 디바이스처럼 사용할 수 있다. 이러한 장치는 스마트폰이 없을 때에도 간편하게 사용할 수 있어 심리스한 미래 스마트 스페이스의 연결고리가 될 수 있을 것이다. 또한 이러한 웨어러블 디바이스는 보이스 인터랙션을 언제 어디서나 사용할 수 있게 만드는 접점이 된다.

애플워치의 Assistive Touch 기능 또는 갤럭시워치의 제스처 기능에서도 이러한 인터랙션이 사용되는 것을 확인할 수 있다. 아직 3~4개 인터랙션 정도밖에 존재하지 않지만 앞선 영상의 Tap XR처럼 텍스트 입력, 클릭 등 더 넓은 범위로 확장될 것이다. 

 

5) 뉴런

인공지능을 통해 사용자 맞춤형 서비스를 제공하는 것은 사용자가 별다른 행동을 취하지 않아도 편리한 경험을 시작할 수 있게 한다. 이처럼 사람이 생각만 해도 사물들을 제어할 수 있는 인터랙션, 인공지능 연구는 계속되고 있다. 최근 생성 AI '스테이블 디퓨전'을 통해 사용자의 생각을 볼 수 있는 이미지로 만들어내는 인공지능 기술을 개발하였다.

https://sites.google.com/view/stablediffusion-with-brain/

Stable Diffusion with Brain Activity

 

이러한 인터랙션들은 사용자가 원하는 바를 이루기 위해서 사용되기도 하지만, 사용자가 서비스에 몰입할 수 있는 환경을 조성하기도 한다. 다음 글에서는 인터랙션들이 어떻게 사용되어 공간을 이루는지, 온라인과 오프라인이 연결되는 접점에는 어떠한 기술들이 쓰이는지 정리해보고자 한다.