감각 뉴로모픽 지능형 반도체 기술 동향

감각 뉴로모픽 지능형 반도체 기술 동향

인간의 뇌에서 영감을 받아 탄생한 하드웨어 기반의 뉴로모픽 기술은 비정형 데이터 처리를 위한 알고리즘 연산을 매우 효율적으로 수행하는 데에 중요한 역할을 하게 됩니다.

 

그러나, 다양한 종류의 감각 센서들이 계속 발전하면서, 이들로부터 얻어진 데이터는 점점 더 정교하고, 더욱 많은 용량을 필요로 하게 됩니다. 이는 비정형 데이터의 양이 계속 증가함에 따라, 그것들을 하드웨어 인공 신경망에 입력하는 것만으로도 상당한 시간과 노력이 필요하게 됨을 의미합니다.

 

 

 

▶ 사이트로 이동하기

이러한 문제를 해결하기 위해, 센서와 하드웨어 뉴로모픽 칩을 직접 연결하는 방식이 고려되고 있습니다. 이렇게 하면, 센서에서 얻은 정보를 별도로 저장하지 않고 즉시 처리할 수 있어, 데이터의 양을 획기적으로 줄일 수 있습니다. 이것이 바로 감각 뉴로모픽 기술의 핵심입니다.

 

뉴로모픽 방식

 

뉴로모픽의 개념 

우리는 너무 많은 정보가 홍수처럼 쏟아져 내리는 시대에 살고 있습니다. 이런 정보의 홍수 속에서 우리가 원하는 정보를 찾아내는 데에 집중해야 하는 상황입니다. 센서의 발달로 인해, 글자나 사진으로 정보를 주고받던 시대에서 벗어나 동영상으로 정보를 주고 받는 시대로 변모하고 있습니다. 또한, 최근에는 라이다와 같은 3D 이미징 기술이 등장하면서 비정형 데이터의 양과 비율이 급격하게 증가하고 있습니다.

이러한 상황에서 뉴로모픽 기술이 점차 중요해지고 있습니다. 비정형 데이터를 처리하는 데 특화된 이 기술은 선택이 아닌 필수가 되어가고 있습니다. 그러나, 뉴로모픽 기술의 효율성에도 불구하고, 감각 신호를 하드웨어 뉴로모픽 프로세스가 처리할 수 있는 전기 신호로 변환하고 전처리하는 과정은 병목 현상을 초래하고 있습니다.

인간의 뇌에서 영감을 받아 탄생한 뉴로모픽 기술이 이 문제를 해결하려면, 인간의 생물학적 특성에서 영감을 얻은 감각 뉴로모픽 기술을 이해하고 활용해야 합니다.

인간의 생물학적 특성과 뉴로모픽 센서의 발전

인간을 비롯한 척추동물의 신경 시스템은 크게 중추 신경 시스템 (CNS: Central Nervous System)과 주변 신경 시스템 (PNS: Peripheral Nervous System)으로 구성되어 있습니다. 주변 신경 시스템의 감각 수용기는 내외부 환경에서 자극을 받아 이를 중추 신경 시스템으로 보내, 복잡한 감각 정보 (시각, 청각, 접촉, 온도, 통증 등)를 전달합니다. 이때 각 주변 신경 시스템은 중추 신경 시스템으로 정보를 바로 전송하는 것이 아닌, 다양한 전처리 과정을 거쳐 정보의 양과 품질을 최적화합니다.

 

인지와 판단의 과정에서 중추신경계의 역할을 담당하는 뇌는 사실 혼자서 일하는 것이 아닙니다. 뇌가 최종적인 인지와 판단을 하는 최고 경영자라면, 주변 시스템은 뇌가 정확한 판단을 할 수 있도록 정보를 미리 가공하고 선택적으로 전달하는 훌륭한 비서의 역할을 합니다.

 

뉴로모픽 기술이 직면하고 있는 문제에 이런 생물학적 원리를 대입해 보면, 학습과 추론의 과정을 담당하는 중추신경계와 같은 역할을 하는 핵심 뉴로모픽 기술 외에도, 비서와 같은 주변 신경계의 역할을 하는 프로세서가 필요하다는 것을 알 수 있습니다. 이 역할을 담당하는 것이 바로 감각 뉴로모픽 기술입니다.

 

지능형 자동차, 로봇, 착용 가능한 전자장치 등, 다양한 센서가 활용되는 응용 분야가 늘어나는 상황에서, 전통적인 센서에서 얻어진 데이터들은 어떻게 처리되고 있을까요? 이러한 질문에 대한 답을 찾는 것이 우리의 다음 단계입니다.

 

전통적인 센서 기술과 감각 뉴로모픽 기술 비교

a와 같이 대부분 상황에서 아날로그 형식의 센서 데이터는 컴퓨터가 처리할 수 있는 형태의 신호로 전환하기 위해 가장 먼저 아날로그-디지털 전환 과정을 거치게 됩니다. 이 과정은 필수적이며, 이후에는 데이터가 일시적으로 메모리에 저장되며, 처리 단계로의 전송이 이루어집니다. 처리 단계에서는 전송된 날것의 디지털 데이터를 필터링, 노이즈 제거, 압축 등의 저수준 처리를 거친 후, 패턴 인지, 분류, 예측 같은 고수준의 해석과정을 거치게 됩니다. 이러한 데이터 처리과정에는 데이터의 이동이 많고, 각각의 과정이 직렬적으로 처리되어 많은 지연이 발생하게 됩니다.

 

사람의 감각 및 주변 신경을 모사하는 감각 뉴로모픽의 가장 큰 특징이자 장점은, 마치 사람과 같이 센서로 부터 얻은 아날로그 신호를 디지털로 변환하지 않은 상태에서 저수준 또는 고수준의 연산까지 수행할 수 있다는 점입니다. 그리고 이렇게 처리한 후에 데이터를 전송함으로써 이동하는 데이터의 양을 최소화합니다. 최신 뉴로모픽 센서 기술 중 하나인 센서 내 컴퓨팅 기술은 b와 같이 센서 자체에서 외부에서 수집된 아날로그 신호로부터 저수준의 연산을 수행합니다. 이렇게 한번 아날로그 상태에서 처리되어 줄어든 데이터를 고수준의 처리 단계로 전송하게 되면 처리 지연과 더불어 전력소모도 줄일 수 있습니다.

 

이러한 방식은 전통적인 센서 시스템보다 효율적이며, 데이터의 복잡도와 크기가 계속해서 증가하는 현제의 트렌드에 부합합니다. 실제로 최근 감각 뉴로모픽 기술이 어떻게 효율적으로 아날로그 연산을 수행할 수 있는지 살펴보면, 최근 주목받는 감각 뉴로모픽 기술 중 하나로 인-메모리 컴퓨팅(in-memory computing)기술이 적용된 프로세서와 센서가 서로 합쳐진 구조가 있습니다. 구체적으로는 주변 센서 컴퓨팅(near sensor computing)과 센서 내 컴퓨팅(in-sensor computing)이 제안되고 있습니다.

 

주변 센서 컴퓨팅은 여러 종류의 입력 신호 센서를 통해 전기 신호로 전환한 후 바로 뉴로모픽 프로세서에 전달하는 방식입니다. 이와 같이 다양한 방식을 통해 감각 뉴로모픽 기술은 전통적인 센서 기술에 비해 더욱 효율적인 데이터 처리를 가능하게 하였습니다.

 

인- 메모리 컴퓨팅 기반 감각 뉴로모픽 기술

a와 같이 감각 신호들은 센서를 통해 전압의 형태로 전환되어 프로세서로 전달되는 과정을 거칩니다. 이 때, 전압은 각각 전도도로 정의된 시냅스 가중치(synapic weight)와 옴의 법칙에 따라 곱해져 전류의 형태로 전환 됩니다. 이후 흘러나온 전류들은 키르히호프 법칙에 따라 합쳐져 출력단자로 흘러나오게 되는 과정에서 벡터-행렬 곱(Vector-Matrix Multiplication:VMM) 연산을 아날로그 상태에서 한 번에 병렬적으로 처리할 수 있게 됨으로써 센서 내에서 컴퓨팅이 가능해집니다.

b와 같이 주변 센서 컴퓨팅에서 더 나아가 감각 신호를 바탕으로 전기 신호로 변환 후 연산을 수행하는 것이 아니라 센서 자체에서 수집된 신호를 바탕으로 직접 연산하게 됩니다. 이렇게 자연에서 발견된 다양한 물리법칙을 활용하여 아날로그 수준에서 각종 감각 신호의 행렬 연산을 수행하는 방법들이 제안되면서 이를 통해 행렬 연산에 기반한 다양한 데이터 처리가 가능해지게 되었습니다.

 

감각 뉴로모픽 기술의 발전 및 최근 동향

사람의 감각 및 주변 신경을 모사하려는 최초의 시도는 1980년대 후반 로봇 공학에서 시작된 것으로 추정됩니다. 당시 로봇 공학에서는 CMOS(Complementary Metal Oxide Semiconductor) 기반 이미징 센서 혹은 전하결합장치(Charge-Coupled Device:CCD) 와 같은 프레임 기반 카메라를 디지털 프로세서와 연결하는 방식을 채택했습니다.

 

이러한 방식은 프레임 단위의 시간 동안 정보를 축적한 후 전달하기 때문에 더 작은 픽셀(pixel)의 카메라로도 신호를 잡아낼 수 있게 되면서 높은 해상도를 얻을 수 있는 장점이 있습니다. 그러나 신호를 축적하여 전달하는 방식은 밝기가 변하지 않아도 계속해서 신호를 보내기 때문에 불필요한 데이터 생성으로 인한 에너지 소모가 발생할 뿐만 아니라 신호를 축적하는 시간만큼의 지연도 발생하기 때문에 실시간 반응이 중요한 로봇, 자율주행 등에 응용하기에는 적합하지 않습니다.

 

이때 C. Mead 그룹에서는 실리콘 트랜지스터의 subthreshold 영역을 활용하여 뉴러놔 스냅스를 모사하였고, 초대규모 집적회로(Very Large Scale Integration:VLSI) 기술로 제조된 아날로그 회로를 활용하여 인간의 다양한 기능들을 모사하였습니다. 이 연구는 향후 프레임 기반으로 동작하는 것이 아닌 이벤트를 기반으로 동작하는 카메라의 시초가 되었습니다.

 

C. Mead는 또한 인간의 청각을 모사하여 달팽이관 안의 기저막(basilar membrane)이 폭에 따라 서로 다른 주파수와 공명하여 주파수를 구별하는 인간의 감각기관을 모사하였습니다. 이를 통해 서로 다른 주파수 대역을 가지는 전기적 필터를 1차원으로 배열하는 방식으로 주파수가 구분된 신호를 감지할 수 있게 되었습니다.

 

C. Mead 의 이러한 선도적인 시도들은 2000년대에 이르러 실리콘 기반 소자와 회로를 통해 사람 또는 생물들에서 이루어지는 다양한 기능들을 모사해 보는 연구들로 발전하였습니다. 인간의 시각을 모사하는 연구에 대해서는 주변 공간 대비 밝기 신호차이를 감지하는 방식으로 모서리 감지에 특화된 센서와 시간에 대한 밝기 신호의 변화량을 감지하는 동적 비전 센서(dynamic vision sensor)가 제안되었습니다.

 

동적 비전 센서는 밝기 변화가 없을 때는 신호를 생성하지 않다가 순간적인 밝기 변화가 클수록 강한 신호가 실시간으로 발생한다는 특징을 가지고 있습니다. 이로 인해 빠른 감지와 반응이 필요한 다양한 분야에서 널리 활용되고 있습니다.

청각 모사 기술 중에서는 달팽이관을 모사하는 연구에 이어서 양쪽 귀에 소리가 도달하는 시간 차이를 활용해 소리가 발생한 물체의 위치를 알아내는 기술과 박쥐의 초음파 내비게이션 기능을 모사하는 기술로 발전되는 등 다양한 소리 감각기관이 실리콘 기반 소자 및 회로를 통해 구현되고 있습니다.

 

2010년대에는 감각 뉴로모픽의 황금기라 할 정도로 다양한 방면으로 감각 뉴로모픽기술이 발전하였습니다. 딥러닝 알고리즘이 발달하여 이미지 인식, 목표탐지, 음성인식, 자연어 처리기술 등의 분야에 대해서 기존 머신러닝 기술 대비 우위를 점하게 되었습니다.

 

딥러닝 알고리즘에서는 여러 연산 중에서도 벡터-행렬 곱 연산이 가장 많이 활용되고 있습니다. 이 연산을 기존 중앙처리장치(Centeal Process Unit:CPU) 또는 그래픽 처리 장치(Graphical Process Unit:GPU) 로 수행하기에는 폰-노이만 구조로 인한 직렬 연산의 근본적 한계가 존재합니다.

 

이 문제를 해결하기 위해 해당 연산을 메모리 단에서 아날로그적으로 직접 처리함으로써 병렬적인 연산이 가능한 인-메모리 컴퓨팅(in-memory computing) 기술이 본격적으로 대두되었습니다. 합성곱 연산을 활용한 필터링 및 특징 추출, 다양한 기법을 활용한 노이즈 제거와 암호화를 비롯한 저수준 처리뿐만 아니라 feed-forward 연산을 포함한 패턴 인지, 분류, 예측과 같은 고수준 처리까지 다양한 기능을 부여할 수 있는 플랫폼이 등장함에 따라 다양한 센서와 비휘발성 소자를 결합하는 주변 센서 컴퓨팅 관련 연구가 시도되고 있습니다.

 

이러한 방향으로의 감각 뉴로모픽 소자 연구 동향은 크게는 ① 시각, 청각, 촉각 등 다양한 센서를 비휘발성 소자와 결합하는 방향, ② 비휘발성 소자가 센서의 역할도 통합적으로 수행하는 방향, 마지막으로 ③ 센서와 비휘발성 소자에서 처리한 데이터를 기반으로 액추에이터까지 연결하여 동작시키는 방향으로 나뉠 수 있습니다.

 

감각 뉴로모픽 컴퓨팅을 위한 센서 및 비휘발성 소자 관련 동향

2020년대에는 기존 인터넷에 연결된 수많은 센서는 네트워크를 통해 서버 또는 클라우드로 전송된 후에 이를 분석 및 처리하는 과정을 거치는 반면, 지능형 비전 센서는 센서와 수직으로 인공지능 프로세서가 적층 구조로 되어 있습니다.

이에 따라 센서로부터 수집한 신호를 인공지능 프로세서에서 즉시 필터링 또는 사물 인지 등의 작업을 통해 처리 할 수 있어 데이터 전송으로 인한 에너지 및 지연을 줄이고 데이터에 대한 보안 문제로부터도 자유로운 엣지 컴퓨팅(edge computing) 환경을 구현할 수 있게 되었습니다.

 

 결론 및 향후 발전 방향

우리가 살아가는 데 필요한 다양한 신호들을 빠르고 효율적으로 인식하고 처리하는 능력은 인간을 비롯한 모든 생명체가 가지고 있는 기본적인 능력입니다. 이러한 능력을 가지고 있기 때문에 우리는 주어진 환경에서 생존하고, 그 환경을 이해하고, 그 환경을 통해 새로운 정보를 습득할 수 있습니다. 이러한 인식과 처리 능력은 매우 적은 에너지로 이루어지며, 이는 생명체의 생존 전략 중 하나입니다.

감각 뉴로모픽 기술은 이러한 생명체의 인식과 처리 능력을 센서 기술에 접목하려는 새로운 접근 방식입니다. 이 기술은 센서 기술의 발전에 따라 생성되는 데이터의 양이 폭증하고 있는 현재의 상황에서, 그 데이터를 빠르고 정확하게 처리하는 데 필요한 효율적인 방법을 제공합니다.

우리가 다양한 신호를 빠르고 정확하게 감지하도록 발전시켜 온 수많은 센서 기술과 감각 뉴로모픽 기술이 합쳐진다면, 그 결과로 나올 수 있는 기술의 가능성은 무궁무진할 것입니다. 로봇 기술, 가상현실 기술 등의 분야에서는 이미 이러한 기술의 가능성을 확인하고 있습니다.

이제 우리는 이러한 기술의 발전을 위해 필요한 다음 단계를 생각해 볼 필요가 있습니다. 그 단계는 바로 센서 기술 연구 분야와 뉴로모픽 하드웨어 분야의 융합 연구입니다. 이 두 분야가 융합되면, 우리는 더욱 고도화된 센서 기술과 뉴로모픽 기술을 동시에 발전시킬 수 있을 것입니다.