디지털 트랜스포메이션 전환 핵심기술 : 빅데이터, 인공지능, 클라우드

디지털 트랜스포메이션, 디지털 전환은 항상 신기술과 같이 얘기가 될 수밖에 없습니다. 개념 자체는 물질을 정보화시키는 것인데, 대체 왜 신기술과 같이 언급이 될까요? 그것은 물질을 정보화시키면 데이터가 발생하게 되고, 데이터가 발생하면 발생할수록 보관과 처리 기술은 한계에 이르게 되기 때문에 이를 해결하기 위한 기술과 항상 함께 얘기할 수밖에 없는 것입니다.

그럼 이번 포스팅에서는 디지털 전환, 디지털 트랜스포메이션에서 사용되는 핵심기술이 무엇인지에 대해 알려드리겠습니다.

디지털 트랜스포메이션 핵심기술
디지털 트랜스포메이션 핵심기술

빅데이터는 어떻게 생성될까?

우리가 감당하지 못할 만큼 엄청난 양의 데이터는 대체 어디서 오는 걸까요? 그건 바로 우리가 일상적으로 사용하는 스마트 폰과 IoT(사물인터넷)에서 만들어집니다.

애플 와치 등 스마트 시계, 의료기기, 헬스케어 장치에는 혈압, 혈당 등을 측정하는 바이오 센서가 달려있습니다. 여기서 측정된 수많은 데이터가 IoT기기를 통해 자동으로 수집이 되어 어딘가에 저장됩니다.

또 우리가 스마트 폰을 이용해서 인스타그램, 페이스북, 유튜브, 카카오톡 등을 사용하는데 이 모든 활동들은 데이터로 저장되고, 카카오 택시를 부를 때 위치정보, 목적지 등도 전부 어딘가에는 저장이 된답니다. 고로 우리 개개인이 스마트폰을 이용해서 하는 모든 행위는 디지털 데이터로 변환되어 어딘가에 저장되고 처리가 되고 있는 것입니다.

전 세계 인구의 대부분이 스마트 폰을 사용하는 것을 감안해 본다면 얼마나 많은 데이터가 실시간으로 쌓일까요? 정말 상상할 수조차 없습니다. 이렇게 우리가 감당하지 못할 만큼 쌓여서 처리가 곤란한 데이터를 ‘빅데이터’라고 부릅니다. 그럼 이렇게 쌓인 데이터를 어떻게 보관하고 처리하는 것일까요?

디지털 트랜스포메이션 핵심 기술 : 클라우드 컴퓨팅, 분산처리 기술

우리가 처리하기 힘들 만큼 쌓인 데이터는 어떻게 관리를 할까요? 그것은 바로 클라우드라고 부르는 기술을 이용해 관리합니다. 클라우드 컴퓨팅 기술은 네트워크로 서버나 PC를 가상으로 연결해 마치 하나의 PC처럼 사용하는 ‘서버 가상화 기술’과 병렬로 연결된 서버나 PC에 일을 분산시킨 후 각자 가진 CPU의 능력을 동시에 사용해 일을 처리하는 ‘분산처리 기술’을 결합한 기술입니다.

이렇게 클라우드 기술을 이용해서 감당하기 힘든 데이터를 저장할 수 있게 되었습니다. 하지만 데이터에서 유용한 것을 뽑아내서 사용하지 않는다면 그저 쓰레기가 많이 있는 것과 같다고 할 수 있습니다.

사람이 일일이 데이터를 보면서 로직을 만들어서 대응하는 것은 현실적으로 불가능하게 되었고, 또 사람이 데이터를 활용하면서 데이터를 없애는 시간보다 쌓이는 데이터가 더 많아져만 갔습니다.

디지털 트랜스포메이션 핵심 기술 : 인공지능, 머신러닝

이를 처리할 방법이 필요했는데, 이때 등장한 기술이 인공지능 기술입니다. 인공지능은 사람의 지적 능력을 활용해서 사람이 하는 일을 대신할 수 있는 능력으로 정의할 수 있습니다. 

인공지능은 지식기반의 인공지능과 머신러닝 기반의 인공지능 두 가지로 나뉩니다. 지식기반의 인공지능은 일일이 인공지능에 어떤 일을 어떻게 처리해야 하는지 지식을 넣어서 만든 인공지능을 말하고, 머신러닝 기반 인공지능은 스스로가 학습해서 발전하는 인공지능을 말합니다.

우리는 현재 지식기반의 인공지능보다는 머신러닝 기반의 인공지능을 선호합니다. 그 이유는 당연히 지식기반은 새로운 지식이 생길 때마다 인공지능에 지식을 넣어줘야 하기 때문에 일일이 대응하기가 힘이 듭니다.

하지만 머신러닝 기반의 인공지능은 인공지능 스스로가 로직을 구현하고 발전해 나가기 때문에 인간이 처음 세팅만 해주면 그다음부터는 인공지능이 알아서 문제를 해결합니다. 이런 이유로 인공지능 기술개발의 방향이 머신러닝 기반으로 갈 수밖에 없는 것이죠.

요즘은 머신러닝 중에서 가장 파워풀한 딥러닝 기술이 각광받고 있는데, 이 기술에 대해서는 나중에 다루도록 하겠습니다. 그럼 빅데이터와 인공지능은 어떤 관계에 있는 것일까요?

빅데이터와 인공지능의 관계 : 머신러닝, 딥러닝 기술

기본적으로 빅데이터의 처리는 클라우드의 분산 처리 기술로 대응이 가능합니다. 하지만 도저히 처리할 패턴이 보이지 않을 때나 쏟아져 들어오는 데이터의 양이 많은 경우에는 인공지능을 미리 학습시킨 후에 실전에서 빅데이터를 처리하게 합니다. 데이터 분석을 할 때도 수많은 데이터 속에서 찾기 힘든 규칙을 찾는 것은 인공지능의 힘을 빌릴 수밖에 없습니다.

인공지능의 힘을 빌리기 위해서는 인공지능을 머신러닝, 그중에서도 딥러닝으로 학습시켜야 하는데, 이 학습과정에 빅데이터가 반드시 필요합니다. 따라서 빅데이터를 처리하기 위해서 인공지능이 필요함과 동시에 인공지능을 학습시키기 위해서 빅데이터가 꼭 필요한 것이죠.

둘은 떼려야 뗄 수 없는 관계, 상부상조하는 관계라고 보시면 되겠습니다.

Related Posts