friendsmachbase
213
2021-10-06 14:40:07 작성 2021-10-06 14:40:47 수정됨
0
263

완벽한 AIoT 구현을 위한 데이터베이스 도입과 사례


Agenda

아날로그 기술 기반 시대에서부터 지금까지, 우리는 어떤 표준을 따를 것인가에 관한 질문에 봉착하곤 한다. 때로는 미시적인 고려로 치부되기도 하지만, 때로는 제품과 시스템의 전체 퍼포먼스를 좌우하는 핵심인자가 되기도 한다. 그중의 하나가 최근 AI, IoT 기술을 응용하여 원격제어, 제조자동화 등을 구축하는 산업현장에서 생기는 DB 관련 해프닝일 것이다. 실제로 잘못 도입한 DB로 인한 오류와 비효율에 관한 상담들이 많다. 본 리포트에서는 아직 인지도가 높지 않은 데이터베이스 관련 전반적인 특징들을 소개함으로써, 이미 다양한 산업 영역에서 본격화되고 있는 AI&IoT(이하 AIoT) 기술 관련 올바른 DB의 선택과 도입에 도움이 되고자 한다.


DB 히스토리


개관
주지하다시피 전통적인 트랜잭션 기반의 데이터베이스는 하나의 보통명사로 굳어져 기업, 공공/교육기관 등 데이터를 다루는 모든 영역에서 오라클, MySQL, MariaDB 등으로 대표되는 RDBMS가 사용되고 있다. 그리고 새로운 IoT의 등장에 맞춰 DBMS 역시 다양한 기술적인 연구와 해결책이 지난 30여 년간 지속적으로 발전되어 왔다.
그럼에도 전통적인 데이터베이스가 IoT 데이터 처리 영역에서 고전 을 면치 못하는 근본적인 이유는 트랜잭션이라는 기능을 통해 데이터를 처리하는 ‘패러다임’을 고집하기 때문이다. 다시 말해, 연속된 비즈니스 업무를 하나의 온전한 업무 단위로서 처리하기 위해 고안 된 기술이 전혀 다른 영역으로까지 확대 적용됨으로써 IoT 기술이 요구하는 대량의 사물 데이터 처리와 관리에 뚜렷한 솔루션을 제시 하지 못하고 있는 것이다. 더불어 이를 해결하기 위한 여러 변종적 ·변이적 대안들이 제시되었고 우리에게 낯익은 DB들의 출생 배경이 되기도 하다.


검색엔진 기반 솔루션 (Splunk, Elastic)
최근 특정 비즈니스 영역에서 대세로 자리 잡은 기법이다. 그러나 대량의 IoT 센서 데이터 처리에 검색엔진 기반 솔루션을 도입했다가 낭패를 당한 경우도 많다.
ㆍ역인덱스(Inverted index) 생성으로 인한 많은 시스템 비용
ㆍ모든 데이터가 일반 텍스트 형태로 구성
ㆍ저장공간의 낭비와 높은 변환 비용
ㆍ 대규모 센서 데이터의 특성을 지원할 수 없는 구조적인 한계 및 느린 성능


하둡 기반 솔루션(Hadoop)
하둡의 철학은 ‘모든 하드웨어를 동원하여 병렬로 수행’하는 것으로 당연히 고사양 시스템을 요구한다. 그런데 빅데이터 처리에 있어서 성공한 사례는 찾아보기 힘들다.
ㆍ최소 4대 이상의 클러스터 구성 필요
ㆍ정교한 데이터 파일 조작 불가
ㆍ단일 사용자 기준으로 동시 사용자 처리 불가능
ㆍ무료 라이선스나 높은 유지보수 비용


NoSQL(Cassandra, Redis)
새로운 데이터 처리 트렌드로써 성공적인 IT 이력을 가지고 있는 NoSQL은 데이터에 관한 ‘유일 키 (Unique Key)’ 관점으로 객체 인증 혹은 데이터 캐시 서비스에서 두드러진 장점이 있으나 그런 이유로 센서 데이터 처리에는 부적합하기도 하다.
ㆍ 다수의 유일 키를 조합하는 경우 집계 함수(Aggregation) 사용 불가
ㆍ시계열 데이터 저장이 현실적으로 불가능한 구조
ㆍ선형적 탐색으로 인해 시계열 데이터의 추출이 매우 느림


몽고디비(MongoDB)
오픈소스이자 대중적으로 인기 있는 몽고DB는 스스로 비정형 Document DBMS라고 정의하고 있으며 질의 언어가 SQL이 아닌 JSON형태로 동작하여 센서데이터 처리에는 부적합하다.
ㆍ스키마가 필요 없고 Key-Value 특성을 가진 점은 NoSQL로 분류
ㆍ트리 기반 인덱스 생성 측면에서는 전통적인 데이터베이스로 분류
ㆍ대량의 시계열 데이터의 입력과 추출에서 매우 느림



AIoT가 원하는 DB의 조건

토마스 쿤의 저서 <과학혁명의 구조>에서 과학은 연구집단의 객관적 관찰과 진리의 축적에 의한 진보가 아닌 ‘단절적 파열’에 의해 새로운 패러다임이 생성되고 이를 통해 과학의 발전역사가 형성된 다고 한다.
즉, 기존의 지배적인 패러다임으로 설명할 수 없고 해결할 수 없는 사안에 대해서 전혀 새로운 시각과 방법을 주장하는 새로운 패러다임이 등장하고 기존 패러다임을 압도하는 전환이 있을 때에라야 발전이 뒤따른다고 한다. 이를 데이터베이스 분야로 치환했을 때 AI, IoT는 기존 트랜잭션 기반의 DBMS로는 설명할 수 없는 사안이다.


더 자세하고 유익한 내용은 아래 URL에서 확인 가능합니다.

https://kr.machbase.com/

0
  • 댓글 0

  • 로그인을 하시면 댓글을 등록할 수 있습니다.