시계열데이터베이스의 필요성

데이터베이스는 시계열데이터베이스, 인메모리, RDBMS, 하둡 등 여러 종류가 있습니다. 그 중 저희 회사가 개발하고 있는 시계열 데이터베이스는 센서, 엣지장비, 시스템 등에서 발생되는 데이터를 시간의 흐름에 따라 실시간으로 수집, 저장하여 이상현상을 분석할 수 있도록 빠르게 저장하는 장점을 가지고 있습니다. 특히, 현재 공장들은 예전처럼 사람이 많이 개입하고 조작하는 관점이 아닌 자동화되고 자율적으로 변화되면서 지속적으로 모으고 관리해야하는 데이터들이 많아졌습니다. 대량의 데이터들을 기존의 DBMS로는 처리할 수 없는 수준에 이르렀기 때문에 TSDB가 필요해졌습니다. 특히 이상현상 및 예지보전이 가능한 스마트공장 운영을 위해서는 데이터 발생 시점부터 데이터가 분석되는 시점까지의 데이터를 통합할 수 있는 고속도로가 필요합니다. 데이터 고속도로는 데이터 수집, 저장, 분석의 과정을 한번에 ALL-IN-ONE 하여 이상현상을 보다 신속하게 잡아낼 수 있도록 합니다. 

개요

Machbase 에 입력된 데이터를 Logstash 를 통해 Elasticsearch 에도 데이터를 입력하고자 하는 경우에 대한 연동 방법에 대해 기술합니다. Machbase는 JDBC 환경을 지원하며, Logstash 에서 제공하는 여러 Input plugin 중에 Jdbc input plugin 을 통해 연동하고자 합니다.

테스트 환경

Machbase, Logstash, Elasticsearch 는 설치가 되어 있다는 가정 하에 진행하며, Machbase의 테이블은 일반적으로 많이 사용하시는 TAG 테이블로 진행합니다. Logstash, Elasticsearch 설치는 아래 링크를 참고하시면 되겠습니다.

ELK Stack 설치

테스트 순서

1) Machbase Jar 파일 설정

machbase.jar 파일 copy 및 권한 변경sudo cp /home/machbase/machbase_home/lib/machbase.jar /usr/share/logstash/lib sudo chown logstash:logstash /usr/share/logstash/lib/machbase.jar

2) Machbase 테이블 생성

TAG 테이블 생성create tagdata table tag (name varchar(20) primary key, time datetime basetime, value double summarized);

더 자세한 내용은 아래 링크를 참고부탁드립니다.

https://kr.machbase.com/machbase