friendsmachbase
260
2021-08-10 14:18:33
0
440

IIoT를 위해 알아두면 좋을 인싸이트 하나 공유드립니다!


IIoT를 위한 Data Lake – machlake


Data Lake 란, 대규모의 다양한 원시 데이터 세트를 기본 형식으로 저장하는 데이터 리포지터리 유형입니다. 원시 데이터는 특정 목적을 위해 처리되지 않은 데이터를 뜻합니다. 산업 IoT 분야에서 이러한 원시 데이터는 시계열 센서 데이터를 포함한 다양한 데이터로 볼 수 있습니다.(redhat)


데이터 레이크가 기존의 DBMS등을 이용한 저장소와 다른 점은 클라우드와 연계하여 서비스로 정의된 API 집합으로 데이터가 어떻게 저장되는지와 관계 없이, 무엇을 저장하고 어떻게 조회할 것인지만 고르면 문제 없이 사용할 수 있다는 점으로 볼 수 있습니다. 데이터 입력을 위한 복잡한 설치 과정, 데이터 검색을 위한 질의 및 정의 과정을 생략하고, 데이터를 얼마나 저장할 것인가, 어떤 데이터를 꺼낼 것인가만 생각하면 된다는 점이죠.



산업 IoT 센서 데이터도 이와 같은 Data Lake를 도입하는 움직임이 활발해 지고 있는데요, 이 포스트에서는 Machbase가 개발중인 산업 IoT(IIoT) 분야에 맞는 Data Lake 서비스에 대해서 살펴보려 합니다.


IIoT 분야의 Data lake 요구사항

먼저 산업 IoT의 Data lake는 대부분의 용량을 차지하는 시계열 센서 데이터를 빠르고 쉽게 저장하고, 검색할 수 있어야 합니다. 대량의 장비와 에지에서 수집된 센서 데이터를 data lake 서비스에 편리하고 빠르게 입력할 수 있어야 하고, 이후 생산 데이터의 분석을 위해 R, tablau등과 연동하거나 tensorflow 등의 AI 분석 도구와 연계도 쉽고 빠르게 수행할 수 있어야 합니다. 이러한 Data lake 서비스는 Amazon, Azure, Google에서 일반적인 Data lake 서비스를 제공하고 있는데요, 이 서비스들은 나름 저렴한 요금과 다양한 기능을 갖고 있으나, 산업 IoT에 특화된 기능성을 갖고 있지 못하기 때문에, 도입하려는 고객들은 데이터 Ingetstion과 분석 도구 연동을 위해 추가 개발이 필요한 실정입니다.


데이터 변환, 검색의 이슈

Data Lake는 원시 데이터 세트를 저장, 검색하지만 IIoT 센서데이터는 이런 원시 데이터를 저장하여 이용하기에는 적합하지 않습니다. Hadoop을 비롯한 원시 데이터 저장 - Map reduce를 이용한 변환 필터링, 검색은 대량의 장비를 동원해도 실시간 데이터 검색 및 분석에는 적합하지 않고 다양한 형태의 데이터 변환은 Data lake의 빠른 적용에 걸림돌이 됩니다.


이런 데이터 변환기능, 오류 데이터 필터링 기능을 대리해 줄 수 있는 모듈이나 장비가 있으면 data lake로 쉽고 빠르게 이전이 가능합니다.


Data 분석의 문제

산업 IoT에서 Data lake로의 전환에서, 입력 문제를 해결했다면 이를 분석도구에 연동하거나 AI 도구와 연동해서 기계학습을 통한 이상현상 감지나 예지보전에 활용해야 합니다. Amazon, Microsoft, Google등의 업체에서는 기존의 다양한 API와 연동성을 강조하여 쉽게 연동할 수 있도록 제공하고 있으나, 실제 AI 응용과 연동을 위해서는 대량의 원시 데이터를 변환하고, 필터링하는 것 외에도 각 고객이 필요한 AI응용을 개발해야 하는 문제점이 있습니다.


Machbase의 Data lake 해결책

Machbase는 위의 두 문제를 해결할 수 있는 IIoT Data Lake 토탈 솔루션을 보유하고 있습니다. 입력 데이터 변환 문제는 Machbase EdgeMaster에서 EMC (Edgemaster client) 장비와 모듈이 다양한 데이터 포멧을 변환, 가공, 정제하며 Edgemaster 제품과 Machbase의 data lake인 machlake와의 완벽한 연동을 통해 추가 개발 없이 산업 IoT 데이터를 수집할 수 있습니다.

또한 Data Lake의 데이터를 빠르게 검색할 수 있음은 물론이고, 검색한 데이터를 Machbase의 AI 분석 모듈과 연동하여 빠른 AI분석도 가능합니다. 산업 IoT분야의 machbase사의 모든 솔루션, 도구들이 Machlake와 연동하므로, 고객은 자신의 data lake를 위한 신규 기능 구현이 필요 없이 모든 기능을 구현 가능합니다.

이 포스트에서 산업 IoT 분야에서 Data Lake의 역할과 machbase에서 제공하는 제품의 기능에 대해서 살펴보았습니다. Data lake, IIoT 센서 데이터 분석에 관심이 있으신 분들은 저희에게 연락주시면 언제든지 도움을 드리겠습니다.

감사합니다.


참고 문헌

  1. Red hat : 데이터 레이크(Data Lake)란? 정의, 분석 및 솔루션 (redhat.com)
  2. lakeFS : Data Lakes: The Definitive Guide | LakeFS
  3. 한양대학교 학위 논문 : 반도체 통신 프로토콜 EDA 표준에 기반한 설비 자료 수집 시뮬레이션 (kisti.re.kr)



더 많은 인싸이트는 https://kr.machbase.com/category/all/insights/ 를 통해 확인하실 수 있습니다 :)

0
  • 댓글 0

  • 로그인을 하시면 댓글을 등록할 수 있습니다.