기업용 솔루션 공급 및 IT 서비스 컨설팅 전문기업인 펜타시스템테크놀러지(대표: 장종준)는 한국은행(디지털혁신실)의 ‘데이터 레이크 구축사업’에서 데이터 파이프라인 구축을 성공적으로 완료했다고 22일 밝혔다.

펜타시스템은 이번 구축사업에서 데이터이쿠(Dataiku)를 활용하여 외부의 다양한 원천(Source) 데이터로부터 내부 시스템으로 데이터를 입수, 정제, 전처리, 중계, 적재하는 데이터 파이프라인을 완성했다. 이 데이터 파이프라인은 외부망에서 웹 API 호출, 크롤링, 실시간 데이터 입수 등을 수행하여 데이터를 중계기로 전달하고, 내부망에서는 중계기 데이터를 다시 입수하여 정제 후 데이터 레이크의 데이터베이스 및 스토리지에 저장하는 방식으로 설계되었다.

이번 사업에서 가장 주목할 점은 한국은행의 데이터 레이크가 가까운 미래에 AI 연계를 목표로 하고 있어 최신 기술이 집약된 인프라라는 것이다. 기존에 연계 경험이 없는 새로운 기술 환경이었음에도 불구하고, 데이터이쿠는 뛰어난 확장성과 호환성을 통해 복잡한 데이터 통합 작업을 매끄럽게 수행했다. 이를 통해 데이터레이크는 다양한 데이터베이스와 스토리지에 유연하게 통합되어, AI 및 머신러닝 기반 애플리케이션 및 모델 개발을 위한 강력한 토대를 제공하게 되었다.

데이터이쿠(Dataiku)는 SQL데이터베이스(Snowflake, Oracle, MS SQL Server 등), 클라우드 스토리지(Amazon S3, Google Cloud Storage 등), 하둡, NoSQL(MongoDB, Cassandra, ElasticSearch) 등 수많은 저장매체와의 폭넓은 호환성을 지원한다.

뿐만 아니라, Low-code / No-code 기반 사용자 친화적인 인터페이스는 데이터 처리 과정의 효율성과 접근성을 크게 향상시킨다. 또한, 데이터 파이프라인 구축 이후 스케쥴링 및 모니터링 등 운영관리를 위한 직관적인 기능까지 제공하여 개발과 운영전반에 걸쳐 우수한 소프트웨어다.

한국은행 디지털혁신실장은 “AI의 발전으로 활용 및 처리해야 할 데이터의 유형과 범위가 점차 확대되고 있으며 이에 따라 다양한 기술스택과 데이터의 유연한 통합이 필수적이다. 이번 사업을 통해 신기술을 접목한 더 많은 유형의 데이터 통합이 가능해졌으며 향후 새로운 유형의 데이터 환경에서도 AI와 데이터 기반의 디지털 전환 성과가 기대된다”라고 밝혔다.

펜타시스템은 구축사례를 통해 입증된 혁신적인 솔루션으로 금융을 포함한 다양한 산업 분야 IT 시스템 환경에 합리적인 디지털 전환을 위해 MLOps 구축사업을 확대해 나갈 계획이다.

펜타시스템 장종준 대표는 “이번 사업을 통해 빅데이터와 AI 분석 분야에서의 기술력을 입증했으며, 앞으로도 생성형 AI 애플리케이션과 같은 다양한 디지털 혁신 프로젝트를 통해 고객들에게 새로운 가치를 제공할 계획이다”라고 밝혔다.

★정보보안 대표 미디어 데일리시큐 /Dailysecu, Korea's leading security media!★