비정형 시스템반도체 분석을 위한 빅데이터 처리용 로딩속도 개선 및 인메모리 최적화 솔루션 개발

중소벤처기업부 | Big Data, Data Processing

프로젝트 배경

- 비정형 시스템반도체 데이터의 급증으로 인한 처리 속도 저하 문제 발생

- 기존 분석 도구 대비 데이터 로딩 및 분석 속도 개선 필요

주요 프로젝트 과업

- 비정형 빅데이터 로딩 속도 개선 기술 개발

- 데이터 구조 개선 및 인메모리 기반 처리 최적화

- 대용량 데이터 처리 및 분석을 위한 AI 데이터 처리 엔진 개발

- 분석 결과 제공을 위한 시각화 라이브러리 개발

프로젝트 주요 내용

- Perquet 기반 데이터 구조 적용을 통한 데이터 로딩 속도 30% 이상 개선

- CPU 병렬 처리 및 데이터 분산 처리 기반 성능 최적화 구현

- Datastore 기반 인메모리 처리 기술 적용으로 대용량 데이터 처리 효율 향상

- 데이터 유형별 분류 및 전처리 기반 AI 분석 처리 기능 구현

- MapReduce 기반 데이터 처리 구조 설계 및 최적화

- 다양한 데이터 시각화(Plot, Heatmap, Scatter 등) 기능 개발

- 반도체 데이터 분석을 위한 통합 데이터 처리 및 분석 환경 구축