Apache Spark란?

빅데이터 처리를 위한 오픈소스 병렬분산처리 플랫폼

Apache Spark 구조

SQL 처리를 위한 Spark SQL, 스트림 처리를 위한 Spark Streaming, 머신러닝을 위한 MLlib, 그래프 처리를 위한 GraphX병렬분산처리 엔진 Apache Spark Core로 이루어져 있으며, HDFS, Hive, Hbase등 다양한 데이터 소스를 받아 처리할 수 있다.