Kim-Baek 개발자 이야기

오늘 Apach Spark 에 대해서 공부해보려고 합니다. Apach Spark 는 In memory 방식의 대용량 데이처 처리 엔진입니다 Java, Scala, Python, R 과 같은 high level API 를 제공하고 있고, 특히 Spark SQL 같은 SQL을 위한 다양한 라이브러리를 제공하고 있습니다. 분산 클러스터 컴퓨팅 프레임워크로 Standalone 환경 뿐만 아니라 Cluster mode를 통해 대용량 데이터 처리가 가능합니다 특징 스파크는 인메모리 (In Memory) 기반 처리로 빠른 처리가 가능하며 Cluster Manger를 활용해 분산환경에서도 처리가 가능합니다. YARN, Mesos, Kubernetes 등 다양한 클러스터에서 동작이 가능합니다 기존 대용량 처리 프레임워크..