Kim-Baek 개발자 이야기

오늘 Apach Spark 에 대해서 공부해보려고 합니다. Apach Spark 는 In memory 방식의 대용량 데이처 처리 엔진입니다 Java, Scala, Python, R 과 같은 high level API 를 제공하고 있고, 특히 Spark SQL 같은 SQL을 위한 다양한 라이브러리를 제공하고 있습니다. 분산 클러스터 컴퓨팅 프레임워크로 Standalone 환경 뿐만 아니라 Cluster mode를 통해 대용량 데이터 처리가 가능합니다 특징 스파크는 인메모리 (In Memory) 기반 처리로 빠른 처리가 가능하며 Cluster Manger를 활용해 분산환경에서도 처리가 가능합니다. YARN, Mesos, Kubernetes 등 다양한 클러스터에서 동작이 가능합니다 기존 대용량 처리 프레임워크..

2020-06-10 spark 3.0.0 이 정식 Release 됐다. https://spark.apache.org/releases/spark-release-3-0-0.html Spark Release 3.0.0 | Apache Spark Spark Release 3.0.0 Apache Spark 3.0.0 is the first release of the 3.x line. The vote passed on the 10th of June, 2020. This release is based on git tag v3.0.0 which includes all commits up to June 10. Apache Spark 3.0 builds on many of the innovations fro spark.a..