반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- 스프링핵심원리
- 카카오
- Effective Java
- java
- 클린아키텍처
- 스프링
- 자바스크립트
- 기본
- 이차전지관련주
- 객체지향
- 김영한
- 알고리즘
- 엘라스틱서치
- 이펙티브자바
- 스프링 핵심원리
- ElasticSearch
- kubernetes
- Spring
- 카카오 면접
- 백기선
- 스프링부트
- 코딩테스트
- 알고리즘정렬
- JavaScript
- 이펙티브 자바
- Effective Java 3
- effectivejava
- Sort
- 예제로 배우는 스프링 입문
- 자바
Archives
- Today
- Total
Kim-Baek 개발자 이야기
[Spark] Spark 3.0 공식 버전 Release 본문
2020-06-10 spark 3.0.0 이 정식 Release 됐다.
https://spark.apache.org/releases/spark-release-3-0-0.html
큰 Feature 들은 아래와 같다
Highlight
- [Project Hydrogen] Accelerator-aware Scheduler
- Adaptive Query Execution
- Dynamic Partition Pruning
- Redesigned pandas UDF API with type hints
- Structured Streaming UI
- Catalog plugin API
- Java 11 support
- Hadoop 3 support
- Better ANSI SQL compatibility
- ...
Spark3 개발 JIRA를 통해 어떤 부분의 수정이 많이 되었는지를 파악 가능하다.
Spark SQL, Spark Core 쪽의 많은 부분이 수정되었다.
기존 Spark 2.4 버전과 Spark 3.0 버전을 비교했을때, TPC-DS 30TB 기준 아래와 같은 성능차이를 보여주고 있다.
Spark SQL, Spark Core 이외에도 다양한 업데이트들이 이루워졌다.
앞으로 Spark 3.0 버전에 대한 포스팅을 통해 주요 변화들에 대해서 알아보려고 한다.
특히 Perfomance 를 상향시켜준 아래 2가지 핵심 아이디어에 대해 포스팅할 예정이다.
- AQE (Adaptive Query Execution)
- DPP (Dynamic Partition Prunning)
Referrence
반응형
'개발 > Spark' 카테고리의 다른 글
Spark 란? Spark 구조 & 동작 과정 (3) | 2020.12.30 |
---|
Comments