spark1 Spark 최적화 어떻게 물리 실행 단에서 최적화를 수행하나… 어떤 점에서 다른 엔진과 차별화 되나?사실 DW와 Lakehouse 벤치마크 비교를 하려고 했는데 시간이 후달렸음... 고로 이번 글도 스터디에 조금 가미한 것...개요Spark 2.x 이후 Tungsten 프로젝트 도입으로 실행 계획 최적화, 메모리 효율성, CPU 사용 최적화 → Spark의 성능 UP → 단순한 분산처리 엔진 이상.Unresolved → Resolved → Optimized (Catalyst) → physical plan → code gen(Tungsten)1. Unresolved Logical Plan: 서브밋한 것을 그대로 받아들임. 컬럼 이름같은 것도 매핑이 안 되어있음.2. Resolved Logical Plan: 메타 조회, 스키.. 2025. 4. 13. 이전 1 다음
