DATABRICKS-Fundamentals-1

1. Apache Spark란?

Apache Spark는
👉 분산 클러스터 환경에서 대규모 데이터를 빠르게 처리하기 위한 데이터 처리 엔진(Engine) 입니다.

Spark는 다음 작업을 하나의 통합된 프레임워크에서 처리할 수 있습니다.

• 배치 데이터 처리 (Batch Processing)
• 스트리밍 데이터 처리 (Stream Processing)
• 머신러닝 (Machine Learning)
• 그래프 처리 (Graph Processing)
• SQL 기반 데이터 분석

📌 시험 포인트

• Spark는 데이터베이스가 아니다
• Spark는 스토리지 시스템이 아니다
• Spark는 데이터 처리 엔진(Processing Engine) 이다

---

2. Spark가 제공하는 주요 API (Unified Framework)

Spark는 하나의 엔진 위에서 여러 API를 제공합니다.

(1) Spark SQL & DataFrame API

• SQL 기반 데이터 처리
• ANSI SQL 호환
• 가장 많이 사용됨 ⭐⭐⭐

(2) Structured Streaming

• 스트리밍 데이터를 배치처럼 처리
• Kafka, Kinesis 등과 연동

(3) MLlib

• 머신러닝 라이브러리
• 분류, 회귀, 클러스터링 등 제공

(4) GraphX

• 그래프 기반 연산 (노드, 엣지)

📌 시험 포인트

• RDD API는 존재하지만 권장되지 않음
• 시험에서는 DataFrame / Spark SQL 중심

---

3. Spark 아키텍처 (Spark Stack)

Spark 동작 구조 (아래 → 위)

1. Distributed Storage

   • HDFS
   • Amazon S3
   • Azure Data Lake Storage (ADLS)
   • Google Cloud Storage (GCS)

2. Compute Cluster

   • 여러 대의 서버로 구성된 클러스터

3. Resource Manager (Cluster Manager)

   • YARN
   • Kubernetes
   • Standalone
   • Mesos (과거)

4. Spark Framework

   • Spark Core
   • Spark SQL
   • Streaming
   • MLlib
   • GraphX

5. Programming API / DSL

   • Scala
   • Java
   • Python (PySpark)
   • R

📌 시험 포인트

• Spark는 반드시 Cluster Manager 위에서 실행
• Spark는 스토리지와 분리된 구조

---

4. Spark Core & 언어 지원

Spark Core

• Spark의 핵심 실행 엔진
• RDD 기반 API 포함

지원 언어

• Scala (Spark의 원래 언어)
• Java
• Python (PySpark) ⭐
• R

📌 시험 포인트

• Spark Core = RDD API
• 실무 & 시험에서는 DataFrame API 사용

---

5. Spark가 인기 있는 이유

(1) 높은 추상화 (High Abstraction)

• 분산 처리 복잡성 숨김
• 개발자는 SQL 또는 DataFrame만 작성

(2) 사용하기 쉬움

• SQL 기반 접근 가능
• 다양한 언어 지원

(3) Unified Platform

• SQL + Batch + Streaming + ML + Graph
• 하나의 엔진에서 모두 처리

(4) Open Source & 풍부한 생태계

• 수많은 기업 사용
• Fortune 500의 약 80% 사용

📌 시험 포인트

• Spark의 핵심 장점 = Unified + Abstraction

---

6. Apache Spark가 “아닌 것” (중요 ⭐⭐⭐)

Spark는 강력하지만 엔터프라이즈 솔루션으로는 부족한 부분이 있음

(1) 자체 스토리지 ❌

• Spark는 데이터를 저장하지 않음
• 항상 외부 스토리지 필요 (S3, HDFS 등)

(2) ACID 트랜잭션 ❌

• Spark 자체는 ACID 보장 안 함
• Atomicity, Consistency, Isolation, Durability 미지원

(3) 중앙 메타데이터 카탈로그 ❌

• 단순한 내부 카탈로그만 존재
• Enterprise-grade Catalog 없음

(4) 클러스터 관리 ❌

• Spark로 클러스터 생성/삭제 불가
• Cluster Manager의 역할

(5) 자동화 도구 부족 ❌

• 배포, 모니터링, 운영 자동화 기능 미흡

📌 시험 포인트

• Spark는 엔진이지 플랫폼이 아니다

---

7. 왜 Spark “플랫폼”이 필요한가?

엔터프라이즈 환경에서는 다음이 필요함:

• ACID 보장
• 메타데이터 관리
• 보안
• 자동화
• 운영 편의성

👉 그래서 Spark + Platform 조합이 필요

---

8. 대표적인 Spark 플랫폼들 (시험 단골)

(1) Cloudera Hadoop

• 온프레미스 Hadoop 플랫폼
• YARN 기반
• Spark 실행 가능

(2) Amazon EMR

• AWS 관리형 Hadoop/Spark
• 내부적으로 Hadoop + YARN 사용

(3) Azure HDInsight

• Azure 기반 Hadoop/Spark 서비스

(4) Google Dataproc

• GCP 기반 Hadoop/Spark 서비스

📌 공통점

• 모두 Hadoop 기반
• YARN 사용

---

9. Databricks의 차별점 ⭐⭐⭐

Databricks 특징

• Hadoop 기반 아님
• YARN 사용 안 함
• Spark 전용 Cloud Native 플랫폼
• 클라우드 최적화

Databricks는?

• Spark + ACID + Metadata + Automation 제공
• Delta Lake 기반
• Medallion Architecture 구현 가능

📌 시험 포인트

• Databricks = Pure Spark Platform
• On-Premise ❌, Cloud Only ⭕

---

10. 시험에 자주 나오는 한 줄 요약

• Spark는 데이터 처리 엔진
• Spark는 스토리지를 포함하지 않는다
• Spark는 ACID를 기본 제공하지 않는다
• Spark는 YARN / Kubernetes 위에서 실행
• Databricks는 Spark 기반 엔터프라이즈 플랫폼
• Hadoop 기반 플랫폼 ≠ Databricks

---

11. Medallion Architecture와 Spark (보너스)

• Spark 단독 ❌
• Spark + Delta Lake ⭕
• Databricks에서 Medallion Architecture 구현 가능
  • Bronze
  • Silver
  • Gold

📌 시험 포인트

• Medallion Architecture = Databricks + Delta Lake

---

✅ 마무리 한 문장 (시험용)

Apache Spark는 분산 환경에서 대규모 데이터를 처리하기 위한 Unified Data Processing Engine이며,
엔터프라이즈 환경에서는 Databricks 같은 플랫폼과 함께 사용된다.