DATABRICKS-Fundamentals-4

1. Databricks Workspace란?

Databricks Workspace는
👉 Databricks 플랫폼을 사용하는 모든 작업의 출발점입니다.

코드 작성 (Notebook)
데이터 처리 (Spark / SQL)
클러스터 생성 및 관리
워크플로우(Job) 생성
데이터 거버넌스, ML, SQL 분석

👉 Databricks에서 하는 모든 작업은 Workspace에서 시작합니다.

2. Workspace 홈 화면 개요

상단(Home) 영역

최근 사용한 항목 (Recent)
즐겨찾기 (Favorites)
빠른 시작용 바로가기

강의 팁
👉 초반에는 거의 사용하지 않음
👉 실제 작업은 왼쪽 메뉴가 핵심

메뉴 확장/축소

기본은 축소 상태일 수 있음
마우스를 가져가면 자동 확장
⚙️ 강의 시에는 항상 확장 상태 추천

4. Workspace 메뉴 (가장 중요 ⭐)

역할

👉 코드와 파일이 저장되는 공간

구조

Workspace
 ├── Shared
 └── Users
     └── <사용자명>

Users > 내 홈 디렉토리

개인 작업 공간
생성 가능 항목:
- 📁 Folder
- 📓 Notebook (Python / SQL / Scala)
- 📄 File
- 📊 Dashboard
- 🔔 Alert

중요 포인트
👉 “Notebook은 결국 Workspace 안에 저장된다”

5. Repos (소스코드 관리)

기능

GitHub / GitHub Enterprise
Azure DevOps
Bitbucket 등 연동 가능

활용

Git 기반 개발
Commit / Pull / Push 가능
협업 필수 기능

실무 팁
👉 개인 학습: Workspace
👉 팀/프로젝트: Repos 필수

6. Catalog (Catalog Explorer)

역할

👉 메타데이터 관리 화면

표시되는 항목:

Databases
Tables
Views
Functions

이후 학습 주제

Unity Catalog

데이터 권한 관리

7. Workflow (Jobs)

역할

👉 배치 작업 & 파이프라인 관리

가능한 작업:

Job 생성
Task 간 의존성 설정
스케줄링 (Cron)
재시도 / 실패 처리

하위 기능

Jobs
Job Runs
Delta Live Tables (DLT)

8. Compute (클러스터 관리)

역할

👉 Spark 실행을 위한 컴퓨트 리소스 관리

생성 가능한 리소스:

All-purpose Cluster
Job Cluster
SQL Warehouse
Cluster Pool
Cluster Policy

핵심 메시지
👉 Azure Portal이 아니라 Databricks에서 클러스터 생성

9. Data Ingestion

목적

👉 외부 데이터를 Databricks로 가져오기

방식

Native Spark Connectors
Partner Tools (Fivetran 등)

중요 포인트
👉 “Databricks는 처리 플랫폼, 수집은 도구 선택”

10. Delta Live Tables (DLT)

개념

Declarative ETL
파이프라인 정의 기반 처리

위치

Workflow 메뉴 하위

이후 심화 주제

11. SQL 메뉴

Databricks는 서버리스 데이터 웨어하우스 역할도 수행

가능한 작업:

SQL Warehouse 생성
SQL Editor
Dashboard
Alert
Query History

SQL 중심 분석가 대상 기능

12. Machine Learning 메뉴

ML 관련 기능 제공:

Experiments
Models
Feature Store
MLflow

데이터 엔지니어 → ML 엔지니어 확장 포인트

13. Marketplace

기능

외부 데이터 구매/구독
무료/유료 데이터셋

기반 기술

Delta Sharing

14. Partner Connect

목적

👉 외부 솔루션과 원클릭 연동

파트너 예시:

Data Ingestion
Visualization (Tableau 등)
Security
Governance
ML Tools

15. 우측 상단 메뉴

항목

User Settings
Admin Settings
Manage Account (Admin Console)
Logout

관리자는 Admin Settings 자주 사용

16. 강의용 핵심 요약 (한 문장씩)

Workspace = Databricks의 모든 작업 시작점
코드 저장 = Workspace
실행 환경 = Compute
자동화 = Workflow
메타데이터 = Catalog
SQL 분석 = SQL 메뉴
ML = Machine Learning 메뉴

17. 추천 강의 흐름

Workspace UI 전체 구조 설명
Workspace → Notebook 생성
Compute → Cluster 생성
Notebook 실행
Workflow → Job 만들기

마무리

Databricks Workspace는 단순한 UI가 아니라
👉 데이터 엔지니어링 작업의 컨트롤 타워입니다.