DATABRICKS-Fundamentals-3
1. Azure Free Account ์์ฑ
Azure Free Account ํํ
- ๐ณ $200 ํฌ๋ ๋ง (30์ผ)
- ๐ ์ธ๊ธฐ Azure ์๋น์ค 12๊ฐ์ ๋ฌด๋ฃ
- ๐ 40๊ฐ ์ด์ Always Free ์๋น์ค
โ ๏ธ ์ฃผ์
$200 ํฌ๋ ๋ง์ 30์ผ ํ ์๋ฉธ
โ ์ค์ต์ ๊ฐ๊ธ์ ํ ๋ฌ ๋ด์ ์๋ฃ ๊ถ์ฅ
๊ณ์ ์์ฑ ์ ์ฐจ ์์ฝ
- https://azure.microsoft.com ์ ์
- Start free ํด๋ฆญ
- Microsoft ๊ณ์ ๋ก๊ทธ์ธ ๋๋ ์ ๊ท ์์ฑ
- ์ด๋ฉ์ผ + ํด๋ํฐ ์ธ์ฆ
- ์ฃผ์ ์ ๋ ฅ
- Visa / MasterCard ์นด๋ ๋ฑ๋ก
- ์์ก ์ธ์ฆ๋ง ๋ฐ์
- ์๋ ๊ณผ๊ธ โ (์๋ ์ ๊ทธ๋ ์ด๋ ์ ๊น์ง)
2. Azure Portal ๊ธฐ๋ณธ ์ฌ์ฉ๋ฒ
Azure Portal ์ ์
์ฃผ์ ๊ตฌ์ฑ ์์
- ๐ Search Bar: ๋ชจ๋ Azure ์๋น์ค ๊ฒ์
- ๐ Resource Group: ๋ฆฌ์์ค ๋ฌถ์ ๊ด๋ฆฌ
- ๐ป Cloud Shell: Browser ๊ธฐ๋ฐ Bash / PowerShell
- ๐ Azure Active Directory (Entra ID) ์๋ ์์ฑ
์ค๋ฌด ํ
๐ ์๋น์ค ์ด๋ฆ์ ์๊ณ ์์ผ๋ฉด ๊ฒ์์ฐฝ ์ฌ์ฉ์ด ๊ฐ์ฅ ๋น ๋ฆ
3. Azure Databricks Workspace ์์ฑ
Workspace๋?
- Azure ์์์ ์คํ๋๋ Databricks ์ ์ฉ ๊ด๋ฆฌ ๋จ์
- ํ๋์ ํ๋ก์ ํธ = ํ๋์ Workspace ๊ถ์ฅ
์์ฑ ์ ์ฐจ
- Azure Portal โ ๊ฒ์์ฐฝ์ Azure Databricks
- Create ํด๋ฆญ
๊ธฐ๋ณธ ์ค์ (์ค์)
| ํญ๋ชฉ | ๊ถ์ฅ ๊ฐ |
|---|---|
| Subscription | Pay-as-you-go |
| Resource Group | ํ๋ก์ ํธ๋ณ 1๊ฐ |
| Workspace Name | ๋ช ํํ ์ด๋ฆ |
| Region | East US (์ ๋ ด) |
| Pricing Tier | Premium (๊ถ์ฅ) |
Premium ์ ํ ์ด์
- Role Based Access Control (RBAC)
- Unity Catalog ์ฌ์ฉ ๊ฐ๋ฅ
- ์ค๋ฌด ํ์ ๊ธฐ๋ฅ ํฌํจ
์์ฑ ์๋ฃ
- ์ฝ 5~10๋ถ ์์
- ์๋ฃ ํ Launch Workspace ๋ฒํผ ํ์ฑํ
4. Databricks Workspace ์ ์ ๋ฐฉ๋ฒ
๋ฐฉ๋ฒ 1: Azure Portal ๊ฒฝ์
- Azure Portal โ Workspace โ Launch Workspace
๋ฐฉ๋ฒ 2: Workspace URL ์ง์ ์ ์
- Workspace URL ๋ณต์ฌ โ ๋ธ๋ผ์ฐ์ ์ง์ ์ ์
- Azure SSO๋ก ์๋ ๋ก๊ทธ์ธ
โ๏ธ ์ค๋ฌด์์๋ URL ์ง์ ์ ์ ๋ฐฉ์์ด ๊ฐ์ฅ ํํจ
5. Databricks Workspace ๊ธฐ๋ณธ ๊ตฌ์ฑ
์ฃผ์ ๋ฉ๋ด
- Workspace: Notebook / Folder ๊ด๋ฆฌ
- Compute: Cluster ๊ด๋ฆฌ
- Catalog: Unity Catalog (Premium)
- Jobs: ๋ฐฐ์น ์์ ์ค์ผ์ค๋ง
- Repos: Git ์ฐ๋
- Admin: ์ฌ์ฉ์ / ๊ถํ / ์ ์ฑ ๊ด๋ฆฌ
6. ์ค๋ฌด์์ ๊ฐ์ฅ ๋จผ์ ํ๋ ์์ ์์
1๏ธโฃ Cluster ์์ฑ
- Compute โ Create Cluster
- Auto Termination ์ค์ (๋น์ฉ ์ ๊ฐ ํ์)
- Small VM์ผ๋ก ์์ ๊ถ์ฅ
2๏ธโฃ Notebook ์์ฑ
- Workspace โ Create โ Notebook
- Python / SQL / Scala ์ ํ
3๏ธโฃ ๋ฐ์ดํฐ ์ฐ๊ฒฐ
- Azure Blob Storage / ADLS Gen2
- Managed Identity ๋๋ Access Connector ์ฌ์ฉ
4๏ธโฃ Delta Lake ์ฌ์ฉ
- ACID ํธ๋์ญ์
- Time Travel
- Schema Enforcement
7. ๋น์ฉ ๊ด๋ฆฌ ์ค์ ํ โญ
- โฑ Auto Termination ํ์
- โ ์ฌ์ฉ ์ ํ ๋ Cluster ์ฆ์ ์ข ๋ฃ
- ๐ฆ Workspace๋ ์ ์ง (๋น์ฉ ๊ฑฐ์ ์์)
- ๐งน ์ค์ต ์ข ๋ฃ ํ Resource Group ์ญ์
8. Azure + Databricks ์ค๋ฌด ๊ตฌ์กฐ ์์ฝ
1 | Azure Subscription |
9. ์ถ์ฒ ํ์ต ํ๋ฆ
- Azure Account ์์ฑ
- Databricks Workspace 1๊ฐ ์์ฑ
- Cluster ์์ฑ
- Notebook ์ค์ต
- ADLS + Delta Lake ์ฐ๋
- Jobs & Automation
๋ง๋ฌด๋ฆฌ
Azure Databricks๋
๐ Azure ์ธํ๋ผ + Databricks ๋ฐ์ดํฐ ํ๋ซํผ์ ๊ฒฐํฉ์
๋๋ค.
์ฒ์์๋ Azure Portal โ Workspace ์์ฑ์ด ํต์ฌ์ด๊ณ ,
๊ทธ ์ดํ๋ถํฐ๋ Databricks UI ์ค์ฌ์ผ๋ก ์์
ํ๊ฒ ๋ฉ๋๋ค.
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
