Danny's Blog

1. Apache Spark란?Apache Spark는👉 분산 클러스터 환경에서 대규모 데이터를 빠르게 처리하기 위한 데이터 처리 엔진(Engine) 입니다. Spark는 다음 작업을 하나의 통합된 프레임워크에서 처리할 수 있습니다. 배치 데이터 처리 (Batch Processing) 스트리밍 데이터 처리 (Stream Processing) 머신러닝 (Machine Learning) 그래프 처리 (Graph Processing) SQL 기반 데이터 분석 📌 시험 포인트 Spark는 데이터베이스가 아니다 Spark는 스토리지 시스템이 아니다 Spark는 데이터 처리 엔진(Processing Engine) 이다 2. Spark가 제공하는 주요 API (Unified Framework)Spark는 하나의 엔진 위에서 여러 API를 제공합니다. (1) Spark SQL & DataFrame API SQL 기반 데이터 처리 ANSI SQL 호환 가장 많이 사용됨 ⭐⭐...

.toc-grid{ display:grid; grid-template-columns:1fr 1fr; /* 화면 반반 */ gap:6px 20px; align-items:start; } @media (max-width:760px){ .toc-grid{ grid-template-columns:1fr; } } /* 섹션 타이틀은 두 칼럼 전체를 차지 */ .toc-section{ grid-column:1 / -1; margin:12px 0 6px; font-size:1.1rem; font-weight:700; } /* 링크 공통 스타일 */ .toc-grid a{ display:block; padding:2px 0; word-break:keep-all; } 내 소개 및 전반적인 질문 나의 소개 왜 이직하니? 보잉이란 그리고 지원동기? 최근 프로젝트 이슈 - 데이터 볼륨증가 3~4TB 이슈 - 스키마 변경 데이터 웨어하우스 설계 데이터 웨어하우...

📘 Teradata Studio – SQL History 창 완전 정리Teradata SQL History 창 설정, 컬럼 선택, 노트 기능, 복원 방법 📍 1. SQL History 창 복원하기SQL History 창을 실수로 닫았거나 사라졌다면: Window → Reset Perspective 를 눌러주면 기본 레이아웃으로 복원됩니다.→ History 창, Result Viewer 등 모든 패널이 원래 위치로 돌아옵니다. 📍 2. SQL History 창 컬럼(Columns) 커스터마이징SQL History는 기본적으로 매우 많은 컬럼을 보여줍니다.예: Timestamp, Source, User, Destination, Row Count, Result, SQL Statement 등 필요 없는 컬럼이 많으면 화면이 복잡해지므로 원하는 항목만 선택할 수 있습니다. 🔧 설정 경로Window → Preferences → Teradata Datatools → SQL His...

📘 Teradata Studio 환경 설정 및 화면 커스터마이징Teradata Studio 뷰 변경 / 폰트 수정 / Result Viewer 설정 / 행 색상 변경 등 📍 1. 하단 창(History 등) 숨기기 / 보이기Teradata Studio에서 하단의 SQL History 또는 기타 창이 공간을 많이 차지할 때: 창 우측 상단의 minimize( — ) 버튼 클릭 → 창이 접힘 다시 보고 싶을 때는 아래 도킹된 탭을 클릭하면 다시 나타남 ✔ 화면을 넓게 쓰고 싶을 때 매우 유용한 기능 📍 2. 폰트 크기 / 스타일 변경하기경로:Window → Preferences → General → Appearance → Colors and Fonts 여기서 다양한 UI 요소의 폰트와 색상을 조정할 수 있습니다. 🔸 폰트 종류 설명 글자 옆에 A 아이콘이 있으면 “폰트 관련” A가 없으면 배경색/전경색 같은 “색상...

📘 Teradata Studio 기본 화면 이해하기기초 UI 설명 + SQL 실행 방법 + 트랜잭션 모드 개념 📍 1. Teradata Studio 첫 화면 구성Teradata Studio를 실행하면 다음과 같은 주요 영역을 보게 됩니다. 🔹 1) 상단 메뉴(File / Edit / Window 등)일반적인 파일 관리, 보기 설정, 환경설정 변경 등을 수행합니다. 🔹 2) Studio Toolbar쿼리 실행, 저장, 새 연결 생성 등 자주 사용하는 기능 아이콘들이 위치합니다. 🔹 3) Data Source Explorer (좌측 영역)Teradata에 연결된 데이터베이스 / 유저 / 테이블 / 뷰 등을 탐색할 수 있는 가장 중요한 패널입니다. 🔹 4) Project ExplorerSQL 파일이나 프로젝트를 로컬에 저장하여 관리할 때 사용합니다. 🔹 5) SQL Editor (중앙 상단)SQL을 작성하는 공간입니다.예: 1...

1. Two SumLink : https://leetcode.com/problems/two-sum/description/?difficulty=EASY Hash Map (딕셔너리 이용)보조 공간을 이용해 빠르게 차이를 찾는 방식. 시간 복잡도: O(n) 공간 복잡도: O(n) 1234567891011class Solution: def twoSum(self, nums: List[int], target: int) -> List[int]: num_map = {} for index, num in enumerate(nums): diff = target - num if diff in num_map: return [num_map[diff], index] num_map[num] = index Sorting + Two Pointers...

👁️ Databricks + Computer Vision Anomaly Detection & Model DeploymentA complete guide to anomaly detection with Databricks and Apache Spark “From data ingestion to real-time serving — build and deploy scalable computer vision anomaly detection models.” 📎 Full Project:👉 View Jupyter Notebooks on GitHub 📌 One-Line SummaryThis project provides a full pipeline for computer vision–based anomaly detection, covering data ingestion, preprocessing, model training, deployment, and RES...

Amazon S3 보안 (Amazon S3 Security)Amazon S3는 단순한 저장소 서비스지만, 보안(Security) 을 제대로 설정하지 않으면 데이터 유출(Data Leak)과 같은 심각한 문제가 발생할 수 있습니다. AWS Certified Machine Learning Engineer – Associate 시험에서도 자주 출제되는 주제이므로 꼭 이해해야 합니다. 1. S3 보안 유형🔹 User-Based (IAM 기반) IAM PoliciesIAM(Identity and Access Management)에서 특정 사용자(User) 또는 그룹(Group)에 대해 어떤 API 호출(API Calls)을 허용할지 정의합니다.→ 예: s3:GetObject 권한 부여. 🔹 Resource-Based (리소스 기반) Bucket Policies JSON 기반 정책으로, 버킷 전체에 대한 접근 권한을 설정합니다. Cross-Account Access(계정...

Amazon S3 핵심 정리 왜 중요한가?Amazon S3(Simple Storage Service)는 AWS의 핵심 스토리지 서비스로, “사실상 무한대(virtually unlimited)” 확장성을 제공하는 객체 스토리지(Object Storage) 입니다. 대부분의 데이터/AI 워크로드가 S3를 중심으로 연결되며, 다른 AWS 서비스와의 통합성이 매우 뛰어납니다. 1) S3가 쓰이는 곳 (Use Cases) 백업 & 스토리지(Backup & Storage): 장기 보관, 스냅샷 저장. 재해복구(Disaster Recovery, DR): 다른 리전(Region) 으로 복제해 RTO/RPO 개선. 아카이브(Archive): 저비용 보관(S3 Glacier 계열) 후 필요 시 복원. 하이브리드 스토리지(Hybrid Cloud Storage): 온프레미스 + 클라우드 연동. 애플리케이션/미디어 호스팅(App/Media Host...