Danny's Blog

Amazon SageMaker – ML Governance & Productivity (Exam-friendly Guide)This rewrite keeps things simple, adds missing context, and highlights what typically shows up on AWS exams. Why “ML Governance” mattersOnce a model is in production, you need to know what it does, who can touch it, how it’s behaving, and how it changes over time. SageMaker gives you a set of tools to do exactly that. Model documentation & visibilitySageMaker Model Cards A living document for each model: intended u...

SageMaker – ML 거버넌스 및 확장 기능SageMaker 거버넌스 도구머신러닝 모델을 실제 서비스에 배포했다면, 거버넌스(Governance) 가 필수적입니다. SageMaker는 이를 위해 다양한 도구를 제공합니다. 1. SageMaker Model Cards 모델의 필수 정보를 문서화하는 카드 형식 예시: 모델의 의도된 사용 목적 모델 리스크 등급 학습 데이터 및 훈련 과정 상세 시험 포인트: “Model Cards = 모델 문서화” 2. SageMaker Model Dashboard 모든 모델을 중앙에서 조회·검색·탐색할 수 있는 포털 예시: 어떤 모델이 현재 배포되어 추론(Inference)에 사용되는지 추적 가능 품질 관리: 데이터 품질, 모델 품질, 편향(Bias), 설명 가능성(Explainability) 위반 여부 확인 시험 포인트: “중앙 대시보드, 품질 및 편향 모니터링” -----------------...

SageMaker – 데이터 준비 및 모델 신뢰성 도구1. SageMaker Data Wrangler머신러닝을 하기 전에 가장 중요한 단계는 데이터 준비입니다. SageMaker Data Wrangler는 표 형식 데이터(tabular)와 이미지 데이터를 손쉽게 준비할 수 있는 도구입니다. 주요 기능: - 데이터 선택, 정제, 탐색, 시각화, 처리까지 단일 인터페이스에서 수행 데이터 변환 및 피처 엔지니어링(feature engineering) 지원 SQL 쿼리 지원 → 데이터 분석 경험이 있는 사람에게 친숙 데이터 품질(Data Quality) 도구 제공 → 결측치, 잘못된 포맷 탐지 활용 단계: 데이터 불러오기 (Import) → S3, Redshift 등 다양한 소스에서 불러오기 데이터 미리보기 (Preview) → 열 이름, 타입 확인 데이터 시각화 (Visualize) → 분포도, 상관관계 그래프 생성 ...

Amazon SageMaker Data Tools and Model EvaluationSageMaker Data WranglerSageMaker Data Wrangler is a tool designed to make data preparation easier before building machine learning (ML) models. With Data Wrangler, you can: - Prepare tabular and image data for ML Perform data preparation, transformation, and feature engineering Use a single interface for: - Data selection - Cleansing - Exploration - Visualization - Processing Run SQL queries directly Use the Data Quality tool to check for missa...

Amazon SageMaker AIWhat is Amazon SageMaker? Fully managed ML service for developers and data scientists. Handles the entire machine learning lifecycle: Collect and prepare data Build and train models Deploy models and monitor predictions Removes the need to manually provision servers or manage infrastructure. Example use case: predicting AWS exam scores using student history. ------------------------------------------------------------------------ Built-in AlgorithmsSageMake...

Amazon SageMaker (AI)1. SageMaker 개요 Amazon SageMaker는 개발자와 데이터 과학자를 위한 완전 관리형 머신러닝 서비스입니다. 머신러닝의 모든 과정을 한 곳에서 처리할 수 있도록 지원합니다: 데이터 수집 및 준비 모델 학습 및 튜닝 모델 배포 및 성능 모니터링 원래는 머신러닝을 하기 위해 직접 서버를 세팅하고, 환경을 구성해야 하지만 SageMaker는 이런 과정을 크게 단순화합니다. 예시: AWS 시험 점수를 예측하는 모델을 SageMaker로 쉽게 만들어볼 수 있습니다. 👉 시험 포인트: SageMaker는 머신러닝 end-to-end 플랫폼이며, 관리형 서비스임을 기억하세요. 2. SageMaker 주요 기능(1) End-to-End ML Service 데이터 준비 → 모델 학습/튜닝 → 배포 및 모니터링 데이터 파이프라인 전체 과정을 지원. (2) 내장 알고리즘 (Built-in Algor...

Amazon EC2 (Elastic Compute Cloud)기본 개념 EC2 = Elastic Compute Cloud → AWS의 대표적인 IaaS (Infrastructure as a Service) 서비스. 클라우드에서 가상 서버(인스턴스)를 임대하는 개념. EC2를 이해하는 것은 클라우드 기본 개념을 이해하는 데 핵심. 주요 기능 가상 서버 임대 (EC2 Instance) 스토리지 연결: EBS(Elastic Block Store), EFS, 또는 인스턴스 스토어(하드웨어 기반). 로드 밸런싱 (ELB): 여러 서버에 트래픽 분산. 오토 스케일링 (ASG): 트래픽 변화에 따라 서버 자동 확장/축소. EC2 인스턴스 설정 옵션 운영체제 (OS): Linux, Windows, macOS 지원. CPU: 코어 수와 연산 성능 선택 가능. 메모리 (RAM): 애플리케이션 요구사항에 맞게 조정. 스토리지: 네트워크 연결 스토리지 → EBS, EFS 하드...

Amazon EC2 (Elastic Compute Cloud)What it is EC2 = Elastic Compute Cloud → AWS’s most popular IaaS (Infrastructure as a Service) offering. With EC2, you can: Rent virtual machines (instances). Attach storage with EBS (Elastic Block Store) or EFS. Distribute traffic with ELB (Elastic Load Balancing). Scale automatically with Auto Scaling Groups (ASG). Why it matters: Understanding EC2 is fundamental to understanding the AWS Cloud. EC2 Sizing & Configuration OptionsWhen launching a...

Amazon Mechanical Turk (MTurk)개요 Amazon Mechanical Turk은 크라우드소싱 기반 인력 마켓플레이스입니다. 전 세계에 분산된 가상 인력을 통해 간단한 작업(HIT, Human Intelligence Task)을 저렴하게 처리할 수 있습니다. 이름은 18세기 체스 자동인형 *”Mechanical Turk”*에서 유래되었는데, 사실 안에 사람이 들어가 체스를 두던 일종의 착시였음. 사용 예시 이미지 라벨링: 1천만 장의 이미지를 태깅해야 한다면, 작업을 MTurk에 배포 → 전 세계 작업자가 참여해 태깅 수행. 보상 예: 이미지당 $0.10 지급 → 1천만 장 처리 시 약 $100만 비용 발생. 단순 업무(데이터 분류, 수집, 설문조사, 콘텐츠 검토 등)에 최적. 통합 Amazon A2I (Augmented AI), SageMaker Ground Truth와 연동되어 AI 학습용 데이터 라벨링에 활용 가능. 👉 시험 포인트 ...

Amazon Mechanical Turk (MTurk)What it is Amazon Mechanical Turk (MTurk) is a crowdsourcing marketplace for simple human tasks (HITs, or Human Intelligence Tasks). It provides a distributed virtual workforce—humans across the globe who can complete small tasks for pay. The name comes from an 18th-century chess-playing automaton called “The Mechanical Turk”, which was actually secretly operated by a human. Example You have 10 million images and need labels. Instead of hiring a full-time...