Danny's Blog

🎯 Prompt Engineering TechniquesUnderstanding different prompting techniques is essential for getting the most out of Large Language Models (LLMs). These concepts are also important for AWS certification exams, especially when dealing with Amazon Bedrock and generative AI. 1. 🔹 Zero-Shot PromptingDefinition:Present a task to the model without providing any examples or prior training for that specific task. Prompt Example: 1Write a short story about a dog that helps solve a mystery. Respons...

🤖 LLM Text Generation & Prompt Optimization1. How Text is Generated in an LLMWhen a model generates text, it predicts the next word based on probabilities. Example:“After the rain, the streets were…”Possible next words and probabilities: wet (0.40) flooded (0.25) slippery (0.15) empty (0.10) muddy (0.05) clean (0.03) blocked (0.02) The model randomly selects a word according to these probabilities. 2. Prompt Performance Optimization🔹 System Prompts Define how the mode...

📖 LLM에서 텍스트 생성 과정 & 프롬프트 최적화1️⃣ 텍스트 생성 원리LLM(대규모 언어 모델)은 다음 단어가 무엇일지 확률적으로 계산해서 문장을 만들어 갑니다.예를 들어,“After the rain, the streets were …” 뒤에 올 수 있는 후보 단어와 확률이 있다고 할 때: wet (0.40) flooded (0.25) slippery (0.15) empty (0.10) muddy (0.05) 모델은 이 확률을 기반으로 무작위 선택(random sampling) 하여 다음 단어를 생성합니다.즉, LLM의 출력은 항상 확률적이므로, 같은 질문을 여러 번 해도 결과가 조금씩 달라질 수 있습니다. 2️⃣ 프롬프트 성능 최적화 (Prompt Performance Optimization)Amazon Bedrock 같은 서비스에서는 출력 품질을 조절할 수 있는 여러 파라미터를 제공합니다. 🔹 System Prompt 모델이 어떤 역할을 해...

📘 Prompt EngineeringWhat is Prompt Engineering?Prompt Engineering is the process of designing, refining, andoptimizing prompts to guide a foundation model (FM) or large languagemodel (LLM) toward producing the best possible output for your needs. A naïve prompt gives little guidance and leaves interpretation up tothe model.Example: “Summarize what is AWS.”This works, but the answer may not be clear or focused. By contrast, Prompt Engineering uses a structured approach toimprove results. Com...

📝 프롬프트 엔지니어링 (Prompt Engineering)프롬프트 엔지니어링은 AI 모델이 더 정확하고 원하는 답변을 내도록 질문(프롬프트)을 설계하고 최적화하는 기술을 말합니다.단순히 “AWS를 요약해줘” 같은 질문을 던지는 것보다, 구체적으로 지시, 맥락, 입력 데이터, 출력 형식을 포함하면 훨씬 좋은 결과를 얻을 수 있습니다. 1. 기본 개념 (Naïve Prompt vs. 개선된 Prompt) Naïve Prompt (단순 프롬프트)예: “AWS를 요약해줘.”👉 모델이 알아서 답하긴 하지만, 원하는 수준의 답변이 아닐 수 있음. Prompt Engineering (프롬프트 엔지니어링)👉 프롬프트를 설계하고 개선하여 원하는 답변을 얻는 방법.👉 4가지 핵심 요소: Instructions (지시사항) – 모델이 어떤 일을 해야 하는지 (예: “요약문 작성”) Context (맥락) – 모델이 참고할 추가 정보 (예: “AWS 초보자를 가르치는 상황”) ...

👗 Amazon Bedrock End-to-End Use Case (AI Stylist Demo)📌 Why This Demo MattersSo far, we’ve explored many features of Amazon Bedrock. But in reality, using Bedrock isn’t just about clicking around in the console.To build a real-world application, you need to make API calls to Bedrock and integrate those capabilities directly into your service. To demonstrate this, AWS provides an AI Stylist demo application.This demo shows how end users actually experience an application built on top of Be...

👗 Amazon Bedrock End-to-End Use Case (AI Stylist Demo)📌 왜 이 데모가 중요한가?앞에서 Amazon Bedrock의 여러 기능을 살펴봤지만, 실제로는 콘솔에서 클릭만 하는 것으로 끝나지 않습니다.실제 애플리케이션에서 Bedrock을 활용하려면 API 호출을 통해 Bedrock 기능을 불러오고, 이를 기반으로 서비스를 만들어야 합니다. AWS에서는 이를 보여주기 위해 AI Stylist라는 데모 애플리케이션을 제공합니다.이 데모를 통해 실제 사용자가 어떻게 Bedrock 기반 앱을 경험하는지 확인할 수 있습니다. 🔗 Try the AI Stylist Demo 📎 Demo Video: Your browser does not support the video tag. 👠 AI Stylist 동작 방식 사용자가 질문을 입력합니다. 예: “저는 컨설턴트인데, 다음 주 뉴욕 출장을 가는데 첫 출근 날 무슨...

📊 Amazon Bedrock & CloudWatch📌 CloudWatch란?Amazon CloudWatch는 AWS 리소스와 애플리케이션을 모니터링하는 서비스입니다.CloudWatch는 다음과 같은 기능을 제공합니다: Logs (로그) → 이벤트나 요청 내역을 기록 (디버깅에 유용) Metrics (지표) → 시스템 성능을 수치로 모니터링 Alarms (알람) → 특정 기준을 넘었을 때 알림 전송 Dashboards (대시보드) → 모니터링 정보를 시각화 👉 시험에 자주 나오는 포인트: CloudWatch Logs: 이벤트·로그 기록 CloudWatch Metrics: CPU, 메모리, 지연 시간 같은 성능 수치 CloudWatch Alarms: 기준치 초과 시 알림 CloudWatch Dashboards: 모니터링 결과 시각화 🔑 Bedrock + CloudWatch 연동1. 모델 호출(Invocation) 로깅 Bedrock...

🤖 Amazon Bedrock – Agents (에이전트)📌 에이전트란?Amazon Bedrock의 에이전트(Agents) 는 단순히 질문에 답변하는 모델이 아니라, 여러 단계를 계획하고 실행할 수 있는 고급 기능입니다.즉, 사람이 “생각하고 → 계획하고 → 행동하는” 과정을 흉내 내서 실제 작업까지 자동으로 수행할 수 있습니다. 에이전트는 단순 텍스트 생성 외에도 다음과 같은 일을 할 수 있습니다: AWS 인프라 생성 (서버, S3, Lambda 등) 애플리케이션 배포 자동화 데이터베이스/시스템 작업 수행 외부 API 및 사내 시스템 연동 🔑 Bedrock Agents 주요 특징 멀티스텝 작업 실행: 단순 질의응답이 아니라, 여러 단계를 거쳐 복잡한 업무를 수행 작업 순서 제어: 각 단계가 올바른 순서로 실행되고, 데이터가 단계 간 잘 전달됨 액션 그룹(Action Groups): API, Lambda 함수 등 미리 정의된 작업 단위를 사용 ...

🛡️ Amazon Bedrock – Guardrails (가드레일)📌 Guardrails란 무엇인가?Amazon Bedrock의 Guardrails(가드레일) 은 사용자가 입력한 내용과 모델이 생성하는 답변을 필터링하고 제어하는 안전장치입니다.즉, AI가 잘못된 답변이나 위험한 내용을 내놓지 않도록 보호막 역할을 합니다. 🔑 Guardrails 주요 기능 유해 콘텐츠 차단욕설, 혐오 표현, 성적인 내용, 폭력적인 내용 등을 자동으로 차단 특정 주제 제한민감하거나 허용하지 않은 주제(예: 의료 조언, 법률 상담, 레시피 등)는 답변하지 않도록 설정 개인정보 보호(PII)이메일, 전화번호, 주소 같은 개인정보를 자동 감지 후 마스킹 처리 환각(Hallucination) 줄이기모델이 근거 없는 답변을 하지 않도록 맥락 기반 사실 확인(grounding) 적용 금지어(Word Filter)직접 정의한 특정 단어·문구를 차단 정규식(Regex) 필터예: 신용카드 번호,...