생성형 AI의 역량과 과제 (시험 포인트 포함)

아래 내용은 강의자료와 대본을 바탕으로 쉽고 자연스럽게 정리/확장한 것입니다. 특히 AWS 자격증(특히 AWS Certified AI Practitioner,ML–Specialty, SAP/Architect) 대비에 유리하도록 시험에 자주 나오는 개념과 실무 팁을 함께 넣었습니다.

1) 생성형 AI가 잘하는 것 (Capabilities)

적응성(Adaptability): 다양한 도메인과 태스크로 빠르게 전이·적용 가능
반응성(Responsiveness): 프롬프트에 즉시 응답, 대화형 인터페이스에 적합
단순성(Simplicity): 사용자 입장에선 프롬프트만 잘 쓰면 복잡한 작업도 가능
창의성·탐색(Creativity & Exploration): 아이디어 발산, 초안/프로토타이핑에 강함
데이터 효율(Data Efficiency): 사전학습 덕분에 비교적 적은 추가 데이터로도 튜닝 가능
개인화(Personalization): 프롬프트/세션/미세조정으로 사용자 맥락 반영
확장성(Scalability): 서버리스/오토스케일링 조합으로 대규모 트래픽 처리 용이

시험 포인트
“생성형 AI의 장점”을 묻는 문항에서는 창의성, 적응성, 개인화, 확장성 등을 키워드로 기억하세요.

2) 생성형 AI의 주요 과제 (Challenges)

규제 위반: 산업 규제(금융, 의료 등)와 지역 규정(GDPR 등) 미준수 위험
사회적 리스크: 허위정보 확산, 차별/편향 강화, 저작권 분쟁 등
데이터 보안·개인정보: 프롬프트·로그·학습데이터에서의 PII 노출
유해성(Toxicity): 공격적·부적절한 발화 생성
환각(Hallucination): 그럴듯하지만 사실이 아닌 내용 생성
해석가능성(Interpretability) 부족
비결정성(Nondeterminism): 같은 입력에도 출력이 매번 달라짐
표절·부정행위: 에세이 대필, 코드 부정 사용 등

시험 포인트
“환각” 정의와 대응책(RAG, 출처명시, 검증 프로세스), “비결정성” 제어(온도/탑P/디터미니스틱 디코딩) 같은 실무적 완화책을 자주 물어봅니다.

3) 유해성(Toxicity)

문제: 공격적/불쾌/부적절 콘텐츠 생성. 인용(quote) 허용 여부 등 경계가 모호.
대응
- 데이터 정제: 학습·튜닝 데이터에서 유해표현 제거/완화
- 가드레일: Guardrails for Amazon Bedrock로 주제 차단, 욕설/증오표현 필터, PII 마스킹
- 휴먼 리뷰: Amazon A2I로 저신뢰 결과의 인간 검수

------------------------------------------------------------------------

4) 환각(Hallucinations)

정의: 그럴듯하지만 사실이 아닌 주장을 생성(LLM의 확률적 샘플링 특성).
대응
- RAG(Retrieval-Augmented Generation): 벡터 검색 + 인용으로 최신·정확 근거 제시
- 출력에 출처 표기/“미검증(Needs Verification)” 라벨
- **온도(temperature)↓, 탑P↓**로 보수적 디코딩
- 중요 응답은 2차 검증(외부 소스/사람)
- SageMaker Clarify로 정확도/강건성 평가 및 드리프트 감시

시험 포인트
“환각을 줄이는 방법?” → RAG, 가드레일, 디코딩 파라미터 튜닝, 출처표기, 휴먼 검증.

5) 표절·부정행위

이슈: 과제 대필, 작성 샘플 위조, 출처 추적 어려움
대응
- 출처 요구(참고문헌/링크 의무화)
- 검출기 병행(완벽하진 않음) + 프로세스 기반 평가(면담·구술·버전관리)
- 가드레일로 시험·채점 맥락에서 과도한 자동화 방지

6) 프롬프트 오남용(공격) 유형과 방어

6-1) 공격 유형

데이터 중독(Training/Prompt Poisoning): 악성·편향 데이터 주입
프롬프트 인젝션/하이재킹: 은밀 지시문으로 모델 행태 왜곡(허위정보, 악성코드 유도)

노출(Exposure): 훈련·추론 중 민감정보 노출

프롬프트 리킹: 내부 프롬프트/시스템 지침 유출

탈옥(Jailbreaking): 안전장치 우회(다중 예시 “many-shot” 등 기법 활용)

6-2) 방어 전략 (AWS 관점)

Bedrock Guardrails: 금지 주제/욕설/PII 필터, 톤·스타일 규칙
네트워크·암호화: VPC 엔드포인트, AWS KMS로 저장/전송 암호화
최소권한(IAM) & SageMaker Role Manager로 역할 기반 접근
입력 정화: 시스템 프롬프트 분리, “지시보다 안전정책 우선“ 규칙 삽입
출력 검증: 콘텐츠 필터, A2I 휴먼리뷰
로깅·감사: CloudWatch/CloudTrail로 추적, 이상 징후 알림
데이터 격리: SageMaker 네트워크 격리 모드(아웃바운드 차단), 민감 데이터 비노출

시험 포인트
“프롬프트 인젝션 대응책” → 가드레일, 입력 정화, 최소권한, VPC·KMS, 로깅/감사, 휴먼 리뷰.

7) 규제 대상 워크로드(Regulated Workloads)

산업: 금융, 의료, 항공우주 등은 추가 규제/감사/보관/보안요건 필요
예시: 신용·대출 심사 결과(모델 출력)가 규제 대상 → 결정근거 보관·설명 가능성 필수

시험 포인트
공유 책임 모델(Shared Responsibility Model) 기억:

AWS: 클라우드 “of“ 보안(데이터센터·하드웨어·기본 서비스)

고객: 클라우드 “in“ 보안(데이터 분류, 접근통제, 암호화 설정, 모델 거버넌스)

8) AI 표준·컴플라이언스 과제

복잡성·불투명성: 의사결정 경로 감사 난이도
동적 변화: 모델·데이터가 시간에 따라 변함(버전관리/추적 필요)
예기치 못한 능력: 의도치 않은 활용 가능성
고유 위험: 알고리즘 편향, 프라이버시 침해, 허위정보
책임성: 설명가능성 요구(모델 내부/외부 설명, 출력 근거 제공)
규제 트렌드: EU AI Act, 미국(주·도시별) 규정 등 → 공정·비차별·인권 강조

AWS 컴플라이언스 생태계(대표)

ISO/NIST/ENISA/SOC/HIPAA/GDPR/PCI DSS 등 다수 인증(서비스별 지원 범위 상이)
해야 할 일: 서비스 인증 확인 + 자체 워크로드에 대한 추가 통제/감사 설계

9) 해석가능성 vs 설명가능성

해석가능성(Interpretability): “왜/어떻게 그 결정이 나왔는가”를 모델 구조 자체로 이해
- 높을수록 보통 성능은 단순(선형/의사결정나무 등)
설명가능성(Explainability): 내부를 몰라도 입출력 관계 설명(특성 중요도, 부분의존 등)
- SageMaker Clarify: SHAP 기반 중요도, 바이어스 측정·설명 제공
- PDP(Partial Dependence Plot): 하나의 특성이 예측에 미치는 평균적 영향 시각화

시험 포인트
Clarify = 바이어스 탐지 + 설명가능성 도구(특성기여/SHAP, 데이터·모델 편향 측정).

10) 모델 카드 & 서비스 카드

모델 카드(Model Cards): 모델의 의도된 사용, 위험등급, 데이터 출처/라이선스/편향, 학습·평가 지표 문서화
- SageMaker Model Cards로 중앙화 관리 → 감사·규제 대응에 유리
AWS AI Service Cards: Bedrock·Textract·Rekognition 등 서비스 수준의 책임감 있는 설계·한계·권장 사용 문서

시험 포인트
“감사 준비/규제 대응 문서화?” → SageMaker Model Cards / AWS AI Service Cards.

11) 운영 중 품질·거버넌스

SageMaker Model Monitor: 데이터/품질 드리프트 감시, 임계치 위반 알림 → 재학습 트리거
SageMaker Model Registry: 모델 버전·메타데이터·승인 상태 관리, 배포 자동화 연계
SageMaker Pipelines: ML CI/CD(처리→학습→튜닝→검증→등록→배포) 자동화
SageMaker Role Manager: 페르소나(DS/ML Ops 등)별 최소권한 설계

12) 데이터·편향 다루기

SageMaker Data Wrangler: 전처리·시각화·품질점검, 언더리프레젠티드 그룹 보강(데이터 증강)
SageMaker Feature Store: 재사용 가능한 고품질 피처 카탈로그로 일관성 확보
Clarify 바이어스 지표: 샘플링 편향·라벨 편향·성능 편향 등
통계적 측정

13) 실무 체크리스트 (요약)

요건 파악: 규제/감사/데이터 국외반출/보관기간
아키텍처 보안: VPC, KMS, 프라이빗 서브넷, 엔드포인트 정책
가드레일: Bedrock Guardrails(주제/PII/톤), 콘텐츠 필터
RAG: 최신성·정확성·출처 확보, “미검증” 라벨
로깅/감사: CloudWatch/CloudTrail, 프롬프트/응답 감사 가능성
거버넌스: Model Cards, Registry, Pipelines, Model Monitor
설명가능성: Clarify(SHAP, 편향), PDP/특성중요도 보고
휴먼 인더루프: 저신뢰 케이스 A2I 라우팅
비결정성 제어: temperature/top-p/beam 재현성 가이드(완전 결정적 보장은 어려움)

14) 미니 퀴즈(시험 대비)

환각을 줄이는 가장 효과적인 아키텍처 패턴은?
→ RAG + 출처표기 + 저온도 디코딩 + 휴먼검증
규제 산업에서 모델 결정을 설명·감사하려면 어떤 AWS 기능을 조합?
→ Model Cards + Clarify(설명/편향) + Model Monitor(드리프트) + Registry(버전/승인)
프롬프트 인젝션/탈옥 방지책 3가지?
→ Guardrails, 입력 정화·시스템프롬프트 보호, IAM 최소권한·VPC/KMS, (필요 시 A2I)