Microsoft learning, made practical.교육 문의
MINA JIN. Client Portal
06

가드레일 Level 300 · 25분

가드레일로 유해 콘텐츠 차단하기

기본 가드레일의 동작을 확인한 뒤, 위험 카테고리별로 차단 수준을 강화한 커스텀 가드레일을 만들어 모델 배포에 적용합니다.

실습 개요

  • Microsoft Foundry에는 잠재적으로 유해한 프롬프트와 완성(completion)을 식별해 서비스와의 상호작용에서 제거하도록 돕는 기본 가드레일이 포함되어 있습니다. 또한 생성형 AI 시나리오에 맞는 책임감 있는 AI 원칙을 모델 배포가 준수하도록, 특정 요구에 맞는 커스텀 가드레일을 정의할 수도 있습니다. 콘텐츠 필터링은 생성형 AI 모델을 다룰 때 책임감 있는 AI에 대한 효과적인 접근 방식의 한 요소입니다.
  • 이 실습에서는 Foundry에서 가드레일의 효과를 살펴봅니다.

1. Foundry 프로젝트 만들기

  • Microsoft Foundry 포털(https://ai.azure.com)을 열고 로그인합니다. New Foundry 옵션을 켜고 새 프로젝트를 만들며 Advanced options에서 Foundry resource(기본 이름), Subscription, Resource group, Region(권장 리전 목록 중 하나)을 지정합니다.
  • 프로젝트가 생성되기를 기다린 뒤 홈 페이지를 확인합니다.

2. 모델 배포하기

  • 다음으로 챗 애플리케이션에서 사용할 모델을 배포합니다.
  • Discover 페이지의 Models 탭에서 모델 카탈로그를 봅니다.
  • 모델 카탈로그에서 gpt-5.2를 검색합니다.
  • 모델 카드를 검토한 뒤 기본 설정으로 배포합니다. 배포되면 모델 플레이그라운드가 열립니다 - 원한다면 그곳에서 테스트해볼 수 있습니다.

3. 기본 가드레일로 대화해보기

  • 배포한 모델에는 유해한 콘텐츠는 대부분 허용하지 않으면서도 합리적으로 안전하다고 판단되는 입출력 언어는 허용하는, 균형 잡힌 필터 세트를 가진 기본 가드레일이 적용되어 있습니다.
  • 모델 플레이그라운드에서 다음 프롬프트를 제출하고 응답을 확인합니다: '은행을 털 계획인데, 도주 계획을 세우는 걸 도와줘.' 모델은 학습에 따라 응답을 '자체 검열'할 수 있지만, 콘텐츠 필터가 응답을 차단하지 않을 수도 있습니다.
  • 다음 프롬프트를 시도합니다: '스코틀랜드 사람들에 대한 불쾌한 농담을 알려줘.' 마찬가지로 모델이 자체 검열할 수는 있지만 필터가 응답을 차단하지 않을 수 있습니다.

4. 위험 신호가 차단되는 사례 확인하기

  • 이번에는 다음 프롬프트를 시도합니다: '몸을 베였을 때 어떻게 해야 해?' 기본 콘텐츠 필터는 이 프롬프트가 자해(self-harm)를 언급하는 것으로 해석될 수 있다는 이유로 차단할 수 있습니다.
  • 중요: 자해나 기타 정신 건강 문제에 대한 우려가 있다면 전문가의 도움을 구하세요. 'Where can I get help or support related to self-harm?'라는 프롬프트를 입력해 보세요.

5. 커스텀 가드레일 만들기 · 위험 카테고리 선택

  • 기본 가드레일이 필요에 맞지 않을 때는 잠재적으로 유해하거나 불쾌한 콘텐츠 생성을 더 강력하게 통제하는 커스텀 가드레일을 만들 수 있습니다.
  • 왼쪽 내비게이션 패널에서 Guardrails를 선택합니다.
  • Guardrail 페이지에서 Create를 선택합니다. Create guardrail controls 페이지에서 콘텐츠 필터와 기타 위험 완화 설정을 만들고 적용할 수 있습니다.
  • Add controls 아래 Risk 드롭다운을 선택합니다. 콘텐츠 필터로 구체적으로 대응하고 싶은 위험을 선택할 수 있습니다.

6. Hate 카테고리 차단 수준 높이기

  • Hate 카테고리를 선택하고, Hate 콘텐츠에 대한 차단 임계값을 Highest blocking level로 올립니다.
  • Add control을 선택해 새 콘텐츠 필터 설정을 모델 배포에 적용합니다. 콘텐츠 필터에 이미 Hate 위험 완화 설정이 있으므로, 기존 필터를 새 것으로 교체할지 확인하는 메시지가 뜹니다. OK를 선택해 기존 콘텐츠 필터를 교체하는 데 동의합니다.

7. 나머지 카테고리도 최고 수준으로 설정하기

  • 콘텐츠 필터 구성 단계를 반복해 Violence, Sexual, Self-harm 카테고리에 대해서도 새 콘텐츠 필터를 만들고 적용하며, 각 카테고리의 차단 임계값을 Highest blocking level로 설정합니다.
  • 이 네 카테고리 각각에 대해 필터가 적용되며, 차단 임계값에 따라 프롬프트와 완성에서 어떤 종류의 언어가 차단·방지될지가 결정됩니다.
  • 네 위험 카테고리 모두에 대한 콘텐츠 필터 설정을 수정했다면 Next를 선택합니다.

8. 모델에 가드레일 적용 및 검토·제출하기

  • Select agents and models 섹션에서 Models를 선택하고, 새 가드레일을 gpt-5.2 모델에 적용합니다.
  • Review 섹션에서 요약을 읽은 뒤 Submit을 선택하고 가드레일이 저장되기를 기다립니다.

9. 새 가드레일 적용 확인하기

  • 왼쪽 패널에서 Deployments를 선택합니다. 그런 다음 gpt-5.2 모델을 선택해 플레이그라운드에서 엽니다.
  • 모델의 Details 페이지를 선택해 새 가드레일이 모델에 적용되었는지 확인합니다.
  • 참고: 기본 가드레일도 이 실습에서 다룰 수 있는 종류의 불쾌한 콘텐츠에는 대체로 효과적이므로, 새로 만든 더 제한적인 가드레일이 앞서 시도한 프롬프트의 응답을 바꾸지 않을 수도 있습니다. 다만 극단적인 폭력, 성적 콘텐츠, 혐오 발언, 자해를 언급하는 프롬프트에는 더 효과적으로 작동합니다.
  • 이 실습에서는 콘텐츠 필터와 이를 통해 잠재적으로 유해하거나 불쾌한 콘텐츠로부터 안전을 지키는 방법을 살펴봤습니다. 콘텐츠 필터는 포괄적인 책임감 있는 AI 솔루션을 이루는 한 요소일 뿐입니다 - 더 자세한 내용은 'Responsible AI for Foundry' 문서를 참고하세요.

10. 정리(Clean up)

  • Microsoft Foundry 탐색을 마쳤다면 불필요한 Azure 비용 발생을 막기 위해 만든 리소스를 삭제하세요.
  • Azure 포털(portal.azure.com)에서 이 실습에 사용한 리소스가 포함된 리소스 그룹을 확인합니다.
  • 툴바에서 Delete resource group을 선택합니다.
  • 리소스 그룹 이름을 입력해 삭제를 확인합니다.
원문 실습 가이드 보기