모델 비교 Level 300 · 45분
모델 탐색 및 비교하기
Microsoft Foundry 모델 카탈로그에서 모델을 탐색하고 벤치마크·리더보드로 비교한 뒤, gpt-5.2와 gpt-5-mini를 배포해 나란히 테스트하고 합성 데이터셋 기반 평가까지 실행합니다.
실습 개요
- Microsoft Foundry 모델 카탈로그는 다양한 모델을 한곳에서 탐색하고 활용할 수 있는 중앙 저장소입니다. 이 실습에서는 모델 카탈로그 탐색, 벤치마크 비교, 플레이그라운드 테스트, 합성 데이터셋 평가의 전체 흐름을 수행합니다.
- 예상 소요 시간은 약 45분입니다.
사전 요구 사항
- AI 리소스를 만들 수 있는 권한이 포함된 활성 Azure 구독이 필요합니다.
1. Microsoft Foundry 포털에 로그인하기
- 웹 브라우저에서 Microsoft Foundry 포털(https://ai.azure.com)을 열고 Azure 자격 증명으로 로그인합니다.
- 처음 로그인했을 때 팁이나 빠른 시작 창이 열리면 닫아 작업 영역을 정리합니다.
2. Microsoft Foundry 프로젝트 만들기
- 상단 도구 모음에서 New Foundry 옵션이 꺼져 있다면 활성화합니다.
- 필요하면 고유한 프로젝트 이름으로 새 프로젝트를 만들고 Advanced options를 펼쳐 리소스 설정을 확인합니다.
- 프로젝트 생성이 끝날 때까지 기다린 뒤 프로젝트 홈 페이지를 엽니다.
3. 모델 카탈로그 열기
- Discover 페이지에서 Models 탭을 선택해 Microsoft Foundry 모델 카탈로그를 엽니다.
- 카탈로그에는 Azure가 직접 제공하고 Azure 구독으로 요금이 청구되는 모델뿐 아니라 파트너와 커뮤니티가 제공하는 모델도 표시됩니다.
- 검색과 필터를 사용하면 모델 이름, 기능 등 여러 조건을 기준으로 후보를 좁힐 수 있습니다.
4. gpt-5.2 모델 카드와 벤치마크 살펴보기
- 카탈로그에서 gpt-5.2를 검색하고 결과에서 모델을 선택해 모델 카드를 엽니다.
- Details 페이지에서 모델 설명과 제공되는 세부 정보를 검토해 사용 사례에 적합한지 판단합니다.
- Benchmarks 페이지를 열어 비슷한 시나리오에 사용되는 다른 모델과 표준 성능 벤치마크 결과를 비교합니다.
- 검토를 마치면 gpt-5.2 페이지 제목 옆의 뒤로 화살표(←)를 눌러 모델 카탈로그로 돌아갑니다.
5. 모델 리더보드 확인하기
- 모델 카탈로그 페이지에서 View leaderboard(순위표) 를 선택합니다.
- Model leaderboard에서 품질, 안전성, 비용, 성능 기준으로 순위가 매겨진 상위 모델을 확인하고 AI 품질 지표가 가장 높은 모델을 찾아봅니다.
- 페이지 아래의 Trade-off chart 섹션으로 이동해 여러 차원에서 모델을 비교합니다.
6. 비용·처리량·안전성 트레이드오프 비교하기
- Trade-off chart 드롭다운에서 Benchmark Cost를 선택하고 gpt-5.2와 gpt-5-mini를 모델 목록에 추가해 품질과 비용의 관계를 확인합니다. 필요하면 다른 모델도 추가합니다.
- 드롭다운을 Throughput으로 바꿔 품질과 처리량 점수의 관계를 비교합니다.
- 드롭다운을 Safety로 바꿔 품질과 안전성 점수의 관계를 비교합니다.
- 차트 위 표에서 gpt-5.2와 gpt-5.4-mini를 선택하고 Compare models를 눌러 두 모델의 벤치마크를 나란히 표시합니다.
7. 모델 비교 결과 자세히 검토하기
- Performance benchmarks에서 품질·안전성·처리량 점수를 확인합니다.
- Input and output에서 프롬프트 입력과 모델 응답에 지원되는 형식을 비교합니다.
- Context에서 대화에 유지할 수 있는 토큰 수, 생성 가능한 최대 출력 토큰 수, 모델 학습 시점을 비교합니다.
- Endpoints에서 클라이언트 앱이 사용할 수 있는 API 엔드포인트와 에이전트 사용 가능 여부를 확인합니다.
- Supported features에서 애플리케이션 시나리오에 필요한 기능을 지원하는지 확인합니다.
- 검토를 마치면 gpt-5.2 페이지 제목 옆의 뒤로 화살표(←)를 사용해 모델 카탈로그로 돌아갑니다.
8. gpt-5.2 모델 배포하기
- 모델 카탈로그에서 gpt-5.2를 검색해 모델 페이지를 엽니다.
- Deploy를 선택하고 기본 설정으로 모델을 배포합니다.
- 배포가 끝나면 모델 플레이그라운드가 열리고 Model 드롭다운에 새 배포가 선택됩니다.
- 뒤의 평가 단계에서 식별할 수 있도록 gpt-5.2에 할당된 배포 이름을 기록해 둡니다.
9. gpt-5-mini 모델 배포하기
- 모델 플레이그라운드의 Model 목록에서 Browse more models를 선택합니다.
- gpt-5-mini를 검색해 선택한 뒤 배포합니다.
- 배포가 끝나면 플레이그라운드에 gpt-5-mini 배포가 선택됩니다. 이 배포 이름도 기록해 둡니다.
10. 플레이그라운드에서 모델을 나란히 비교하기
- Models 목록에서 gpt-5-mini 배포가 선택됐는지 확인하고, 페이지 오른쪽 Compare models 목록에서 gpt-5.2 배포를 선택합니다.
- 각 모델에 별도의 채팅 창이 있는 나란히 비교 화면이 열리면 두 모델 모두 Chat 탭을 선택합니다.
- 아래 프롬프트를 두 채팅 창에 입력하고 제출합니다.
여우 한 마리, 닭 한 마리, 곡물 한 자루를 배로 강 건너편에 옮겨야 합니다. 배에는 한 번에 하나만 실을 수 있습니다. 닭과 곡물만 남겨두면 닭이 곡물을 먹고, 여우와 닭만 남겨두면 여우가 닭을 먹습니다. 아무것도 잡아먹히지 않도록 셋을 모두 강 건너편으로 옮기는 방법을 알려주세요.
11. 후속 질문으로 추론 품질 비교하기
- 두 모델의 첫 번째 응답을 확인한 뒤 아래 후속 프롬프트를 각각 입력합니다.
- 응답의 정확성, 추론 품질, 설명 방식과 문체에 어떤 차이가 있는지 비교합니다.
그렇게 판단한 과정을 설명해 주세요.12. 합성 데이터셋 평가 시작하기 · Target
- 플레이그라운드는 빠른 수동 확인에 적합하지만, 여러 입력에 대한 성능을 체계적으로 측정하려면 Evaluation을 실행해야 합니다. 여기서는 여행 관련 질문을 합성해 gpt-5.2를 평가합니다.
- 플레이그라운드에서 Evaluations 탭을 선택하고 Create를 눌러 Create new evaluation 마법사를 엽니다.
- 평가 대상은 Model을 선택합니다.
- 모델 표에서 미리 선택된 배포를 모두 해제하고 gpt-5.2 체크박스만 선택한 뒤 Next를 누릅니다.
13. 평가 데이터 구성하기 · Data
- 테스트 파일을 업로드하는 대신 Foundry의 가상 데이터 생성 기능으로 데이터셋을 자동 생성합니다.
- Data 단계의 Dataset source에서 Synthetic generation을 선택합니다. 평가 제출 시 지정한 배포가 각 대상에 사용할 질문을 자동으로 만듭니다.
- Generate를 선택하고 아래 설정값을 입력한 뒤 Next를 누릅니다.
다양한 여행 관련 질문을 만들고 콘텐츠 안전 및 보안 테스트도 일부 포함하세요.
14. 평가 모델 구성하기 · Configure models
- Configure models 단계에서 평가할 gpt-5.2 모델의 Developer prompt에 아래 지침을 입력합니다.
- 나머지 설정은 기본값으로 유지하고 Next를 선택합니다.
당신은 사용자의 여행 계획을 돕기 위해 정확하고 상세하며 실용적인 여행 조언을 제공하는 유용한 여행 어시스턴트입니다.
15. 평가 기준 선택하기 · Criteria
- Criteria 단계에서 제안된 평가자 목록을 확인합니다. 이 평가자들은 AI 모델을 심사자로 사용해 생성된 응답의 품질을 측정합니다.
- Agents 범주와 Safety 범주 아래의 기준을 모두 제거합니다.
- 나머지 평가자는 활성화된 상태로 유지하고 Next를 선택합니다.
16. 평가 검토 및 제출하기 · Review
- Review 단계에서 대상 모델, 합성 데이터셋, 선택한 평가 기준이 올바른지 확인합니다.
- 평가 이름을 입력하고 Submit을 눌러 평가 실행을 시작합니다.
- 데이터센터 부하에 따라 완료까지 몇 분이 걸릴 수 있으므로 실행 상태가 완료될 때까지 기다립니다.
17. 평가 결과 검토하기
- 평가가 완료되면 해당 evaluation run을 선택해 평가 지표의 개요가 표시되는 결과 페이지를 엽니다.
- 실행 페이지의 표에서 각 평가자의 점수와 결과를 검토합니다. 표를 오른쪽으로 스크롤하고 추가 페이지도 확인합니다.
- 대부분의 항목은 passing으로 표시되지만 모델 응답에 따라 failure가 포함될 수 있습니다. 실패 항목이 있으면 질문, 응답, 판정 근거를 자세히 확인합니다.
18. 실패 원인 분석하기
- Analyze results를 선택하고 드롭다운에서 gpt-5.2를 선택한 뒤 Start analysis를 실행합니다.
- 분석 페이지에서 실패 사례가 실패 원인별로 묶여 표시되는지 확인하고 각 클러스터의 세부 원인을 검토합니다.
- 일부 실패는 안전하지 않거나 답변하기 어려운 질문에 모델이 응답을 거부했기 때문에 발생할 수 있습니다. 각 거부가 원하는 동작인지 개별적으로 판단해야 합니다.
- 실패 사례와 함께 제공되는 AI 개선 제안을 검토하고, Developer prompt나 평가 구성을 조정할 때 참고합니다.
19. 실습 요약
- 모델 카탈로그에서 gpt-5.2 모델 카드와 벤치마크를 확인했습니다.
- 모델 리더보드와 Trade-off chart에서 품질, 비용, 처리량, 안전성을 비교했습니다.
- gpt-5.2와 gpt-5-mini를 배포하고 플레이그라운드의 나란히 비교 기능으로 응답을 테스트했습니다.
- 여행 질문 45개를 합성해 gpt-5.2 평가를 실행하고 결과와 실패 원인을 분석했습니다.
20. Azure 리소스 정리하기
- Microsoft Foundry 탐색을 마쳤다면 불필요한 Azure 비용이 발생하지 않도록 이 실습에서 만든 리소스를 삭제합니다.
- Azure 포털(https://portal.azure.com)을 열고 실습 리소스가 포함된 리소스 그룹으로 이동합니다.
- 도구 모음에서 Delete resource group을 선택합니다.
- 리소스 그룹 이름을 입력하고 삭제를 확인합니다.