교육과정AI 검증·시각화

AI 산출물 감리와 검수

발주한 AI 서비스의 답변 품질을 평가셋과 지표로 검수하고 감리 의견을 정리합니다

결과물 · 질문 50건 규모의 평가셋과 채점 결과가 붙은 감리 의견서 초안#평가셋#품질검수#감리#고영향AI#RAG점검

교육 대상

  • AI 사업 발주·검수 담당자
  • 감리·품질 관리 담당자
  • 정보화 사업 관리자
  • AI 서비스 운영 책임자

학습 목표

  • 사업 목표를 검수 가능한 항목으로 바꿔 발주 문서에 넣을 수 있습니다
  • 질문과 근거 문서를 짝지은 평가셋을 만들어 채점할 수 있습니다
  • 실패 사례를 검색 단계와 생성 단계로 나눠 개선 요구로 정리할 수 있습니다
  • 고영향 여부 판단과 품질 관리 항목을 확인해 감리 의견서를 작성할 수 있습니다

커리큘럼

1일차 · DAY 1
1교시
90
검수 기준을 먼저 정한다
행정안전부 공공부문 AI 도입·활용 가이드가 제시한 검색증강 우선 방향을 확인합니다. 사업 목표를 확인 가능한 검수 항목으로 바꾸는 절차를 실습합니다. 발주 문서에 넣을 요구 수준과 검수 시점을 정리합니다.
2교시
90
평가셋 설계
실제 민원 문의와 내부 문서에서 질문 표본을 뽑습니다. 정답과 근거 문서를 함께 기록해 채점 가능한 형태로 만듭니다. 답변을 거절해야 하는 질문과 근거가 없는 질문을 일부러 포함합니다.
3교시
120
지표로 다시 보기
근거 일치, 누락, 무근거 생성, 거절 적정성으로 채점표를 만듭니다. 채점자 두 명이 같은 답변을 채점해 편차가 큰 항목을 조정합니다. 스프레드시트로 항목별 집계를 내고 판정 기준선을 정합니다.
4교시
120
실패 사례 분류
틀린 답변을 검색 단계 실패와 생성 단계 실패로 나눕니다. 문서 품질, 분할 방식, 권한 설정에서 원인을 찾아 확인합니다. 원인별로 사업자에게 전달할 개선 요구 문장으로 바꿉니다.
2일차 · DAY 2
5교시
120
고영향 영역과 영향평가 준비
2026년 1월 시행된 AI 기본법의 고영향 인공지능 판단 흐름을 따라갑니다. 국가기관이 해당 제품·서비스를 이용할 때 고려할 사항을 확인합니다. 위험 확인과 안전성 문서에 어떤 항목을 남길지 목록으로 정리합니다.
6교시
120
품질 관리 체계와 외부 검증
ISO/IEC 42001의 관리 항목을 기관 절차와 대조합니다. TTA AI 신뢰성 검·인증에서 확인하는 항목을 살펴봅니다. 내부 검증과 외부 검증의 역할을 나누고 자료 준비 범위를 정합니다.
7교시
90
감리 의견서 작성 실습
팀별로 사업 한 건을 가정해 검수 결과를 의견서로 옮깁니다. 지표 결과와 근거 화면을 붙여 판단 과정을 드러냅니다. 시정 요구와 권고를 구분해 기한과 담당을 적습니다.
8교시
90
발표와 상호 검증
팀별 의견서를 발표하고 다른 팀이 반박 근거를 제시합니다. 지적을 반영해 재검수가 필요한 항목을 다시 정리합니다.

총 14시간(840분) — 모듈 840분

교육 문의카카오톡 문의02-533-4770