한 줄로 말하면
AI가 만든 자료는 만든 대화가 아니라 새 대화의 AI에게 검수를 맡기세요. 마지막에는 사람이 5분만 표본을 직접 확인하면 돼요.
이런 분께
- AI로 학습지·문제·안내문 같은 자료를 만들어 바로 쓰려는 분
- AI가 만든 결과물을 "맞아?"라고 다시 물어보는 것으로 확인을 끝내 온 분
실제로 있었던 일 — 계산은 맞았는데 시험지로는 쓸 수 없었어요
실제 사례에서 AI가 만든 문제 54문항을 다른 AI 대화에게 검수시켰어요. 결과는 이랬어요.
- 수학 18문항을 처음부터 전부 다시 계산 → 계산 오류 0개, 통과
- 그런데 정답 위치를 분석하자 결함이 나왔어요. 수학은 정답의 61%가 ①번, 영어는 50%가 ②번에 몰려 있었어요.
이게 왜 문제일까요? 아이들은 패턴을 아주 잘 찾아요. "모르면 ①번"이 통하는 시험지는 실력을 재지 못해요. 결국 17문항의 보기 순서를 다시 배치한 뒤에야 아이에게 줄 수 있었어요.
계산이 맞는지만 봤다면 이 결함은 그대로 넘어갔을 거예요. 검수는 "틀린 답이 있나"만이 아니라 "이 자료가 원래 목적대로 작동하나"까지 봐야 해요.
왜 만든 AI에게 물으면 안 될까요
AI는 지금 열려 있는 대화 안의 내용을 기억해요. 새 대화를 열면 그 기억은 사라져요. 자료를 만든 대화에는 만든 과정의 기억이 고스란히 남아 있어요.
만든 AI에게 "네가 만든 거 맞아?"라고 물으면 대부분 "맞다"고 해요. 자기가 만든 것은 자기 눈에 옳아 보이기 때문이에요. 사람도 AI도 같아요. 그래서 검수는 만든 과정의 기억이 없는 새 대화에서, "결함을 찾아내라"는 자세로 시켜요.
새 대화를 여는 방법은 간단해요. 지금 대화를 끝내고 새로 시작하면 돼요. 그다음 검수할 자료 전체를 붙여 넣고, 아래 프롬프트로 검수를 맡기세요.
검수할 때 볼 것
학습지가 아니어도 원리는 같아요. AI가 만든 자료라면 새 대화에서 결함을 찾게 하세요. 아래 항목에서 자료에 맞는 것을 골라 쓰면 돼요.
- 정답·사실 확인: 처음부터 다시 풀거나 다시 계산해서 확인해요. 계산이 있으면 전부 다시 해요.
- 쏠림 확인: 선택지가 있다면 정답 번호가 한쪽에 몰렸는지 봐요. 한 번호가 40%를 넘으면 지적하게 해요.
- 보기 품질: 오답 보기가 너무 티 나게 이상하지 않은지 봐요.
- 설명 품질: 설명만 읽고 이해할 수 있는지, 설명 자체가 틀리지 않았는지 봐요.
- 범위: 정해 둔 범위를 벗어난 내용이 있는지 봐요.
- 난이도: 표시한 난이도가 실제와 맞는지 봐요.
그리고 "전부 괜찮다"는 답은 의심하세요. 사소한 것이라도 최소 3가지는 지적하게 하면, 대충 넘어가는 검수를 막을 수 있어요.
너는 학습지 품질 검수 전문가야. 아…
프롬프트 전체 보기와 복사는 회원에게 열려 있어요
확인 중…마지막은 사람의 5분
AI 교차 검수를 거쳐도 마지막 확인은 사람 몫이에요. 전부 다시 볼 필요는 없어요. 표본이면 충분해요.
무작위로 3문항을 골라…
체크리스트 전체는 회원에게 열려 있어요
확인 중…참고할 점
- 같은 대화에서 "다시 확인해줘"라고 하는 것은 교차 검수가 아니에요. 꼭 새 대화에서 하세요.
- 검수 대화가 결함을 하나라도 찾아냈다면 검수가 제대로 작동한 거예요. 그 하나가 아이 앞에서 터질 뻔한 것이었어요.
- AI 검수도 틀릴 수 있어요. 그래서 사람의 표본 확인을 빼지 않아요.



