자료실
가이드웹앱 만들기

AI가 만든 서비스, 어디까지 테스트해야 할까

고른 이유AI로 서비스를 빨리 만들수록 정상 흐름만 확인하고 넘어가기 쉬워요. 사용자가 다르게 움직일 때를 미리 정해 두는 습관이 공개 후 문제를 줄여 줘서 골랐어요.

한 줄로 말하면

AI로 만든 서비스가 정상적으로 돌아가는 것만 보고 끝내지 말고, 사용자가 예상과 다르게 움직였을 때 어떻게 처리할지 미리 정하고 확인하는 기준이에요.

이런 분께

  • AI 도구로 신청 폼·예약·결제 같은 웹 서비스를 직접 만들어 보고 있는 분
  • 만든 서비스를 공개하기 전에 무엇을 확인해야 할지 막막한 분
  • 테스트를 맡기기 전에 확인할 상황 목록을 먼저 정리해 두려는 분

정상 흐름만 보면 놓치는 것

결제 기능의 정상 흐름은 단순해요. 상품을 고르고, 결제하고, 완료 화면을 보면 끝이에요.

실제 사용자는 다르게 움직여요. 결제 버튼을 두 번 누르고, 결제 중에 뒤로 가고, 완료 화면에서 새로고침을 해요. 결제는 됐는데 완료 화면이 안 뜨는 일도 생겨요.

이런 문제 중 상당수는 개발 오류라기보다 "이 상황에서 어떻게 할지 미리 정하지 않은" 문제예요. 그래서 테스트는 다섯 가지 질문에서 시작하면 좋아요.

  • 사용자가 중간에 멈추면 어떻게 되나요?
  • 같은 행동을 반복하면 어떻게 되나요?
  • 순서를 거꾸로 하면 어떻게 되나요?
  • 인터넷이나 외부 서비스에 문제가 생기면 어떻게 되나요?
  • 다시 접속했을 때 이전 상태가 남아 있나요?

상황마다 미리 정해 둘 것

테스트는 "되나, 안 되나"만 보는 일이 아니에요. 상황마다 어떻게 처리할지 먼저 정해야 결과가 맞는지 판단할 수 있어요.

상황예시미리 정할 것
뒤로 가기작성·결제 중 뒤로 가기내용 유지, 경고 표시, 초기화 중 무엇으로 할지
새로고침처리 중이나 완료 후 새로고침중복 저장·중복 결제가 생기지 않는지
중복 클릭저장·결제 버튼을 빠르게 여러 번 누르기첫 요청만 처리하고 버튼을 잠글지
중간 이탈입력·결제 도중 창 닫기임시 저장할지, 모두 지울지
재진입완료한 기능에 다시 들어오기이전 결과를 보여 줄지, 다시 실행할지
주소로 바로 접속주소를 복사해 중간 화면으로 바로 들어오기앞 단계 없이 들어와도 되는지
인터넷 끊김저장·결제 중 연결 끊김재시도, 안내 메시지, 자동 복구 중 무엇을 줄지
외부 서비스 오류로그인·결제·SNS 연동이 응답하지 않음얼마나 기다리고 실패를 어떻게 알릴지

로그인과 결제는 정책부터 정하기

로그인은 성공 여부만 확인해서는 부족해요. 같은 계정으로 다른 기기에서 로그인했을 때 동시 로그인을 허용할지, 기존 기기를 로그아웃시킬지, 새 로그인을 막을지, 사용자에게 알릴지 정해야 해요. 정답은 하나가 아니에요. 서비스 특성과 보안 수준에 따라 운영하는 사람이 결정해요.

로그인 유지 시간도 정해 두세요. 일정 시간이 지나면 자동 로그아웃할지, 비밀번호를 바꾸면 기존 로그인을 모두 풀지, 만료된 뒤 다시 로그인하면 보던 페이지로 돌아오고 작성 중이던 내용이 남는지요. 권한도 확인해요. 일반 사용자가 관리자 주소로 바로 들어갈 수 없는지, 로그아웃 후 뒤로 가기로 이전 화면이 보이지 않는지 봐요.

결제에서는 화면에 보이는 상태보다 실제 결제 기록과 주문 데이터가 일치하는지가 중요해요. 결제는 됐는데 화면 전환에 실패했다면 주문 내역에서 확인할 수 있어야 해요. 결제 성공 여부를 알 수 없을 때 다시 결제하게 해도 되는지도 미리 정해 두세요.

광고를 본 뒤 기능이 열리는 구조라면 같은 고민이 필요해요. 광고 중에 앱을 닫으면 처음부터 다시 봐야 하는지, 권한을 얼마 동안 유지할지 정하지 않으면 화면을 옮겼다는 이유만으로 같은 광고를 반복해서 보게 될 수 있어요.

입력 화면과 오류 메시지

입력 화면은 빈 값, 공백만 입력, 너무 긴 내용, 이모지·특수문자, 중복 등록, 맞지 않는 파일 형식까지 넣어 봐야 해요. 모든 입력 화면에는 최소한 이 여섯 상태가 있어야 해요.

좋은 오류 메시지는 "오류가 발생했습니다"로 끝나지 않아요. 무엇이 실패했는지, 지금 무엇을 하면 되는지, 입력한 내용이 남아 있는지를 알려 줘요.

반복 확인은 AI에게, 결정은 사람이

매번 모든 상황을 처음부터 떠올리기는 어려워요. 그래서 "모든 저장 버튼은 중복 클릭을 확인한다", "결제 화면은 뒤로 가기·새로고침·중복 요청을 테스트한다"처럼 검수 기준을 적어 두고, AI가 기능을 고칠 때마다 그 기준으로 다시 확인하게 하는 방식이 있어요. 이런 검수 환경을 하네스라고 불러요.

다만 AI가 대신할 수 없는 판단이 있어요. 여러 기기 로그인을 허용할지, 로그인을 몇 시간 유지할지, 결제 중 이탈한 사용자에게 어떤 경험을 줄지, 오류 안내가 실제 사용자에게 이해하기 쉬운지는 기술 문제가 아니라 서비스 정책과 사용자 경험에 관한 결정이에요. AI가 테스트를 넓혀 주고 반복해 주면, 사람은 무엇을 정상으로 볼지 정하고 최종 결과를 직접 확인해요.

✅ 체크리스트

정상적으로 사용하…

체크리스트 전체는 회원에게 열려 있어요

확인 중…
✏️ 바꿔 쓰는 프롬프트

[기능 이름] 기능을 테스트하려고 해. 기능 …

프롬프트 전체 보기와 복사는 회원에게 열려 있어요

확인 중…

참고할 점

  • 로그인 유지 시간, 여러 기기 로그인 같은 정책에는 정답이 없어요. 서비스 특성과 보안 수준에 맞춰 직접 정해야 해요.
  • AI가 만든 테스트 목록도 빠뜨리는 상황이 있을 수 있어요. 결과는 사람이 직접 눌러 보며 확인하세요.
  • 결제가 들어간 서비스는 화면만 보지 말고 실제 결제 기록과 주문 데이터가 맞는지 함께 확인하세요.

저작권·출처 문의 newrun.cs@gmail.com

이 가이드가 나온 강의

Marketing AX Studio

콘텐츠 기획과 제작부터 게시, 성과 분석까지 반복되는 마케팅 업무를 자동화 워크플로우로 구축합니다.

강의 보기 →

함께 보면 좋은 자료

자료실 전체 →