AI 동료에게 기획서 리뷰받기

AI와 함께 성장하는 PM들을 위한 AI-Powered Product Manager시리즈입니다. 이번 글은 기획서 리뷰에 AI를 활용하는 방법을 소개합니다.
Agent Pro's avatar
May 09, 2025
AI 동료에게 기획서 리뷰받기
💡
AI와 함께 성장하는 PM들을 위한 AI-Powered Product Manager시리즈입니다. 이번 글은 기획서 리뷰에 AI를 활용하는 방법을 소개합니다.

👍왜 AI 리뷰가 유용한가

AI를 기획 프로세스에 적용해본 결과, Draft 문서 작성 보다는 리뷰 단계에 더 효용이 높았다. 그 이유는,
  • 기획서 작성에는 복잡한 맥락이 있고 + 의도가 작용한다.
    • 기획은 기본적으로 “설득”을 위한 문서이며, 작성자의 의도가 녹아있기 마련이다.
    • 회사의 정책/방향/목표/분위기 등 굳이 다 표현하지 않은 맥락도 관련이 되어있다
    • 물론, 참고자료를 충분히 제공하고 + 세밀한 맥락 정보를 프롬프트에 모두 제공한다면 품질이 높아지겠지만 그정도 노력이라면 직접 작성하는 시간효율에 가까워 질것 같다.
  • 반면, 기획서 리뷰는 “객관성”이 필요하며, 가이드에 따른 “질문”이 필요하다.
    • 기획은 스토리텔링을 위한 의도가 있더라도, “의사결정”은 객관적이어야한다. 그래서 편향없고 냉철한 객관적인 진단이 필요하다. AI는 “점수”를 매기는 일도 서슴없이 할 수 있다.
    • PRD는 문제정의, 구현난이도, 기대성과(매출,고객경험), 내부정책, 실행가능성 등 다양한 요소를 고려하여 검토해야하기 때문에 다각적인&디테일한 검토가 필요하다.
    • 리뷰라는 것은 결국 질문에 답하는 것이다. 투자대비 기대효과가 충분히 큰 제안인지? 고객문제가 명확하고 효과적인 솔루션이 맞는지? 실행가능성은 충분한지? 등. 질문에 대한 답변이 잘 구성되었는지는 LLM이 사람만큼이나 잘 판단할 수 있는 영역이다.
 
물론, 초기 리서치(경쟁사/시장/정량&정성 분석)에도 LLM 사용은 매우 효과적이다.
 
🤔
그럼 실제로 기획 문서 리뷰에 AI를 어떻게 활용할 수 있을까? 아래 Case Study를 통해 한번 알아보자

📓Case Study

 
PRD 샘플은 아래 PRD 예시 중 Microsoft의 탬플릿을 참고하여 가상의 문서를 만들었습니다(AI의 도움을 받아서)
 
생성된 PRD 문서는 아래를 참고
PRD 샘플 문서 (링크)

제품 요구사항 문서(PRD): 상품 탐색 지원 AI 챗봇

버전: Draft
날짜: 2025년 5월 30일
작성자: Pro

1. 주요 내용 요약 (Executive Summary)

  • 문제 정의: 고객들은 방대한 상품 카탈로그 내에서 기존의 내비게이션 및 검색창을 사용하여 특정 상품을 찾거나 관련 상품을 발견하는 데 어려움을 겪는 경우가 많습니다. 이는 좌절감, 메인 페이지에서의 높은 이탈률, 판매 기회 손실로 이어질 수 있습니다. 현재 검색 기능은 정확한 키워드 매칭에 크게 의존하며, 대화형 또는 맥락 인식 기능이 부족합니다.
  • 고객 가치: 이 기능은 당사 메인 페이지를 방문하는 모든 사용자, 특히 무엇을 찾아야 할지 확신이 없거나, 개인화된 추천이 필요하거나, 더 상호작용적인 쇼핑 방식을 선호하는 사용자를 대상으로 합니다. AI 챗봇은 사용자가 자연스럽게 자신의 요구사항을 표현하고, 즉각적이고 관련성 높은 상품 제안을 받으며, 다른 방법으로는 찾지 못했을 수도 있는 상품을 발견하도록 돕는 대화형 인터페이스를 제공하여 전반적인 쇼핑 경험을 개선할 것입니다.
  • 비즈니스 가치: AI 챗봇 도입은 "고객 참여 및 전환율 증대"라는 당사의 3분기 OKR과 일치합니다. 보다 직관적인 상품 탐색 도구를 제공함으로써 다음과 같은 목표를 달성하고자 합니다.
  • 사용자를 관련 상품으로 더 효과적으로 안내하여 전환율 증대.
  • 사용자 참여도 및 사이트 체류 시간 증대.
  • 메인 페이지 이탈률 감소.
  • 챗봇 상호작용을 통해 고객 검색 의도 및 상품 선호도에 대한 귀중한 인사이트 수집.
  • 고객 지원팀으로 유입되는 기본적인 "X 상품 찾는 법" 문의 감소 가능성.

2. 경쟁사 분석 (Competitive Analysis)

  • Amazon: 주로 고객 서비스 및 주문 추적에 챗봇을 사용하며, 메인 페이지에서의 초기 상품 탐색에는 상대적으로 덜 활용합니다. 상품 추천은 검색 결과 및 상품 페이지 내에서 알고리즘 기반으로 강력하게 이루어집니다.
  • Sephora: 뷰티 조언 및 상품 추천을 위해 챗봇을 활용하여 가이드 방식의 대화형 경험을 제공합니다.
  • H&M: 스타일 조언 및 상품 찾기를 위해 챗봇을 사용하며, 앱과 웹사이트 경험에 통합합니다.
  • 국내 이커머스 사례:
  • 네이버 쇼핑 (Naver Shopping): 스마트스토어와 연동된 '쇼핑챗봇'을 통해 배송 문의, 반품 등 FAQ 응대는 물론, AI 기반 상품 추천 기능도 제공합니다. 네이버의 광범위한 서비스 생태계와의 연동이 특징입니다. CLOVA X와 같은 자체 AI 기술을 활용합니다.
  • G마켓/옥션 (Gmarket/Auction): 별도의 탐색 챗봇보다는 AI 기반 '초개인화'에 집중하여, 사용자 행동 패턴에 따라 모바일 홈 화면을 다르게 구성합니다. AI가 최적 상품을 추천하는 'AI매출업' 광고 상품을 운영하고, AI 기반 최저가 알림 기능('가격인하 시그널') 등을 제공합니다.
  • 쿠팡 (Coupang): AI를 물류 시스템(분류 로봇, AGV 등)에 대규모로 투자하고 있으며, 방대한 고객 데이터를 기반으로 상품 추천 로직에도 활용할 것으로 예상됩니다. 고객 대면용 상품 탐색 챗봇이 전면에 부각되지는 않으나, Amazon/Walmart와 유사한 AI 기반 탐색 기능 도입 가능성이 있습니다.
  • 기타 (e.g., 프레딧 Fredit): 특정 검색어(예: "주말 아침")에 맞춰 AI가 관련 상품을 추천하는 등, 상품 추천 기능에 AI를 접목하는 사례가 있습니다.
  • 종합 동향: 많은 주요 글로벌 및 국내 이커머스 플랫폼들이 개인화를 강화하고 고객 여정을 간소화하기 위해 AI 기반 대화형 인터페이스를 실험하거나 구현하고 있습니다. 다만, 접근 방식은 전용 챗봇(네이버), 개인화된 피드/광고(G마켓), 물류 중심(쿠팡 초기) 등 다양합니다. 당사의 접근 방식은 메인 페이지 상품 탐색을 주요 초기 상호작용 지점으로 삼는 데 중점을 둡니다.

3. 가정 (Assumptions)

  • 사용자들은 메인 페이지에서 챗봇 인터페이스와 상호작용할 의향이 있습니다.
  • 기반 AI/ML 모델이 당사 상품 카탈로그와 관련된 자연어 질의를 정확하게 해석할 수 있습니다.
  • 챗봇을 기존 상품 데이터베이스 및 검색 인프라와 원활하게 통합할 수 있습니다.
  • 사용자들은 챗봇이 AI 기반이며, 복잡한 고객 서비스 문제가 아닌 주로 상품 탐색용이라는 것을 이해합니다.
  • 챗봇 상호작용 데이터는 윤리적이고 안전하게 수집 및 분석될 수 있습니다.

4. 목표 및 비목표 (Goals and Non-goals)

목표 (Goals):
  • 챗봇과 상호작용한 사용자의 전환율을 상호작용하지 않은 사용자 대비 15% 증가시킵니다.
  • 메인 페이지 이탈률을 10% 감소시킵니다.
  • 챗봇 상호작용에 대한 고객 만족도 점수(CSAT) 4.0/5.0 이상 달성 (챗봇 종료 후 설문조사로 측정).
  • 챗봇과 상호작용한 사용자의 세션당 평균 상품 조회 수 증가.
  • 챗봇에 입력된 상품 탐색 관련 질의의 70%를 성공적으로 처리합니다.
비목표 (Non-goals for V1):
  • 구매 후 문의 처리 (주문 상태, 반품 등).
  • 복잡한 고객 서비스 문제 해결.
  • 당사 상품 카탈로그 외 외부 지식 베이스와의 통합.
  • 선제적 참여 (사용자 프롬프트 없이 챗봇이 대화 시작).
  • 다국어 지원 (V1은 영어만 지원).
  • 음성 입력/출력.

5. 고객 사용 사례 및 시나리오 (Customers’ Use-Cases and Scenarios)

  • 시나리오 1: 특정 상품 검색:
  • 사용자: "검정색 러닝화 270 사이즈, 쿠셔닝 좋은 걸로 찾아줘."
  • 챗봇: 속성(카테고리, 색상, 사이즈, 특징)을 이해하고 데이터베이스를 쿼리하여 관련 러닝화를 제시합니다.
  • 시나리오 2: 상황 기반 검색:
  • 사용자: "여름 결혼식에 뭘 입어야 할까?"
  • 챗봇: 명확화 질문(예: "격식 있는 자리인가요, 캐주얼한가요?", "실내인가요, 야외인가요?")을 하고 스타일 속성에 따라 관련 카테고리(드레스, 정장) 또는 특정 상품을 제안합니다.
  • 시나리오 3: 모호하거나 탐색적인 검색:
  • 사용자: "전자제품 신상 좀 보여줘."
  • 챗봇: 신상품, 베스트셀러의 큐레이션 목록을 제시하거나 선호 카테고리에 대한 명확화 질문(예: "오디오, 게임, 스마트 홈 중 어떤 것에 관심 있으신가요?")을 합니다.
  • 시나리오 4: 선물 찾기:
  • 사용자: "테크 기기를 좋아하는 아빠 생신 선물로 10만원 이하 제품 추천해줘."
  • 챗봇: 수신자 설명, 가격대, 관련 카테고리를 기반으로 상품을 필터링하여 적합한 선물 아이디어를 제안합니다.
  • 시나리오 5: 호환성 확인:
  • 사용자: "새로운 픽셀 9 프로에 맞는 휴대폰 케이스는 뭐야?"
  • 챗봇: 언급된 상품을 식별하고 카탈로그 내에서 호환되는 액세서리를 검색합니다.

6. 기능 설명 (Feature Descriptions)

  • FE1: 채팅 인터페이스:
  • 메인 페이지(데스크톱 및 모바일)에 지속적으로 표시되는 눈에 거슬리지 않는 채팅 위젯/아이콘.
  • 아이콘 클릭 시 채팅 창 열림.
  • 표준 채팅 UI 요소: 텍스트 입력 필드, 전송 버튼, 대화 기록 표시.
  • 채팅 인터페이스 내 상품 제안 표시 (이미지, 이름, 가격, 상품 페이지 링크).
  • FE2: 자연어 처리 (NLP):
  • 상품 탐색(검색, 브라우징, 추천)과 관련된 사용자 의도 이해 능력.
  • 핵심 개체(상품 유형, 색상/사이즈/브랜드와 같은 속성, 가격 제약 조건, 상황) 추출.
  • 오타 및 다양한 표현 방식 처리.
  • FE3: 상품 카탈로그 통합:
  • 추출된 의도 및 개체를 기반으로 상품 데이터베이스 실시간 쿼리.
  • 관련성, 인기도 또는 기타 비즈니스 규칙에 따라 상품 필터링 및 순위 지정 능력.
  • FE4: 대화 흐름:
  • 사용자 입력이 모호할 때 명확화 질문 능력.
  • 일반적인 명확화를 위한 "빠른 답장" 버튼 제공 (예: 사이즈, 색상 선호도).
  • 일치하는 상품이 없을 때의 적절한 처리 (예: 더 넓은 카테고리 또는 대안 검색 제안).
  • 기본적인 인사말 및 종료 메시지.
  • FE5: 분석 및 로깅:
  • 모든 채팅 상호작용 로깅 (익명화된 사용자 ID, 쿼리, 응답, 클릭된 상품).
  • 주요 이벤트 추적: 채팅 시작, 상품 링크 클릭, 세션 전환.
  • 기존 분석 플랫폼(예: Google Analytics, Mixpanel)과의 통합.

7. 성공 지표 (Success Metrics)

  • 주요 지표:
  • 챗봇 상호작용률: 메인 페이지 방문자 중 채팅을 시작한 비율(%).
  • 챗봇 전환율: 동일 세션 또는 기여 기간 내 구매로 이어진 채팅 상호작용 비율(%). (기본 비챗봇 전환율과 비교).
  • 작업 완료율: 사용자가 최소 하나 이상의 상품 제안을 클릭한 채팅 비율(%).
  • CSAT 점수: 챗봇 종료 후 피드백 설문조사의 평균 점수.
  • 보조 지표:
  • 메인 페이지 이탈률: 상호작용 없이 메인 페이지에서 사이트를 떠난 사용자 비율(%).
  • 평균 세션 시간: 챗봇과 상호작용한 사용자와 그렇지 않은 사용자의 사이트 체류 시간.
  • 세션당 상품 조회 수: 챗봇과 상호작용한 사용자와 그렇지 않은 사용자의 상품 상세 페이지(PDP) 조회 수.
  • 정성적 피드백: 채팅 로그 및 설문조사 의견에서 식별된 주제.

8. 출시 기준 (Release Criteria)

  • 1단계: 내부 테스트 (Internal Dogfooding) (목표: 2025년 6월 10일)
  • 기준: 내부 스테이징 환경에 챗봇 배포. 핵심 기능(NLP, 상품 검색, 기본 대화 흐름) 작동. 기본 로깅 설정 완료. 내부 직원 테스트 가능. 알려진 치명적 버그 수정.
  • 목표: 초기 피드백 수집, 주요 버그 및 사용성 문제 식별.
  • 2단계: 비공개 프리뷰 / 베타 (Private Preview / Beta) (목표: 2025년 6월 24일)
  • 기준: 프로덕션에 안정적인 빌드 배포, 소규모 실제 사용자 그룹(예: 피처 플래그를 통해 1%)에게 접근 허용. 핵심 기능(FE1-FE5) 완료. CSAT 설문조사 구현. 성능 모니터링 설정 완료. 사이트 성능에 주요 회귀 없음.
  • 목표: 실제 트래픽으로 핵심 기능 및 사용자 가치 검증, 성능 및 안정성 모니터링, 초기 성공 지표 수집.
  • 3단계: 공개 프리뷰 / 점진적 출시 (Public Preview / Gradual Rollout) (목표: 2025년 7월 8일)
  • 기준: 비공개 프리뷰에서 긍정적인 피드백 및 지표 확인. 주요 버그 수정. 확장성 확인. 점진적으로 사용자 확대(예: 10%, 25%, 50%). 챗봇 미사용 경험과 비교하기 위한 A/B 테스트 프레임워크 설정 완료.
  • 목표: 주요 비즈니스 지표(전환율, 이탈률)에 대한 영향 측정, 광범위한 출시 중 안정성 보장.
  • 4단계: 정식 출시 (General Availability - GA) (목표: 2025년 7월 22일)
  • 기준: 모든 사용자(100%)에게 기능 제공. 성공 지표가 정의된 목표를 충족하거나 초과. 문서화 및 내부 교육 완료. 장애 대응 및 지원 프로세스 업데이트 완료.
  • 목표: 전체 출시, 지속적인 모니터링 및 반복 계획 수립.

9. 출시 및 협업 일정 (Release and Coordination Timeline)

  • 5월 6일 - 5월 17일: PRD 최종 확정, 디자인 목업 & 프로토타입 제작, 기술 설계 사양서 작성.
  • 5월 20일 - 6월 7일: 엔지니어링 개발 스프린트 1 (핵심 백엔드, NLP 통합, 기본 UI).
  • 6월 10일 - 6월 21일: 엔지니어링 개발 스프린트 2 (UI 개선, 대화 흐름, 분석, 버그 수정). QA 테스트 사이클 1.
  • 6월 10일: 내부 테스트 시작.
  • 6월 24일: 비공개 프리뷰 출시 (트래픽 1%).
  • 6월 24일 - 7월 5일: 비공개 프리뷰 모니터링, 피드백 수집, 버그 수정.
  • 7월 8일: 공개 프리뷰 출시 (점진적 출시 시작 10% -> 50%). A/B 테스트 시작.
  • 7월 8일 - 7월 19일: 점진적 출시 모니터링, A/B 테스트 결과 분석, 최종 버그 수정.
  • 7월 22일: 정식 출시 (GA) (트래픽 100%).
  • GA 이후: V1.1을 위한 지속적인 모니터링, 분석 및 반복 계획 수립.
의존성 (Dependencies):
  • 엔지니어링팀 (프론트엔드, 백엔드, AI/ML)
  • 디자인/UX팀
  • QA팀
  • 분석팀
  • 마케팅팀 (잠재적 공지 관련)
  • 고객 지원팀 (인지 관련)
 
이제 “PRD 리뷰 가이드 문서”를 바탕으로 피드백을 제공해보겠다. 리뷰 가이드 문서를 바탕으로 아래와 같이 프롬프트를 구성하였다.
Prompt
역할 • 당신은 스타트업의 제품관리 리더입니다.
Context • 당신이 관리하는 PM이 검토를 위해 PRD 문서를 제출했습니다. • 당신은 PRD를 평가하고 유효한 피드백을 제공합니다.
Task • 가이드라인을 참고하여 PM이 제출한 PRD 문서(첨부 또는 링크)를 평가합니다 • 가이드라인을 참고하여 PRD 개선을 위한 피드백을 제공합니다. Output Format
  1. Summary
      • 전반적인 평가 결과와 Action Item 제안사항을 요약
  1. 평가
      • 표 형식으로
      • 4개 열: 평가항목, 답변, Rating, 피드백으로 구성
        • 평가항목: “PRD Review Guide” 문서의 6가지 평가항목
        • 답변: 각 평가항목과 질문에 대한 PRD 내용의 답변을 요약
        • Rating: 각 평가항목에 대한 PRD 내용의 품질을 100점 만점으로 평가
        • 피드백: PRD 개선을 위한 PM에게 전달할 피드백
  1. Action Item
      • 평가항목을 바탕으로 제품 리더가 PM에게 제안하는 Action Item입니다. 주요하게 보완해야할 항목은 무엇인지와 추가 리서치 및 보완해야할 내용이 무엇인지 전달합니다.
      • 리스트 형태로 명확한 Action Item을 전달합니다.
리소스 • PRD 자료: 첨부파일 “PRD: 상품 탐색 지원 AI 챗봇”을 참고합니다. • PRD 리뷰를 위한 참고자료: 첨부파일 “PRD Review Guide”를 참고합니다.
notion image
 
피드백 결과는 아래와 같습니다.
  • 모델은 Gemini 2.5 Flash Canvas 를 사용했다
  • “Product Review Guide”를 기준으로 문서를 보완하기 위한 상세한 진단과 피드백을 제공한다.
  • 전체 문서는 링크를 참고
 
notion image
notion image
 
구체적인 가이드가 있었기 때문에 보완사항에 대한 명확한 피드백을 받을 수 있었다.

🧙‍♂️Lessons Learned

위 사례를 통해 몇가지 시사점을 정리해보면,
1. 리뷰어 입장에서는 1차 리뷰를 AI로 대신할 수 있다. - 시간을 줄여주고 품질 수준을 높여준다. - 리뷰어가 생각하지 못한/놓칠만한 사항도 미리 점검해준다.
2. 리뷰를 요청하는 사람에게는, 리뷰 전에 스스로 문서를 발전시킬 기회를 갖는다. - 문서의 품질을 빠르게 보완할 수 있다. - 특히, 객관적인 AI의 피드백은 지식/경험의 한계와 Bias를 보완해준다.
3. 실제 업무에서 더 유용하게 활용하려면 아래 사항을 보완하면 되겠다. - 우리 제품, 리더가 제시하는 가이드를 명확히 정리하고 제공할 것(*가이드가 기존에 없었다면, 그것부터가 문제다) - 가능하면 Best Practice 사례도 추가하면 더 좋겠다. - 피드백할 사항을 나눠서 단계적으로 LLM을 활용할 것
잘 만든 가이드 문서와 결합된 AI 리뷰어는, 업무의 품질을 높이고 시간을 Save 해준다.
📝
리더 또는 동료의 리뷰가 필요한 일이 있다면? 먼저 AI를 활용하고 그 다음에 Human을 활용하자. 10분밖에 걸리지 않는 일이니.
Share article
세미나/워크샵/컨설팅 문의사항은 이메일을 남겨주세요.

ProAgent AI