AI와 함께 성장하는 PM들을 위한 AI-Powered Product Manager 시리즈입니다. 오늘은 AI 활용의 시작, 프롬프트 가이드에 대해 소개합니다.
🛫AI 활용의 시작, 프롬프트
대부분의 PM이 AI를 학습하고 활용하는 도구는, GPT/Claude/Gemini 와 같은 채팅 기반의 AI 툴이다. 그래서 프롬프트를 얼마나 잘 입력하느냐가 AI활용의 첫 출발인셈이다. 하지만 생각보다 프롬프트를 제대로 알고 사용하는 분들이 드물다.
1) 대화형 챗봇이기 때문에 대화하는 것처럼 프롬프트를 입력하는게 자연스럽고,
2) 프롬프트의 중요성과 방법을 잘 모르기 때문이기도 하다.
일상적인 소재가 아니라 “비즈니스” 대화라면 달라야 한다. 사람과 일할때도 마찬가지다. 일상대화와 비즈니스 커뮤니케이션은 달라야한다. 구조화된, 논리적인 전개가 필요하다.
AI가 나의 주니어 동료라고 가정해보면, 업무 이야기를 일상 대화하듯이 얘기하면 의도가 명확히 전달되지 않는 것과 마찬가지다.
그래서 AI 동료와 잘 협업하려면, 커뮤니케이션이 달라야한다.
🏗️프롬프트 구조화 테크닉
먼저 가장 활용도가 높아지고 있는 Gemini를 기준으로 설명하겠다(GPT나 Claude를 쓴다고 특별히 다르지는 않을 것이다)
먼저 맞는 모델을 선택해야한다: 간단한건 Flash, 복잡한건 2.5 Pro에 요청한다.
그 다음 과업 종류에 따라 프롬프트 테크닠을 선택한다. 대부분 업무에서는, “Role Playing”을 기본으로 한다. 전문성을 필요로 하는 업무 요청의 경우, AI를 전문가로 전제하고 작업을 시키는 것이 효과적이라고 알려져있기 때문이다.

역할 기반의 경우 기본적인 Prompt 포맷은 아래 4가지 항목을 포함한다. Gemini에서 잘 정리해준 가이드가 있다(출처: 구글 워크스페이스 프롬프트 가이드)
- 역할, 맥락/목표, 구체적인 과업, 형식/제약사항

예를들어, “PM을 위한 프롬프트 엔지니어링 가이드”라는 주제로 자료조사를 시킨다고 해보면, 아래와 같이 구성할 수 있다.
#역할 너는 스타트업에서 AI Product를 만들고 있는 Prompt Engineering 전문가야 #맥락/목표 PM들을 대상으로 프롬프트 엔지니어링 가이드를 만들어서 제공하려고해 LLM에 익숙하지 않은 초보 PM들도 빠르게 학습할 수 있는 쉽고 간결한 가이드를 만드는 것이 목표야 #Task PM들의 업무 특성에 맞는 프롬프트 기본 가이드, 활용사례, 주의사항을 조사해서 정리해줘 #형식 - 아래 목차로 구성해줘 1. PM을 위한 프롬프트 가이드 2. 주요 PM 업무 활용사례 3. 주의사항 4. FAQ - A4 2 페이지 정도의 한글로 작성해줘 - 특히 활용사례는 간결한 목록 형식으로 정리해줘. 아래 예시야. - 사례 2. 기획서 검토 - Usecase: [ ] - 프롬프트 예시: [ ] - 결과값 예시: [ ]
전체 프롬프트 구조화를 정리하면 아래와 같다.
Aakash Gupta가 제공해준 예시를 일부 수정하여서 정리하였다.

구성 요소 | 항목명 | 설명 |
✅ Component 1 | 역할 및 목표
(Role and Objective) | • LLM이 채택해야 할 페르소나/역할 정의
• 전체 목표 설정
• 예: "당신은 복잡한 AI 개념을 비전문가에게 설명하는 전문 기술 작가입니다." |
✅ Component 2 | 지침 및 응답 규칙 (Instructions/Response Rules) | • 구체적이고 명확하게 작성
• 여러 지침은 불릿포인트로 작성
• 하지 말아야 할 것 명시
• 예: “다음 연구 요약은 정확히 세 문장으로 요약하십시오. 고등학생 수준 이상의 전문 용어를 피하고, 개인 의견이나 해석을 포함하지 마세요.” |
✅ Component 3 | 맥락
(Context/Resource) | • 관련된 배경 정보, 데이터 또는 텍스트 제공
- (우리가 동료와 일할때 처럼) 충분한 맥락/정보 제공이 무엇보다 중요하다.
- 참고할 내부/외부자료가 있으면 첨부파일이나 링크로 추가한다.
- 참고로 입력창에 URL을 넣어줘도 잘 작동한다. |
✅ Component 4 | 예시
(Few-Shot Prompting) | • 입력-출력 쌍 제공
• 형식, 스타일, 세부 수준을 유도하는 데 효과적
• 예: “예시 1~2개를 통해 이상적인 불릿 액션 항목 또는 올바른 JSON 출력 형식을 제시합니다.” |
✅ Component 5 | 사고 과정
(Reasoning Steps / Chain-of-Thought) | • 복잡한 문제는 ‘단계별 사고’ 유도
• 명시적 사고 프로세스 포함
• 예: “요약을 생성하기 전에 주요 가설을 식별하고, 그것을 뒷받침할 증거를 나열한 뒤, 결론을 설명하세요.”
“중요: 각 단계가 완료가 되면 사용자에게 결과를 확인을 받고 다음단계 진행 여부 확인해줘"
”Outline을 잡고, 분석하고, 실행계획을 세우고” |
✅ Component 6 | 출력 형식 제약 조건
(Output Formatting Constraints) | • 원하는 형식, 포맷, 제약 조건 명시
• 구조화된 출력 생성에 필수
• 예: “다음 키를 포함한 JSON 형식으로만 응답하세요: sender_name, string, issue, string, suggested_action_items (array of strings).”
• 리뷰의 과업을 시킬때는 결과물에 대해 1-5점 Rating으로 평가를 해달라고 시킬 수도 있다. |
✅ Component 7 | 구분자(마크다운 포맷) 및 구조
(Delimiters and Structure) | • 프롬프트 구성요소에 명확한 구분자 사용 (예: ### Instructions ###, 코드 블록 등)
- 예시: “작업 설명에는 ### Instructions ###, 코드/텍스트 블록에는 사용”
• LLM은 마크다운 형식을 지원하기 때문에, 마크다운 형식으로 작성하자
- 예시) #제목, - 목차, **강조**, [링크](url)
|
📏 중요한건 Iteration: 20-60-20 Rule
Aakash는 AI와 협업할 때, AI가 수행하는 작업의 비중을 대략 60%로 기대하라고 한다.
- 프롬프트 작성이 20%, AI의 업무가 60%, 그리고 사람의 최적화가 20%
출처: The 3 Rules to Using AI Right, Aakash Gupta
AI에게 한번 완벽한 결과를 기대해서는 안된다. (누군가와 협업할때, 한번에 100% 결과물이 나온적이 있던가?) 마찬가지다.
좋은 프롬프팅은 훌륭한 출발점이 되고, 기대되는 AI 결과물이 나오겠지만, 여전히 20%의 최적화/반복 개선 작업이 남아있다. 이것을 간과해서는 안된다.
원하는 결과물이 나올때까지 몇차례는 수정 보완 작업이 있어야한다.(이 부분에 대한 테크닉은 추후에 별도로 다뤄보고자 한다)
작업 구조 나누기 – “중간 60%를 AI에게 맡겨라”
구간 | 역할 | 설명 |
✅ 첫 20% (사용자 입력) | 상황 맥락 제공 | • PM(프로덕트 매니저)로서 AI가 알 수 없는 구체적 맥락을 제공
• 예: 프로젝트 상황, 목표, 사용자 환경 등 |
✅ 중간 60% (AI의 역할) | 초안 생성 및 처리 | • AI가 무거운 작업(정보 정리, 초안 작성 등)을 수행
• 자동화된 반복 작업이나 데이터 정리에 적합 |
✅ 마지막 20% (사용자 편집) | AI 결과물 다듬기 | • 인간 고유의 판단력, 뉘앙스, 맥락을 반영
• AI의 흔적 제거 및 품질 향상 |
원하는 결과를 얻을 때까지 반복하기, 핵심 포인트
핵심 포인트 | 설명 |
⛔ 초안은 완벽하지 않음 | AI의 첫 결과물은 기대와 다를 수 있음 |
🔁 반복은 필수 | 수정과 개선을 위해 반복 필요 (4~5회 권장) |
🧭 피드백은 구체적으로 | 명확하고 구체적인 지시로 AI를 조정 |
🛠️ 품질 향상 | 인간의 피드백을 바탕으로 더 높은 완성도 달성
- 간결하고 전문적인 표현 요청
- 출처 요청하기
- 창의성 장려하기
- 전문용어 정의하기 |
💼 기타: 프롬프트 참고 자료 & Tip
개인적으로 아래 출처에서 권장하는 포맷과 가이드만 잘 따라해도 충분하다고 생각한다.
가이드 하나를 제대로 살펴보고, 꾸준히 시도해보자.
1. Gemini에서 제공하는 효과적인 프롬프트 작성법
2. 모두의 AI에서 제공하는 똑똑한 프롬프트 템플릿
https://github.com/modu-ai/smarter-prompt
3. 기타 Tip - 프롬프트 추천받기: “Power Prompt”
그리고 중요한 Tip을 하나 추가하자면, 프롬프트 자체를 추천 받을 수 있다. 간단한 요건만 주고 “Power Prompt” “효과적인 프롬프트”로 바꿔달라고 LLM에 요청하면 잘 바꿔준다. 처음 해봤을때 정말 WoW했다.
아래는 Geminit 가이드에 있는 “Power Prompt” 요청방법에 대한 설명이다.
Gemini를 프롬프트 편집기로 사용하세요. Gemini 앱을 사용하는 경우 다음 명령으로 프롬프트를 시작하세요. '다음 프롬프트를 더 효과적인 프롬프트로 만들어 줘. [여기에 원래의 프롬프트 입력]'. 그러면 Gemini에서 해당 프롬프트를 개선할 방법을 제안합니다. 필요한 내용이 표시되는지 확인한 다음 개선된 프롬프트를 Gemini Advanced에 붙여넣어 결과물을 확인하세요.
프롬프트를 추천받을 수 있다고 하더라도, 처음에는 직접 해보면서 경험하기를 추천한다. 내가 좀 써봐야, 추천받은 프롬프트가 괜찮은지도 판단력이 생긴다.
🏋️중요한 건 꾸준한 연습, 이왕이면 공동학습
이제 AI를 활용하면서 학습해나가면 된다.
성공적인 경험이건, 실망스러운 결과이건 꾸준히 시도하고 기록을 해야한다.
- 프롬프트와 결과를 계속 바꾸고 비교하며, 학습할 수 있다.
- 모델에 따른 비교를 해볼 수 있다.
- 결과가 좋았던 포맷을 참고하여 다음에 다른 과업에 활용할 수 있다.
주제/모델/프롬프트/결과의 항목으로, 노션이나 스프레드 시트에 정리하면 좋다.
심플하게, 노션에 아래와 같이 기록해나갈 수 있다.
날짜 | [YYYY-MM-DD] |
주제 | [과제명] |
모델 | [선택한 LLM 모델] |
프롬프트 | [프롬프트 작성 전체 원문] |
결과 | [LLM의 응답값] |
이왕이면 동료와 함께 “공동학습”을 해본다. 3명이 함께 한다면, 3배의 학습 기록이 된다.
➕그 외 참고자료들
Share article
세미나/워크샵/컨설팅 문의사항은 이메일을 남겨주세요.