AI에게 긴 문서를 맡기면 몇 분 만에 요약이 나오지만, 그 요약이 원문과 정확히 맞는지는 별개의 문제입니다. 이 글에서는 AI 요약 검증을 처음 해 보는 직장인도 바로 따라 할 수 있도록, AI가 만든 요약이 틀렸는지 원문과 대조하는 5단계 절차와 프롬프트 예시, 그리고 가상의 예시 문서로 오류를 찾아가는 과정을 정리했습니다.
AI 요약에서 자주 생기는 오류 유형
요약을 검토할 때 아래 유형을 알고 있으면 틀린 곳을 훨씬 빨리 찾습니다. 아래는 요약을 점검하는 관점에서 정리한 일반적인 경향이며, 통계나 연구 결과가 아닙니다.
- 숫자·날짜 오류: 금액, 비율, 기간이 바뀌거나 반올림되어 있는 경우
- 내용 누락: 원문의 중요한 조건이나 이유가 빠진 경우
- 없는 내용 추가: 원문에 없는 문장이 그럴듯하게 덧붙은 경우
- 주체 혼동: 누가 무엇을 했는지가 뒤바뀐 경우
- 어조 변화: “가능성이 있다”가 “확실하다”로 단정적으로 바뀐 경우
1단계. 요약을 시킬 때 근거 위치를 함께 요구하세요
“각 요약 문장 끝에 근거가 되는 원문 문단 번호를 표시해 줘”라고 지시하면 대조할 위치를 바로 알 수 있습니다. 다만 표시된 번호도 틀릴 수 있으므로, 반드시 해당 문단을 직접 열어 확인해야 합니다.
2단계. 숫자·날짜·이름만 따로 뽑아 대조하세요
요약에서 숫자, 날짜, 사람과 회사 이름만 목록으로 뽑아 원문에서 하나씩 찾아 맞춰 봅니다. 가장 치명적이면서 눈에 잘 띄지 않는 오류가 이 부분에 있으므로, 시간이 부족해도 이 단계는 생략하지 않는 편이 좋습니다.
3단계. 핵심 주장마다 원문의 해당 문장을 찾으세요
요약의 문장마다 원문에서 그 내용을 뒷받침하는 문장을 찾습니다. 찾지 못하는 문장이 있다면 AI가 덧붙인 내용일 가능성이 높으므로, 삭제하거나 원문 기준으로 고칩니다.
4단계. 거꾸로 원문의 핵심이 요약에 있는지 확인하세요
이번에는 원문을 먼저 읽고 가장 중요하다고 생각하는 문장 3개를 고른 뒤, 요약에 그 내용이 들어 있는지 확인합니다. 요약이 그럴듯해 보여도 결정적인 조건이나 이유가 빠져 있는 경우를 이 단계에서 잡을 수 있습니다.
5단계. 어조와 조건 표현을 확인하세요
“~할 수 있다”, “~일 수도 있다” 같은 표현이 “~한다”로 바뀌지 않았는지, “일부”, “대부분” 같은 범위 표현이 달라지지 않았는지 봅니다. 업무 문서에서는 이런 작은 차이가 판단을 바꿀 수 있습니다.
예시 문서로 보는 대조 과정
아래 문서와 요약은 설명을 위해 만든 가상의 예시이며, 실제 기업이나 실제 AI의 출력이 아닙니다. 요약에는 위에서 말한 오류를 일부러 넣었습니다.
원문(가상): “A사는 2026년 3분기 매출이 전 분기 대비 12% 증가한 480억 원이라고 밝혔다. 증가의 주된 원인은 신규 서비스 출시였으나, 회사는 4분기에는 마케팅 비용 증가로 영업이익이 줄어들 수 있다고 전망했다. 이번 실적은 김민수 대표가 10월 8일 열린 설명회에서 발표했다.”
요약(가상): “업계 1위 기업인 A사의 3분기 매출은 전 분기보다 21% 늘어난 480억 원이며, 신규 서비스 덕분이다. 4분기에는 영업이익이 줄 것으로 예상된다. 발표는 김민수 대표가 10월 8일 진행했다.”
이 요약에 위 단계를 적용하면 다음과 같이 네 가지 오류가 드러납니다.
- 2단계(숫자 대조): 증가율이 원문은 12%인데 요약은 21%로 숫자가 뒤바뀌어 있습니다.
- 3단계(근거 찾기): “업계 1위 기업”이라는 표현은 원문 어디에도 없으므로 덧붙여진 내용입니다.
- 4단계(핵심 확인): 4분기 영업이익이 줄 수 있는 이유인 “마케팅 비용 증가”가 요약에서 빠졌습니다.
- 5단계(어조 확인): 원문의 “줄어들 수 있다”가 요약에서는 “줄 것으로 예상된다”로 더 단정적으로 바뀌었습니다.
짧은 문서에서도 네 가지 유형이 한꺼번에 나올 수 있으므로, 실제 업무 문서에서는 더 꼼꼼히 확인해야 합니다.
대조를 AI에게 시킬 때 쓰는 프롬프트 예시
- “아래 요약 중 원문에 근거가 없는 문장을 모두 골라 줘. 근거가 있으면 해당 원문 문장을 그대로 인용해 줘.”
- “요약에 나온 숫자와 날짜를 표로 만들고, 원문의 값과 일치하는지 표시해 줘.”
- “원문에서 중요한 조건이나 이유인데 요약에서 빠진 내용이 있으면 알려 줘.”
AI에게 검수를 시키는 방법도 편리하지만, 검수 결과 역시 틀릴 수 있으므로 최종 확인은 사람이 해야 합니다.
한눈에 보는 점검 체크리스트
- 요약 문장마다 원문 근거 위치를 확인했는가
- 숫자, 날짜, 이름을 원문과 하나씩 맞춰 봤는가
- 근거를 찾을 수 없는 문장을 삭제하거나 고쳤는가
- 원문의 핵심 문장 3개가 요약에 들어 있는가
- 조건과 범위, 어조 표현이 달라지지 않았는가
- 최종 확인을 사람이 직접 했는가
마무리
AI 요약은 읽는 시간을 줄여 주지만, 그 시간을 아낀 만큼 확인에 일부를 다시 써야 안전합니다. 위 5단계 중 시간이 부족하면 2단계와 4단계만이라도 하시길 권합니다. 문장을 자연스럽게 다듬는 방법은 AI가 쓴 티가 나지 않게 문장을 손보는 7가지 방법에서 이어서 확인하실 수 있습니다. 업무 자동화 글은 AI 써먹기에서 계속 올라옵니다.