LLM Judge의 판정을 믿기 위해 질문을 나누기 시작했다
질문과 무관한 청크를 인용한 RAG 응답을 Judge가 놓쳤던 경험을 바탕으로, 평가 기준을 구체화하고 오류 응답을 작은 질문으로 다시 검토해온 과정을 정리했습니다.
LLM API를 검증하면서 가장 오래 붙들고 있던 질문은 “이 응답을 통과로 봐도 되는가”였다.
일반적인 API에서는 명시된 계약과 시스템 상태를 바탕으로 기대 결과를 정한다. LLM 기능에서도 상태 코드와 스키마, 필수 필드 같은 조건은 확인할 수 있다. 어려운 것은 그 형식 안에 들어 있는 내용이었다. 형식이 맞아도 내용이 틀릴 수 있고, 지난번과 표현이 다른 응답이 오히려 더 나을 수도 있었다.
처음에는 사람이 응답을 읽고 판정했다. 검증 대상이 늘어나면서 LLM에게 평가를 맡기기 시작했고, 이번에는 그 평가를 어디까지 믿을 수 있는지 고민하게 됐다. 특히 RAG 응답의 인용 오류를 Judge가 놓치는 경험을 하면서, 무엇을 어떤 크기의 질문으로 물어야 하는지 다시 생각하게 됐다.
처음에는 사람이 읽고 문제에 이름을 붙였다
검증의 출발점은 요구사항이었다. 반드시 들어가야 할 내용과 들어가면 안 되는 내용을 나누고, 프롬프트의 필수·금지 지침과 출력 형식을 확인했다. 실제 HTTP 응답뿐 아니라 클라이언트에서 어떻게 표시되고 어떤 용도로 쓰이는지도 살폈다. 문서만 봐서는 알기 어려운 조건이 화면과 응답에서 드러나기도 했다.
내용 판정은 사람이 했다. 응답을 읽고 Pass나 Fail을 정하거나, 문제 유형에 따라 라벨을 붙였다. 다른 언어의 토큰이 섞이면 ‘언어 혼용’, 요청한 언어로 답하지 않으면 ‘기대 언어 선택 미흡’, 청크 ID와 인용 내용이 맞지 않으면 ‘출처 인용 오류’로 구분했다.
점수는 되도록 매기지 않았다. 3점과 4점을 가르는 근거를 설명하기 어려웠기 때문이다. 대신 어떤 문제가 반복되는지 알아볼 수 있도록 라벨을 쌓았다.
다국어 응답은 모든 언어를 직접 검수하기 어려웠다. 직역해 의미를 확인하거나 LLM에게 번역의 정확성, 자연스러움, 실제로 쓰이는 표현인지 등을 물었다. 영어는 직접 읽고 개념이 맞으면 우선 Pass로 처리했다. 돌아보면 이때도 판정의 일부를 LLM에게 맡기고 있었지만, 그 답을 신뢰할 기준은 충분히 갖추지 못했다.
전체 통과율보다 바뀐 항목을 추적했다
검증을 반복하면서 대상 프롬프트와 사용자의 페르소나를 정리하고, 그에 맞춰 테스트 케이스를 미리 구성하게 됐다. 결과도 전체 통과율만 보는 대신 케이스별로 비교했다.
예를 들어 같은 회귀 테스트 100건에서 통과한 항목이 50건에서 60건으로 늘었다고 해보자. 전체 수치는 좋아졌지만, 이전에 통과하던 중요한 항목이 실패로 바뀌었을 수도 있다. 그래서 버전 간 결과를 매핑해 개선된 항목과 퇴행한 항목을 함께 추적했다.
이슈 히스토리도 검증 기준에 포함했다. 언어 혼용이나 특정 모델을 사용하면서 겪은 LaTeX 관련 문제처럼, 프롬프트를 수정한 뒤에도 다시 나타나는 문제가 있었다. A 기능에서 발견한 문제가 같은 모델을 쓰는 B 기능에서도 재현되는지 확인했다. 한 기능에서 발견한 문제를 다른 기능의 검증에도 활용하기 시작한 것이다.
판정을 맡긴 Judge도 다시 확인해야 했다
사람이 모든 응답을 읽기 어려워지면서 자동 평가 방법을 살펴봤다. 먼저 시도한 것은 BLEU 같은 지표였다. BLEU는 참조 번역과의 수정된 n-gram 정밀도에 길이 페널티를 반영하는 지표다. 내 검증에서는 이 수치만으로 의미와 뉘앙스까지 판단하기 어려웠다. 문장이 유려해도 원문의 뜻과 다른 응답을 충분히 걸러내지 못했다. BLEU 원논문
이후에는 LLM-as-a-Judge를 사용했다. LLMOps에서 G-Eval로 부르던 평가 흐름에서는 평가 기준별 점수와 근거를 받아 확인했다. 현재도 여러 평가 기준을 한 번의 추론 모델 API 요청에 담아 처리하는 방식을 사용하고 있다.
참고로 G-Eval 원논문은 평가 단계 생성과 양식 기반 평가, 점수 토큰의 확률을 이용한 가중 합산을 제안한다. 기준별 점수를 받는 모든 평가 방식이 원논문의 구현과 같은 것은 아니다. G-Eval 원논문
Judge가 제시한 근거를 보고 사람이 응답을 다시 확인했을 때 판정이 뒤집히는 경우가 있었다. Fail 항목을 사람이 리뷰하며 검증을 보완했지만, 판정을 자동화했다고 해서 확인할 일이 없어지지는 않았다.
같은 응답이라도 Judge 모델이나 평가 프롬프트를 바꾸면 결과가 달라졌다. 이 경험은 같은 조건으로 반복했을 때의 일관성과는 구분해야 한다. 평가 조건을 바꿨을 때 판정이 달라지는 것을 보고, Judge 자체의 기준과 동작도 검토해야 한다고 느꼈다.
질문과 무관한 인용을 범용 가이드가 놓쳤다
대표적인 사례가 RAG 응답이었다. 검색된 내용 안에서도 질문에 따라 반드시 인용해야 하는 청크, 필수 인용 대상은 아니지만 함께 포함될 수 있는 내용, 인용하면 안 되는 내용을 구분할 수 있었다.
그런데 실제 평가 가이드는 범용적인 표현으로 작성되어 있었다. 개별 질문에서 무엇을 인용해야 하고 무엇을 제외해야 하는지 충분히 드러나지 않으니, Judge가 그 경계를 잘못 판단하는 경우가 있었다.
특히 질문과 상관없는 청크 내용을 그대로 인용한 응답이 자주 나왔고, Judge가 이 문제를 놓치는 경우도 많았다. 결국 평가 기준 데이터에 해당 테스트 케이스에서 특정 청크를 인용하면 Fail로 처리하라는 조건을 명시하는 추가 작업이 필요했다.
이 사례에서 확인해야 했던 것은 출처가 존재하는지뿐만이 아니었다. 실제 검색된 청크를 인용했더라도, 그 내용이 사용자의 질문에 필요한지 따져야 했다. 청크의 존재 여부와 인용의 적절성은 서로 다른 검증 항목이었다.
이를 겪으면서 범용적인 품질 가이드와 테스트 케이스별 기대 조건을 구분해야 한다고 느꼈다. Judge가 개별 질문의 의도를 모두 알아서 해석할 것이라고 기대하기보다, 그 케이스에서 반드시 지켜야 할 조건을 평가 데이터에 더 명확히 담아야 했다.
오류 응답을 다시 볼 때 질문을 작게 나눴다
질문을 나누는 기법은 실제 오류 응답의 평가를 추가로 검토할 때 사용했다. 응답 전체를 다시 평가해달라고 하기보다, 특정 기능이나 요건을 만족하는지 나눠 물어봤다. 그렇게 결과를 검토하면서 경험상 판단을 더 신뢰할 수 있다고 느꼈다.
번역에서는 대상 언어, 의미 보존, 자연스러움, 어투와 톤을 구분했다. RAG 응답에서는 출력 형식, 검색 정보의 반영, 무관한 내용의 포함 여부, 핵심 내용의 누락, 청크 ID와 근거의 연결을 나눠 살폈다.
이것은 운영 중인 평가 시스템을 다중 호출로 바꾼 뒤 성능을 측정한 결과는 아니다. 실제 오류 응답을 추가로 검토하는 과정에서 얻은 관찰이다. 이를 정확도 향상률이나 반복 실행의 일관성 수치로 제시할 근거까지 확보한 것은 아니다.
평가 항목을 나열하는 것만으로 질문이 충분히 작아지는 것도 아니다. “원문의 뜻과 일치하는가”에도 여러 조건이 들어 있다. 이 글에서 말하는 원자적 판정은 하나의 조건에 대해 근거와 결과를 따로 남길 수 있는 단위다.
질문을 더 구체화하는 예로는 “원문의 부정 표현이 유지됐는가”, “수량과 단위가 보존됐는가”를 생각해볼 수 있다. 출처 인용이라면 “청크 ID가 검색 결과에 존재하는가”, “그 청크가 응답의 해당 주장을 뒷받침하는가”, “그 주장이 사용자의 질문과 관련이 있는가”를 각각 물을 수 있다. 이 질문들은 분해 방법을 설명하기 위한 예시다.
이렇게 구분하면 ID의 존재 여부는 코드로 확인하고, 주장과 근거의 의미 관계는 Judge에 물어보는 식으로 검사 방법도 나눌 수 있다.
관련 연구인 CheckEval 역시 평가 기준을 세분화한 이진 질문을 사용한다. 다만 이 연구는 여러 질문을 한 프롬프트에 함께 넣었고, 예비 실험에서 개별 호출과 뚜렷한 성능 차이를 발견하지 못했다고 설명한다. 질문을 작게 나누는 것과 API 호출을 분리하는 것은 별개의 선택으로 봐야 한다. CheckEval 논문 §3.3
여러 호출로 확장하려면 집계와 검증이 남는다
현재 운영 방식은 여러 평가 기준을 하나의 추론 모델 API 요청으로 처리하는 것이다. 지금은 이를 여러 번의 API 요청을 사용하는 에이전트 형식으로 바꾸는 시도를 하고 있다. 오류 응답을 추가 검토할 때 얻은 경험을 평가 흐름으로 확장해보려는 단계다.
여러 결과를 모으는 구조에서는 최종 판정 기준도 정리해야 한다. 필수 요건이 실패했을 때 다른 항목의 점수와 어떻게 관계를 맺을지, 근거가 부족해 판단할 수 없는 경우와 평가 실행 자체가 실패한 경우를 어떻게 구분할지가 남는다. 이 부분은 구체적인 집계 규칙이나 구현 성과로 제시할 단계가 아니다.
취합 에이전트가 개별 판정을 다시 해석한다면 그 마지막 판단도 검증 대상이 된다. 규칙으로 계산할 부분과 추가 판단이 필요한 부분을 구분하고, 호출 수에 따른 비용과 시간도 함께 확인해보려 한다.
그다음은 사람의 리뷰를 쌓는 일이다. 에이전트의 판정과 사람이 수정한 결과, 그 수정 근거를 모으면 평가 질문을 다듬는 데 활용할 수 있을 것이다. Fail 결과를 재검토하는 것에 더해, Pass 결과에서도 놓친 결함이 없는지 살펴보는 방향이 필요하다고 생각한다.
판단을 구조화하는 수단으로는 Jev 같은 decision model도 관심 있게 보고 있다. TypeSafe는 Jev를 구조화된 질문에 타입이 정해진 판단과 확률을 반환하는 모델로 소개한다. 다만 확률 출력만으로 내 검증에서의 정확성을 보장할 수는 없다. 사람의 판단과 실제 오류 사례를 기준으로 활용 가능성을 확인해보고 싶다. TypeSafe 공식 소개
리뷰 데이터를 쌓고 판정 모델을 개선하는 평가 플라이휠은 아직 구상이다. 지금까지의 경험에서 먼저 분명해진 것은, 판정을 맡길수록 테스트 케이스의 기대 조건을 구체화하고 질문의 범위를 정하는 일이 중요하다는 점이다.
지난 글에서는 에이전트에게 테스트를 맡길수록 결과를 믿을 근거가 필요하다고 썼다. LLM 응답의 판정에서도 같은 질문을 마주했다. 앞으로는 질문을 나누는 것에서 한 걸음 더 나아가, 각 판정의 근거와 사람의 리뷰를 남겨 어떤 조건에서 Judge를 신뢰할 수 있는지 확인해보고 싶다.