LLM Judge의 판정을 믿기 위해 질문을 나누기 시작했다
질문과 무관한 청크를 인용한 RAG 응답을 Judge가 놓쳤던 경험을 바탕으로, 평가 기준을 구체화하고 오류 응답을 작은 질문으로 다시 검토해온 과정을 정리했습니다.
검증하며 남긴 기록
에이전트와 함께 개발하고 검증하며 배운 것들, 그리고 QA 엔지니어의 역할에 대한 생각을 기록합니다.
질문과 무관한 청크를 인용한 RAG 응답을 Judge가 놓쳤던 경험을 바탕으로, 평가 기준을 구체화하고 오류 응답을 작은 질문으로 다시 검토해온 과정을 정리했습니다.
목업 API와 반복 테스트를 수행하는 에이전트를 지켜보며, 검증 결과의 신뢰도와 제품 리스크, 탐색적 테스트에 대한 QA의 책임을 다시 생각했습니다.
PRD를 전달하던 초기 경험부터 LLMOps v1과 v2까지. 스펙, 결정 기록, QA와 리뷰를 연결하며 달라진 개발 방식을 돌아봅니다.