테스트 설계수정 2026.10.086분

Claude Code에 QA를 맡겨보고 다시 생각한 QA 엔지니어의 역할

목업 API와 반복 테스트를 수행하는 에이전트를 지켜보며, 검증 결과의 신뢰도와 제품 리스크, 탐색적 테스트에 대한 QA의 책임을 다시 생각했습니다.

에이전트와 개발하며 달라진 나의 일 · 2/2

LLMOps v2를 개발하면서 Claude Code의 QA 작업을 지켜봤다. 처음에는 어떤 테스트를 하는지 궁금해서 결과를 확인했다. 보다 보니 “QA 작업을 위한 흐름만 잘 구성하면, 내가 직접 하는 것보다 더 잘 수행하는 부분도 있겠는데”라는 생각이 들었다.

목업 응답 프로그램을 만들어 API를 테스트하고, 그럴듯한 테스트 데이터를 준비해 반복 검증하는 모습이 특히 인상적이었다. 테스트를 제안하는 데서 끝나지 않고, 필요한 준비와 실행까지 이어가는 모습이었다.

나는 QA 엔지니어다. 그래서 이 경험은 개발이 편해졌다는 감상으로만 끝나지 않았다. 에이전트가 이런 작업을 수행할 수 있다면 내가 해오던 일은 어디까지 맡길 수 있을지, 그리고 나는 무엇을 더 잘해야 할지 생각하게 됐다.

LLMOps v2의 개발 과정에 QA를 넣었다

v2에서는 자체 하네스에 OpenSpec을 결합하고, 결정 사항을 기록하면서 스펙을 기준으로 개발을 진행했다. 여기에 QA와 작업별 리뷰 단계를 추가했다.

QA는 백그라운드에서 진행됐고, 나는 그 결과를 중간중간 확인했다. 개발과 검증을 거치면서 실패 지점이 걸러지는 모습을 볼 수 있었다. 작업을 완료했다는 보고와 실제 구현 사이에 남아 있던 차이를 발견하는 데도 도움이 됐다.

개발 전체를 보면 시간은 이전보다 더 걸렸다. 그 대신 내가 기대한 것에 가까운 결과를 얻었다고 느꼈다. 스펙을 정의해 실행해두고 다음 날 구현을 확인하는 과정이 꽤 인상적이었다.

하네스와 기록 방식도 함께 바꾼 만큼 QA만의 효과를 분리해 말하기는 어렵다. 하지만 검증이 수행되는 과정 자체는 내 업무를 돌아보게 하기에 충분했다.

예상보다 인상적이었던 것은 준비와 반복 실행이었다

내가 놀랐던 것은 테스트 항목을 많이 작성한다는 점만은 아니었다. 목업 응답 프로그램을 생성해 API 테스트에 활용하거나, 테스트 데이터를 구성해 검증을 반복하는 등 실제 수행에 필요한 작업까지 이어갔다.

이런 모습을 보면서, 이미 정의된 테스트 케이스를 내가 하나씩 실행하는 데 쓰던 시간을 다른 곳에 사용할 수 있겠다는 생각이 들었다. 적절한 조건과 기준을 제공한다면 에이전트에 맡길 수 있는 범위가 생각보다 넓어 보였다.

솔직히 처음에는 웬만한 신입 QA보다 잘하는 것 같다는 생각도 들었다. 역량을 객관적으로 비교한 평가는 아니지만, 테스트 준비와 반복 수행을 지켜보면서 그만큼 놀랐다.

그 경험만으로도 내 업무를 다시 살펴볼 이유는 충분했다. 내가 직접 실행한다는 사실보다, 필요한 검증이 제대로 이루어졌는지를 확인하는 일이 더 중요해질 수 있겠다고 느꼈다.

그래도 스펙이 부족한 곳에는 결함이 남았다

검증을 진행했다고 해서 결함이 모두 사라진 것은 아니었다. 내가 스펙을 충분히 정의하지 않은 부분도 있었고, 구현에 남은 문제도 있었다.

이 지점에서 관심이 테스트 수행 능력에서 검증 기준으로 옮겨갔다. 에이전트가 주어진 스펙을 기준으로 잘 수행하더라도, 그 스펙이 내가 원한 제품의 동작을 충분히 설명하는지는 다시 생각해야 했다.

예를 들어 두 컴포넌트가 각각 요구사항을 충족하더라도 함께 사용할 때 논리적으로 충돌할 수 있다. 사용자 흐름에 필요한 조건이 스펙에서 빠져 있을 수도 있다. 이런 문제는 앞으로 내가 더 주의해서 살펴봐야 할 영역이라고 생각한다.

이런 문제를 찾는 데도 에이전트의 도움을 받을 수 있을 것이다. 그러려면 어떤 기준으로 검증해야 하는지, 그 기준에 빈틈은 없는지를 함께 살펴야 한다. 나는 이 부분에 더 집중하고 싶어졌다.

테스트 케이스 실행을 맡기려면 결과를 믿을 근거가 필요하다

이번 경험 이후에는 기존에 내가 직접 수행하던 TC, 즉 테스트 케이스 실행을 어느 정도 내려놓아도 되겠다고 생각했다. 그만큼 에이전트가 수행한 결과를 어떻게 확인할 것인지가 새로운 관심사가 됐다.

앞으로 에이전트에게 QA를 맡길 때는 다음 질문에 답할 수 있는 결과를 요구하고 싶다.

  • 어떤 대상과 환경에서 테스트를 실행했는가.
  • 어떤 데이터와 사전 조건을 사용했는가.
  • 기대한 결과와 실제로 관찰한 결과는 무엇인가.
  • 실행하지 못했거나 판단하지 못한 항목은 무엇인가.
  • 실패를 다시 확인할 수 있는 근거가 남아 있는가.

목업 응답을 활용한 API 테스트도 마찬가지다. 목업으로 확인한 범위와 실제 연동에서 추가로 확인해야 할 범위를 구분할 필요가 있다. 어떤 테스트가 통과했다는 사실을 어디까지 신뢰할 수 있는지 판단하려면, 그 테스트가 무엇을 확인했는지 알아야 한다.

TC를 작성하는 방식도 다시 생각하게 됐다. 사람이 맥락을 읽고 보완해왔던 설명을 에이전트가 같은 의미로 해석할 수 있을까. 사전 조건과 수행 절차, 기대 결과를 에이전트가 실행하고 판단할 수 있을 만큼 명확하게 작성하는 일이 중요해질 것 같다.

QA는 어디에 검증을 더 투입할지 판단해야 한다

에이전트가 테스트를 반복할 수 있다고 해도 내가 확인하고 싶은 것이 전부 충분히 검증됐다고 바로 판단하기는 어렵다. 무엇을 먼저 살펴보고, 어느 부분에 더 시간을 들일지는 제품의 맥락과 연결돼 있다.

사용자가 자주 거치는 흐름은 무엇인지, 실패했을 때 영향이 큰 기능은 무엇인지, 이번 변경으로 함께 영향을 받을 영역은 어디인지를 생각해야 한다. 그 판단에 따라 에이전트가 수행할 검증의 범위와 깊이도 달라져야 할 것이다.

이 과정에서도 AI를 활용할 수 있다고 생각한다. 주요 사용자 시나리오와 위험을 함께 정리하고, 내가 놓친 가능성을 제안받는 식이다. 나는 그 제안이 제품 상황에 맞는지 살피고, 어디에 검증 자원을 더 배분할지 판단하는 데 집중하고 싶다.

탐색적 테스트 역시 그런 방향에서 더 중요하게 느껴진다. 정의된 TC를 수행한 뒤에도 사용자 관점에서 흐름을 이어보고, 예상하지 못한 조합과 어색한 동작을 살펴보는 것이다. 그렇게 발견한 문제를 스펙과 다음 검증에 다시 반영한다면, 에이전트가 수행할 수 있는 범위도 함께 구체화될 것이다.

검증의 깊이는 앞으로 더 확인해보고 싶다

아직 궁금한 부분도 있다. QA 작업 결과를 보다 보면 단계마다 비슷한 양의 검증 항목이 생성되는 것처럼 느껴졌다. 이것이 작업 특성 때문인지, 설정이나 지침의 영향인지까지는 확인하지 못했다.

Effort 설정에 따라 검증의 범위나 깊이가 달라지는지도 궁금하다. 앞으로 같은 스펙을 두고 조건을 바꿔본다면, 생성한 항목 수뿐 아니라 실제로 수행한 검증과 발견한 문제, 걸린 시간까지 함께 살펴보고 싶다.

테스트가 많이 생성됐다는 사실만으로 안심하기보다, 중요한 위험을 제대로 다뤘는지 확인하는 방향으로 접근하고 싶다.

내가 더 집중하고 싶은 QA의 일

에이전트가 QA 작업을 잘 수행하는 모습을 보면서도, 내가 책임져야 할 일은 여전히 보였다.

무엇을 검증할지 정하고, 스펙에 빠진 조건을 살피고, 수행 결과를 믿을 근거를 확인하는 일이다. 제품 위험에 따라 검증의 우선순위를 정하고, 정의된 시나리오 밖에서 발견한 문제를 다시 개발 과정에 연결하는 일도 포함된다.

에이전트가 실행을 더 많이 맡아줄수록 이런 판단에 시간을 더 쓸 수 있기를 기대한다. 다음 개발에서는 에이전트가 수행하기에 충분히 명확한 TC와 확인 가능한 결과를 요구하는 것부터 시작해보려 한다. 그리고 내가 직접 제품을 사용하며 발견한 문제를 스펙과 검증 과정에 다시 반영해보고 싶다.

Claude Code의 QA 작업을 지켜본 경험은, 내가 직접 실행해온 일과 앞으로 더 집중해야 할 일을 다시 나눠보는 계기가 됐다.

이전 글: PRD부터 개발 하네스까지, 내가 경험한 SDD 개발