QA 도구수정 2026.10.086분

PRD부터 개발 하네스까지, 내가 경험한 SDD 개발

PRD를 전달하던 초기 경험부터 LLMOps v1과 v2까지. 스펙, 결정 기록, QA와 리뷰를 연결하며 달라진 개발 방식을 돌아봅니다.

에이전트와 개발하며 달라진 나의 일 · 1/2

AI로 개발을 하면서 가장 많이 달라진 것은 내가 에이전트에게 일을 맡기는 방식이었다.

처음에는 ChatGPT나 Claude에서 PRD를 만들고, 그 문서를 Cursor에 전달해 구현을 요청했다. 이후에는 스펙을 먼저 정하고 개발 단계를 나누는 도구들을 써봤다. LLMOps v1은 주로 SuperPowers를 활용해 만들었고, v2에서는 OpenSpec과 결정 사항 기록, QA와 리뷰 단계를 묶어 나만의 개발 흐름을 구성했다.

에이전트에게 기대하는 것도 달라졌다. 처음에는 원하는 기능이 만들어지는 것만으로 신기했다. 직접 제품을 만들어보니 내가 정한 의도가 구현 과정에서도 유지되는지, 완료했다는 말을 어디까지 믿을 수 있는지가 점점 더 중요해졌다.

내가 경험한 SDD(Spec-Driven Development)는 구현할 내용을 스펙으로 구체화하고, 그 스펙을 기준으로 개발을 이어가는 방식이었다. LLMOps를 만들면서 그 방식도 조금씩 바뀌었다.

PRD를 만들어 구현을 요청하던 시절

초기 Cursor를 사용하던 때에는 ChatGPT나 Claude와 대화하면서 PRD를 만들고, 그 내용을 전달해 “이대로 만들어줘”라고 요청하곤 했다. 지금 돌아보면, 그때도 구현 전에 요구사항을 정리하려는 시도는 하고 있었던 셈이다.

그런데 문서를 만들어 전달하는 것만으로 원하는 결과가 나오는 것은 아니었다. 강의를 듣고 직접 개발해보면서 생각보다 많은 개발 지식이 필요하다는 것을 느꼈다. 디자인 패턴이나 스키마 구조, 네트워크에 대한 이해가 있으면 내가 원하는 내용을 더 구체적으로 설명할 수 있었다.

특히 현업에서 쓰는 용어로 의도를 명확히 전달했을 때 결과가 꽤 달라졌다. 같은 기능을 원하더라도 어떤 구조와 조건을 기대하는지 설명할 수 있어야 했다. 에이전트가 코드를 작성해준다고 해서 내가 이해해야 할 것까지 함께 줄어드는 것은 아니라는 생각이 들었다.

이때부터 에이전트에게 무엇을 요청하는지만큼, 어떤 기준으로 요청하는지가 중요하게 느껴졌다.

스펙을 정하고 개발 과정을 나누기 시작했다

이후 Windsurf나 Kiro 같은 도구를 접했고, Claude Code를 사용하면서 Spec Kit도 써봤다. 도구마다 차이는 있었지만, 내 관심은 점점 스펙을 먼저 정하고 개발 과정을 단계별로 진행하는 쪽으로 옮겨갔다.

그 과정에서 여러 개발 하네스도 사용해봤다. 이 글에서 하네스는 에이전트가 어떤 지침을 따르고, 어떤 순서로 작업하며, 어디서 결과를 검토할지 묶어둔 작업 구성이라는 뜻으로 사용한다.

가장 많이 사용했던 것은 SuperPowers였다. LLMOps v1은 거의 이 도구를 활용해 만들었다고 해도 될 정도다. 다른 도구도 써봤지만, v1의 개발 경험은 SuperPowers를 중심으로 쌓였다.

PRD를 전달하고 구현을 요청하던 때와 비교하면, 브레인스토밍부터 구현과 리뷰까지 하나의 과정으로 진행할 수 있다는 점이 인상적이었다. 동시에 그 과정을 거쳤다는 사실만으로 결과가 늘 내 의도와 일치하는 것은 아니라는 것도 경험했다.

LLMOps v1에서 아쉬웠던 것은 화면이었다

v1을 만들 때는 화면을 먼저 구성하고 백엔드를 붙이는 방식으로 개발을 많이 진행했다. 눈에 보이는 결과를 확인하면서 작업하는 방식이 익숙했다.

그런데 프론트엔드는 아쉬움이 컸다. 흔히 AI가 만든 화면이라고 느낄 만한 디자인이 나왔고, 브레인스토밍부터 리뷰까지 한 차례 진행하고 나면 디자인이 내가 기대한 모습과 다르게 바뀌곤 했다.

개발 단계를 갖춰도 화면이 내 의도대로 유지되는지는 계속 확인해야 했다.

이 경험은 v2에서도 영향을 줬다. 이번에는 원하는 구조와 디자인을 더 잘 만들고 싶어서 Figma를 써보고, OpenDesign 같은 도구도 시도했다. 디자인 도구를 활용해도 처음부터 원하는 구성이 곧바로 나오지는 않았다.

그래서 다시 화면을 먼저 보면서 개발하는 방식으로 돌아갈까 고민했다. 다만 당시에는 하네스를 여러 번 수정하면서 개발 결과를 개선하고 있었고, 그 흐름을 계속 이어가고 싶었다.

LLMOps v2에서는 결정 사항을 기록하며 개발했다

v2에서는 YouTube에서 본 하네스 구성 설명을 참고하고, 여기에 OpenSpec을 결합해 자체 하네스를 만들었다. LLM wiki와 함께 기록을 남기고, OpenSpec으로 여러 결정 사항을 시간 순서에 따라 관리하면서 개발을 진행했다.

처음 PRD를 만들고 기록 방식을 가볍게 적용했을 때보다 구현이 내 기대에 가까워졌다. 처음의 요구사항에 더해, 개발하면서 내린 결정도 계속 남겼다.

그렇다고 모든 면에서 빨라진 것은 아니다. 오히려 개발에 걸리는 시간은 꽤 늘었다. 내 체감으로는 시간이 더 드는 대신 완성도가 높아졌다.

또 하나 중요했던 변화는 QA와 리뷰 단계를 추가한 것이었다. Claude가 작업을 완료했다고 보고해도 실제로는 부족한 부분이 남아 있는 경우가 있었는데, 검증 과정에서 그런 지점이 걸러지는 모습을 볼 수 있었다.

하네스, 기록 방식, QA와 리뷰를 함께 바꿨기 때문에 어느 하나만의 효과를 구분할 수는 없다. 다만 이 흐름으로 개발하면서 기대에 더 가까운 결과를 얻었다.

구현이 구체화된 뒤에는 디자인 결과도 달라졌다

디자인에서도 흥미로운 경험이 있었다. 처음에는 원하는 구조가 잘 나오지 않았는데, 개발을 진행하며 결정 사항과 구현 내용이 쌓인 뒤 그 내용을 바탕으로 디자인 작업을 요청했을 때는 필요한 구성이 훨씬 잘 나왔다.

이 경험을 통해 화면을 먼저 만들어야 한다는 내 습관도 돌아보게 됐다. 적어도 이번에는 구현과 결정 사항이 구체화된 상태에서 디자인을 진행하는 방식이 도움이 됐다.

원하는 화면이 나오지 않을 때, 도구에 전달할 제품의 내용과 결정이 충분히 구체적인지도 살펴봐야겠다는 생각이 들었다.

내가 원하는 것을 더 잘 설명할 수 있게 되었을 때 결과도 달라졌다는 점에서는, 처음 개발 용어의 중요성을 느꼈던 경험과도 연결됐다.

에이전트의 변화와 내가 일하는 방식의 변화

돌아보면 내가 경험한 변화에는 에이전트의 수행 능력과 내가 작업을 구성하는 방식이 함께 들어 있다.

처음에는 PRD를 작성해 구현을 요청했다. 이후에는 스펙을 정하고 개발 단계를 나눴다. v2에서는 개발 중 내린 결정을 기록하고, QA와 리뷰 결과까지 확인하게 됐다.

스펙을 하나 정의해 실행해두고 다음 날 결과를 봤을 때, 내가 기대한 것의 90% 정도가 구현되어 있다고 느낀 적도 있었다. 측정한 수치는 아니지만, 그만큼 생각에 가까운 결과가 나왔다는 체감이었다. 작업마다 QA와 리뷰를 거치면서 실패 지점이 걸러지는 모습도 인상적이었다.

그중에서도 내가 가장 관심 있게 지켜본 것은 QA였다. 직업이 QA 엔지니어이다 보니 백그라운드에서 진행되는 검증 결과를 그냥 지나치기 어려웠다.

QA 작업을 지켜보면서 내가 직접 해오던 일 중 상당 부분을 에이전트에 맡길 수 있겠다는 생각이 들었다.

그러자 다음 질문이 생겼다. 에이전트가 여기까지 수행한다면, QA 엔지니어인 나는 무엇에 더 집중해야 할까.

다음 글에서는 LLMOps v2에서 Claude Code의 QA 작업을 지켜보며 느낀 점과, 그 경험을 통해 다시 생각하게 된 QA 엔지니어의 역할을 이야기하려 한다.

다음 글: Claude Code에 QA를 맡겨보고 다시 생각한 QA 엔지니어의 역할