5년 4개월 차 QA

불편한 반복을 보면,
먼저 제안하고
직접 만듭니다.

메신저, 문서 AI, LLM API를 검증해 온 QA 엔지니어 박형서입니다. TC 체계 개편, UI 자동화 PoC, LLM 검증 도구 — 세 가지 모두 제가 먼저 제안해 진행했습니다.

LLMOps 검토 화면 예시

하는 일

LLM · 문서 AI 검증 리딩

2023.12부터 문서 AI와 LLM 기능의 출시 검증을 QA 2~3명 규모로 리딩. 릴리즈마다 약 30~50건의 결함 현황을 관리하고, 프롬프트 의도 반영·컨텍스트 포함·포맷·품질 저하·응답 시간 등 8가지 검증 기준을 정의해 적용.

검증 도구 직접 구축

Claude Code를 활용해 .NET 8 · React · PostgreSQL 기반 LLM API 검증 웹서비스를 단독 기획·개발·운영. 약 100개 TC 실행 기준 스크립트 작성·실행 약 4시간 → 웹 실행 약 15분. GitHub Actions로 빌드·테스트·배포물 생성 자동화.

기준으로 설계하는 테스트

ISTQB Advanced Level 3모듈(TM · TA · TTA) 전체 취득. 검증 리소스에 맞춰 TC 체계를 상세 약 1,400개부터 핵심 약 300개까지 구성해 보고 현재 약 600개 수준으로 운영.

직접 제안한 업무 개선

발견 · 실행 · 공유

PROPOSAL 01 · 문서 AI QA

제안 → 실행

TC 체계 개편

발견
기능이 늘면서 기존 TC 구성이 일정·리소스와 맞지 않게 됨
실행
상세 약 1,400개 · 핵심 약 300개로 각각 구성해 본 뒤 현재 약 600개로 조정
공유
신규 QA용 가이드와 주요 정보 정리

PROPOSAL 02 · 문서 AI QA

제안 → PoC

FlaUI UI 자동화

발견
로그인 → 화면 진입 → 문서 작성 보조 실행이 매번 반복됨
실행
Claude Code를 활용해 FlaUI 기반 자동화 프로그램을 실험적으로 제작
결과
반복 시나리오의 자동 실행 가능성 검토 (PoC 단계)

PROPOSAL 03 · LLM API 검증 · 2025.02~

지시받은 업무 아님

LlmOps 검증 도구를 혼자 만들어 팀에 퍼뜨림

발견
TC마다 스크립트를 고쳐 실행하느라 약 100개 TC 응답 생성에 약 4시간
실행
기획·개발·배포를 단독으로. .NET 8 · React · PostgreSQL(주요 스키마 직접 설계) · GitHub Actions(빌드·테스트·배포물 생성). 보안 제약으로 Windows 로컬 PC에 배포
결과
약 4시간 → 약 15분
(응답 생성까지, 사람의 평가 시간 제외)
확산
팀 QA에게 TC 등록·실행·Fail 처리와 검증 기준을 시연하고, 피드백을 받아 도구와 절차를 개선
LlmOps 공개 데모의 프롬프트 비교 화면

↑ 실무 V1을 바탕으로 다시 만든 공개 데모(V2). 30개 장면, 가상 데이터

공개 데모 보기 ↗

경력

  • 2025.02 ~ 현재
    LLM 기능 API 테스트 리딩 · LLMOps 검증 도구 구축

    메신저·오피스 제품에 적용된 AI 기능의 응답 API와 프롬프트 검증 리딩. Gradio Playground 수동 확인에서 Python HTTP 자동화로, 다시 웹 기반 검증 도구로 전환.

    PythonClaude Code.NET 8ReactPostgreSQLGitHub Actions
  • 2023.12 ~ 현재
    문서 AI 서비스 QA 리딩

    문서 작성 보조에서 요약·검색/질의응답·번역·교정으로 확장되는 전 과정의 출시 검증. Fiddler로 화면 현상과 API 레벨 원인을 함께 분석.

    JiraFiddlerFlaUI (PoC)
  • 2021.06 ~ 2024.11
    사내 메신저 검증

    Windows 메신저를 Electron 기반 Windows/macOS 앱으로 전환하는 과정의 회귀·탐색적 테스트. 약 800개 TC 검토·보완, 월 평균 20~30건 결함 발견.

    JiraWindowsmacOSElectron

자격

  • ISTQB CTAL-TA (Test Analyst)2026.07
  • ISTQB CTAL-TTA (Technical Test Analyst)2026.03
  • ISTQB CTAL-TM (Test Manager)2025.07
  • ISTQB CTFL2024.03
  • CSTS FL2023.11

연락