인게임 번역 검수를 위한 QA 툴 개발
진행 기간: Nov 2024 ~ Dec 2024
문제 상황
앞서 개발한 LLM 번역 툴로 초벌 번역을 제공함으로써 번역의 속도는 향상되었지만, 이 것만으로는 모든 번역 프로세스를 커버하지는 못합니다.
번역이 완료되면 다음 과정은 Language QA(이하 QA) 과정으로, 번역 결과에 존재할 수 있는 오타, 오역, 일관성, 세계관이 반영됐는지 등등 퀄리티를 체크합니다.
이 때, QA를 담당하는 사람은 번역을 맡았던 작업자가 아닌 다른 번역가가 맡는 것이 보통입니다. 때문에 적은 인원으로 번역에 검수까지 맡아야하는 부담이 있습니다.
또한 게임의 종합 컨텐츠적인 특성 상 QA 범위에 텍스트 뿐만 아니라 비주얼적인 요소들도 많이 포함됩니다. 예를 들어, 적절한 말풍선 위치에 텍스트가 들어갔는지, 폰트가 깨지는 일은 없는지 확인이 필요합니다.
프로젝트 목표
당장 해결할 수 있는 문제에 집중하기 위해 텍스트로 확인할 수 있는 것을 위주로 목표를 산정했습니다.
- 번역 QA 단계의 일부를 효율화하여 로컬라이제이션 팀의 업무 부담을 경감시키자.
- 기존 번역 워크플로우에 자연스럽게 통합 가능한 QA 모듈을 개발하자.
해결 과정
QA 기능 기획
- QA 작업 카테고리화: 번역 검수 업무를 체계적으로 분류하여 자동화 가능한 영역 식별
rule-based + LLM 하이브리드 구조: LLM이 부족한 논리 기반 검증은 rule-based로, 문맥 이해가 필요한 검증은 LLM으로 분담- 모듈 구조 설계: 기존 번역 워크플로우에 영향 없이 통합 가능하도록 독립적 모듈로 설계
QA 기능 개발
Rule-based 검수
- 게임별 용어집 일관성 검증: 게임 세계관에 맞는 전용 용어가 올바르게 번역되었는지 확인
- 인게임 수치 정확성 검증: HP, 공격력 등 게임 플레이에 직접 영향을 미치는 수치의 정확한 번역 여부 확인
LLM-based 검수
- 문법 규칙 검증: 게임별, 언어별로 다르게 적용되는 문법 규칙에 맞는 번역인지 확인
- 톤앤매너 일관성: 게임의 세계관과 캐릭터 설정에 부합하는 번역 스타일 유지 여부 검증
결과 리포팅
- Excel 리포트 생성: 검수 결과를 구조화된 엑셀 형태로 정리하여 번역 팀의 이해도 제고
- Slack 봇 연동: 검수 완료 시 자동으로 로컬라이제이션 팀에 결과 전달
- 문제점 별 카테고리화: 발견된 이슈를 유형별로 분류하여 효율적인 수정 작업 지원
주요 성과
- 검수 정확도 향상: 사람이 검출해내기 힘든 에러를 탐지해냄으로써 정확한 번역문 제공에 기여.
- 업무 효율성 증대: 자동화된 1차 검수로 번역 팀의 업무 부담 경감
기술 스택
- Langchain: 문법 QA 로직 구현
- PySpark: QA 중간 과정을 테이블 형태로 적재하는 데 활용
- Databricks: 워크플로우 DAG 관리 / 실행