프로젝트 목표
자연어 기반 Unreal Engine 제어 시스템 구축
기존에 구축했던 Unreal MCP(https://github.com/gimmeDG/UnrealEngine5-mcp)는 구독 서비스 기반의 비용 절감이 가능했지만, 프로젝트를 진행하며 겪은 몇 가지 한계들로 인해 Unreal Agent의 필요성을 느껴 개발을 시작하게 되었다.
- 시스템 프롬프트 최적화: 언리얼 엔진 특화 프롬프트 최적화 어려움
- 멀티 에이전트 파이프라인 설계: 사용자 요청에 따른 단계별 파이프라인 제어 어려움
- 결과 검증: LLM 출력과 언리얼 에디터 반영 결과 검증 어려움
Unreal Agent 구조
👦 Client
⚡ FastAPI Server
🤖 Multi-Agent Pipeline
🎮 Unreal Engine
프롬프트 최적화와 비동기 처리로 가능하며, 내부 동작 과정이 확인할 수 있도록 설계했다.
- 웹 서버: FastAPI - async 기본 지원, pydantic 자동 검증으로 LLM 스트리밍에 적합
- LLM 호출: LiteLLM - 여러 LLM 모델 동일 인터페이스 호출, 토큰 추적 및 캐싱으로 비용 절감
- LLM 트레이싱: LangSmith- 간단한 LiteLLM 콜백으로 연동 가능
- 에이전트 파이프라인: 직접 구현 - 프레임워크 내부 프롬프트 의존 제거
- 결과 검증: DeepEval - 커스텀 메트릭 정의, pytest 통합 가능
- DB + Auth: Supabase - PostgreSQL + Auth + RLS 통합, python SDK로 연동 용이