이번 대회는 다양한 게임을 통해 대규모언어모델(LLM) 에이전트의 게임 수행 능력과 의사결정 능력을 정량적으로 평가한다.
Orak은 '오락'에서 착안한 이름으로, 게임 속 상황에서 AI가 인식하고 판단해 행동하는 전 과정을 수치화해 평가한다. 이 체계는 AI가 실제 게임 환경에서 얼마나 효율적이고 전략적으로 플레이할 수 있는지를 객관적으로 측정하며, 게임 실력의 반복적인 검증이 가능하다.
참가자들은 Orak이 제공하는 실제 상용 게임 환경을 기반으로 한 통합 평가 인프라를 활용해 자신이 개발한 모델을 테스트할 수 있다. 결과는 실시간으로 갱신되는 글로벌 리더보드를 통해 공개된다. 대회는 △스트리트 파이터 III △슈퍼 마리오 △포켓몬 △스타크래프트 II △2048 등 총 5개의 게임을 활용해 진행되며, 모델의 전략적 사고·문제 해결력·효율성을 종합적으로 평가한다.
이번 챌린지에는 NVIDIA(엔비디아), AWS(아마존웹서비스), OpenAI가 공식 후원사로 참여한다. 참가팀에게는 대회 기간 LLM 실험에 활용할 수 있는 총 4만5000 달러 규모의 크레딧이 제공되며, 최종 우승자에게는 총 2만 달러의 상금이 주어진다. 상위권 팀은 Orak을 개발한 크래프톤 AI 연구진과 에이전틱(Agentic) LLM 기술 논의 세션에 참여할 기회도 얻게 된다.
이강욱 크래프톤 AI 본부장은 "크래프톤은 Orak을 통해 LLM 에이전트 연구의 새로운 평가 기준 제시하고, 게임 산업 전반의 AI 혁신을 선도할 것"이라고 말했다.
정혜영 빅데이터뉴스 기자 news@thebigdata.co.kr
<저작권자 © 빅데이터뉴스, 무단 전재 및 재배포 금지>
