카카오, 인공지능안전연구소와 AI 모델·에이전트 안전성 검증

[빅데이터뉴스 김유승 기자] 카카오는 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 전략적 업무협약(MOU)을 28일 체결했다고 29일 밝혔다.

양사는 이번 협약을 통해 AI 모델과 에이전트를 대상으로 안전성 평가 체계를 구축하고 평가 방법론과 도구 개발에 협력한다는 방침이다.

이를 위해 카카오는 평가 대상이 되는 자사 AI 모델과 AI 에이전트를 제공하고, 평가 수행과 도구 개발에 필요한 인프라를 지원한다. 인공지능안전연구소는 평가 수행과 방법론 고도화를 담당한다.

협력은 총 3단계로 진행된다. 먼저 언어모델을 대상으로 배포 전·후 안전성 평가를 수행한 뒤 멀티모달 언어모델과 AI 에이전트까지 평가 범위를 확대한다. 이후 AI 모델과 에이전트의 안전성을 효율적으로 검증할 수 있는 평가도구를 공동 개발할 계획이다.

앞서 카카오는 지난해 인공지능안전연구소와 자체 언어모델 'Kanana-1.5-9.8B'를 대상으로 공동 안전성 평가를 진행했다. 양사는 이번 협약을 계기로 AI 모델의 잠재적 위험을 사전에 식별하고 검증할 수 있는 평가 체계를 고도화한다는 방침이다.
한편, 카카오는 자체 AI 모델을 대상으로 안전성 검증을 지속하고 있다. 최근에는 자체 구축한 'AI 안전성 평가 플랫폼'을 활용해 오픈소스 경량 언어모델(SLM) 'Kanana-2' 시리즈의 유해성과 편향성 등도 점검한 바 있다.

당시 평가에는 TTA, KAIST 등과 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'를 활용해 유사 규모의 글로벌 모델과 비교해 높은 수준의 안전성을 확인했다. 카카오는 이를 바탕으로 멀티모달 모델과 AI 에이전트까지 안전성 평가 범위를 단계적으로 확대할 계획이다.

김유승 빅데이터뉴스 기자 kys@thebigdata.co.kr