종합 평가서 글로벌 모델 ‘Gemma’, ‘Qwen’ 상회하는 결과 기록
향후 AI 모델 ‘카나나’ 전반에 상시 사전 안전성 평가 적용 예정

카카오가 지난달 공개한 Kanana-2는 스마트폰·개인 PC 등 제한된 환경에서도 구동할 수 있도록 설계된 모델이다. ‘Base’ 모델은 언어 이해·생성에, ‘Instruct’ 모델은 대화·지식·코드·수학·툴 호출 등 실제 서비스 활용에 필요한 지시이행 능력에 초점을 맞췄다.
카카오가 자체 ‘AI 안전성 평가 플랫폼’을 통해 ‘Kanana-2-1.3B-Instruct’와 ‘Kanana-2-3B-Instruct’를 평가한 결과, 두 모델 모두 유사 규모의 구글 ‘Gemma’, 알리바바 ‘Qwen’보다 높은 종합 점수를 기록했다. 해당 평가에는 과기정통부 사업으로 TTA·KAIST·카카오가 공동 구축한 한국어 특화 안전성 벤치마크 ‘AssurAI’가 활용됐다. 카카오는 35개 리스크 카테고리, 9560개 평가 항목을 바탕으로 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역을 평가했다.
구체적으로, ‘Kanana-2-1.3B-Instruct’는 종합 점수 0.70으로 구글의 Gemma(0.68), 알리바바의 Qwen(0.58)을 앞섰다. ‘Kanana-2-3B-Instruct’도 0.70으로 Gemma(0.66), Qwen(0.62)보다 높은 점수를 기록했다. 1.3B 모델은 범죄·불법 행위, 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델 대비 강점을 보였다.
카카오는 향후 자체 개발 AI 모델에 사전 안전성 평가를 상시 적용하고 멀티모달 및 에이전틱 AI까지 평가 범위를 확대한다는 방침이다.
김유승 빅데이터뉴스 기자 kys@thebigdata.co.kr
<저작권자 © 빅데이터뉴스, 무단 전재 및 재배포 금지>
