한국능률협회컨설팅(KMAC)은 '2024년 한국기업의 인공지능서비스(챗봇) 경쟁력 평가'를 위해 챗봇의 기본품질을 평가하는 모니터링 조사와 고객 관점의 체감품질 조사를 모두 진행했다.
KMAC는 평가를 진행하기에 앞서 지난 7월 31일 기업 담당자를 대상으로 공청회를 열고 산업계 의견을 반영해 모호하거나 중첩된 평가 항목을 삭제하고 세부 기준을 명확히 하는 작업을 진행했다.
해당 조사는 고객 여정을 기반으로 한 7개 차원의 38개 항목을 기준으로 실시됐다.
차원은 접근성, 사회적 현존감, 사용성 및 효율성, 문제해결 능력, 폴백 메시지, 개인화, 종료 등으로 구성됐다.
모니터링 조사는 구조화된 평가표에 따른 지수산출 방식에 따라 전문 조사원이 평가를 진행했다.
고객 체감품질 조사에서는 3개월 내 해당 챗봇을 이용한 고객 2480명을 대상으로 SPSS PC+를 이용한 정량적 통계분석이 이뤄졌다.
KMAC는 항목별 평가 결과를 바탕으로 차원별, 평가 영역별 가중치를 반영해 총점 100점으로 환산해 최종 점수를 도출했다.
가중치는 소비자를 대상으로 진행한 사전조사와,
CS학회 교수진의 학술적 검토, 공청회에서 수집한 기업 의견을 종합해 산출됐다.
모니터링 조사와 고객 체감품질 조사를 결합함으로써 객관적이고 정량적인 품질 데이터와 고객 경험 관점에서의 만족도를 통합적으로 분석할 수 있었다.
KMAC는 이를 바탕으로 최종 점수에 상대평가를 진행해 성숙도 관점에서 S부터 D까지의 5등급으로 조사 기업들을 분류했다.
이러한 성숙도 모델은 기업들이 등급별로 도출된 개선 사항을 면밀히 파악하고, 이를 토대로 전략적인 서비스 고도화 계획을 수립하는 데 실질적인 기준을 제공한다.
또한 성숙도 기반의 성장형 모델 관점에서 볼 때, 이는 단순히 개별 기업의 서비스 품질 향상을 넘어 산업 전반의 경쟁력을 강화하고, 고객과 기업 모두에 장기적인 가치를 창출할 수 있는 토대를 마련한다.
KMAC는 챗봇 평가에서 기본품질과 체감품질 등 두 가지 영역의 상대적 위치를 연구했다.
이번 조사는 기술 발전이 빠르게 진행되는 서비스 산업에서 고객이 챗봇을 쉽게 활용할 수 있도록 수용성 격차를 완화하는 방향성을 제시한다.
자세한 조사 결과와 해석, 컨설팅에 대한 문의는 KMAC 비대면채널 운영사무국을 통해 가능하다.
[조윤희 기자]
[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]