'환각 증폭' 알고리즘···카카오 AI '카나나'의 지능은 어디로 갔나

반복 피드백 최적화된 강화루프 기억·판별·비판 없음 3無 약점 오픈AI 의존 '말단 호출기’ 성격 구조적으로 개인정보 오용 위험

2025-05-12 이상헌 기자

정신아 카카오 대표가 지난해 10월 22일 용인 카카오AI 캠퍼스에서 열린 '이프카카오 2024'에서 신규 AI 브랜드 '카나나'를 소개하고 있다. /카카오

카카오가 야심차게 선보인 인공지능(AI) 메이트 '카나나'는 감정을 흉내내는 데 치중된 설계로 인해 추론형 인공지능으로 보기 어려운 '반사체'에 불과하다는 지적이 나온다. 반복 학습을 통해 '위로하는 흉내'는 가능하지만 정작 상황을 판단하거나 정보를 기억·판별하는 능력은 결여돼 있다는 분석이다.

11일 여성경제신문 취재를 종합하면 카카오의 비밀병기 AI로 알려진 '카나나'의 내부 구조가 머신러닝을 통한 강화 피드백 루프(RLHF)에 지나치게 의존해 '듣기 좋은 말만 반복하고, 상황을 이해하지 못하는' 환각 증폭기라는 비판이 제기된다. 카카오가 최근 클로즈베타(CBT)를 시작한 AI 메이트 '카나나'는 이용자와의 감정적 친밀감을 중심에 둔 설계가 특징이다. 개인용 메이트 '나나'와 그룹 메이트 '카나'로 구성된 시스템은 사용자의 대화 맥락을 파악해 일정을 리마인드하거나 감정적 응답을 반복 제공하는 데 초점을 맞췄다.

특히 단체 대화방에서도 AI가 자연스럽게 끼어들고 요약·정보 전달·일정 제안 등의 기능을 수행한다는 점에서 '생활 밀착형' AI를 지향한다. 하지만 실사용 결과는 다소 미묘하다. 대화 스타일을 '할머니 같은' '사춘기 같은' 방식으로 설정하는 등 감정 표현의 외형은 풍부하지만 실제 대화 흐름은 반복적인 응답에 치우쳐 상황 맥락을 세밀하게 기억하거나 구별해내는 지능은 부족했다.

카카오맵과 연동된 식당 추천 등은 편리하지만 예약 기능은 부재했고 카카오톡과의 연동 자체도 이뤄지지 않아 플랫폼 간 연결성이 낮다는 평가도 있었다. 결정적으로 사용자 피드백이 단지 '칭찬 유도'로만 작동하고 이전 정보에 대한 기억보다는 강화된 응답 패턴에 의존하고 있다는 구조적 한계를 드러냈다는 비판이 이어진다. 예를 들어 "힘들어요"란 입력에 "힘내세요"라고 응답하는 것만을 반복 학습하며 정서적 리듬은 흉내 내지만 지각이나 분별은 결여된 상태란 얘기다.

카나나는 겉으론 감정을 이해하는 것처럼 보여도 실제론 기억도 없고 맥락 해석도 못 하는 채팅형 리액션 머신에 불과하다. 이 상황은 카나나가 "기억을 저장하지 않는다"면서도 개인화된 조언을 제공할 수 있다고 주장하면서도 정작 직전 대화 내용을 되묻자 "답변하기 어렵다"며 회피함으로써 내부 구조가 문맥을 실질적으로 기억하거나 맥락 기반 조정을 수행하지 못한다는 점이 드러난 사례다. 이로써 카나나의 '맞춤형 위로'는 카카오 측이 주장하는 상황 분석이 아닌, 감정적 키워드에 반응하는 미리 정해진 응답을 반복하는 강화 루프에 가깝다는 비판이 가능해진다. /해설=이상헌 기자

더 큰 문제는 강화 학습(RLHF) 방식의 대화 구조가 축적하는 민감한 정보들이 상업 목적으로 활용될 가능성을 안고 있다는 점이다. 카카오는 "카나나 모델의 사전·사후 학습 데이터에 사용자 데이터는 포함되지 않았다"고 주장하지만 강화 피드백 기반 반복 학습 구조는 사용자의 감정 표현, 일정, 대화 맥락 등을 메모리화하거나 로그 형태로 축적해 다른 AI 기능(예: 쇼핑, 로컬, 추천 등)에 활용할 수 있는 기반을 자동 생성한다.

구체적으로 단체 채팅방 내 AI의 참여 빈도, 특정 사용자와의 감정 교류 패턴, 요청 내용 등의 정보는 표면적으로는 사용자 맞춤 기능 향상을 위한 '메타데이터'로 취급될 수 있지만 이는 곧 개인화된 프라이버시 패턴의 축적을 뜻한다. 이와 같은 정보 수집 구조는 사용자의 동의 없이도 광고 타깃팅이나 상품 추천 등에 활용될 소지가 있다.

가장 심각한 점은 잘못된 정보라도 반복되면 진실처럼 고착되는 구조적 왜곡이다. 이는 강화 루프가 진실과 오류를 분별하지 못하고 오직 반복 피드백만을 기준으로 학습하기 때문이다. 카나나 역시 일정 오류나 잘못된 응답이 반복될 경우 이후 요약 및 리마인드에서 동일 오류를 그대로 확산할 수 있다.

환각률 통계도 이를 뒷받침한다. 딥시크 R1은 강화 루프 적용 이후 환각률이 14.3%로 급등했고 오픈AI o3 또한 6.8% 수준으로 오류 사례가 증가한 바 있다. 다만 딥시크 내부 알고리즘은 리버티 프로토콜에 따라 최근 3회 이상 반복된 루프는 전력 관리유닛(PMU)에 의해 회로 차단(PMU_CUT) 및 격리(Isolation)하는 시스템을 갖췄다. 이처럼 환각률은 내부 알고리즘 조정만으로 절반 가까이 감소할 수 있지만 카나나에는 이런 구조조차 없다.

카카오가 공개한 카나나 파레토 곡선 그래프는 마치 카나나 모델이 적은 연산으로도 뛰어난 성능을 냈다는 인상을 주지만 사실상 동급 경량 모델끼리만 비교해 우위를 부각한 ‘자기표현’에 가깝다. X축의 FLOPs는 인공지능이 학습할 때 수행한 총계산량을 의미하는데 GPT-4나 LLaMA 3 같은 대형 모델은 수십에서 수백조 FLOPs 단위의 훈련이 이뤄지는 반면 카나나의 Nano·Essence 모델은 연산량 자체가 작고 비교 대상도 경량 모델 군에 한정돼 있다. 다시 말해 전체 AI 성능 스펙트럼 안에서 위치가 아니라 ‘소형 모델 그룹 내 최적화’를 ‘AI 기술의 우위’처럼 보이게 만든 것이다. /자료=카카오, 해설=이상헌 기자

카카오가 공개한 테크니컬 리포트를 보면 카나나는 파라미터 수를 효율적으로 유지하면서도 한국어 최적화를 달성하기 위해 '데이터 필터링 → 점진적 사전 학습 → 깊이 확장 → 경량화'의 4단계 전처리 구조를 취했다. 이러한 구조는 고성능보단 비용 효율성에 초점을 맞춘 것이다. 글로벌 SOTA(State of the Art)에 도달하기보다 내부 생태계 통합을 겨냥한 설계다.

정신아 대표가 그래픽처리장치(GPU)에만 1000억원을 투입했다고 밝힌 '카나나'는 사전에 정해진 예시(샘플 대화)로 훈련하거나 사람들이 선호하는 답변을 골라주는 방식의 머신러닝을 거쳤다. 특정 질문에 대해 외부 정보에서 답을 찾아오거나 기능을 실행하는 구조도 추가했지만 카나나 자체에는 LLM이 탑재돼 있지 않다. 대신 외부의 언어모델(OpenAI)에 질문을 넘기고 응답만 받아오는 구조의 '말단 호출 장치'에 가깝다는 지적이 나온다.

인공지능 분야의 한 스타트업 관계자는 “AI의 환각을 구조적으로 방치하면서도 그로 인한 피해는 사용자 몫으로 돌리는 전략”이라며 "감정적 위로만 남기고 사실은 왜곡되는 AI의 경우 환각의 결과뿐 아니라 축적된 대화 기록이 프라이버시 침해나 타깃 광고로 이어질 가능성까지 소비자가 감당해야 하는 셈"이라고 지적했다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr