이재용은 가능하고 애플·구글은 못하는 내 손 안의 '피드백 루프'

애플은 세계 최강 수준의 스마트폰용 내장 칩셋을 보유하고 있지만 아이폰과 맥에 탑재된 A17 Pro·M 시리즈 괴물 반도체조차 인공지능(AI) 흐름 설계에선 결정적 한계를 드러냈다. 아이폰 인텔리전스 시리(Siri)의 실패는 단순한 기술 스펙의 문제가 아니라 구조 설계 철학의 차이에서 비롯됐다.

삼성전자의 기회는 이 지점에서 명확히 드러난다. 갤럭시의 칩셋 성능은 아이폰에 비해 떨어지지만 스마트폰과 안드로이드 OS 사이에 의미 순환(feedback loop) 알고리즘을 구현하는 혁신으로 격차를 상쇄할 수 있다. 빅스비의 연결성을 강화해 제미나이와의 협업 가능성을 넓히고 사용자가 “AI가 나를 기억하고 있다”고 체감하게 만드는 것. 바로 이 감각이 클라우드를 넘어선 온디바이스 인공지능이다.

10일 삼성전자에 따르면 노태문 디바이스경험(DX)부문장 직무대행(사장)은 전날 미국 뉴욕 브루클린 듀갈 그린하우스에서 열린 ‘갤럭시 언팩’ 행사에서 “가장 큰 혁신은 하드웨어, 소프트웨어, 서비스가 서로의 성장을 자극할 때 탄생한다”고 말했다.

이날 노 사장이 “AI와 결합한 모바일의 새로운 가능성”을 강조하며 공개한 Z 폴드7의 경쟁력은 API 호출을 통한 ‘멀티모달’ 시스템이다. 텍스트, 음성, 이미지, 영상을 한 번에 이해하고 처리하는 기능은 구글 제미나이가 결합되면서 가능해졌지만 실제 연산은 클라우드에서 이뤄지기 때문에 스마트폰은 여전히 서버 의존적일 수밖에 없다.

특히 멀티모달 처리의 상당 부분이 구글 안드로이드 생태계에 종속된 것은 모바일 OS와 핵심 서비스 계층(API) 대부분이 구글의 기술로 설계돼 있기 때문이다. 이런 구조에서는 삼성의 자체 AI인 빅스비와도 긴밀히 연결되지 못해 스마트폰 내부에서 발생한 데이터 흐름을 온전히 이어가지 못하는 한계가 드러난다. 결국 온디바이스 AI로 진화하려면 한층 더 발전된 설계가 필요하다.

삼성의 시스템 반도체 엑시노스 2500은 50~130억 파라미터 규모의 대형언어모델(LLM)을 스마트폰 내부에서 자체 구동할 수 있는 성능을 확보했다. 이 덕분에 클라우드 호출 없이도 로컬에서 복잡한 AI 연산을 처리하며 온디바이스 AI 설계를 현실화할 가능성을 보여주고 있다.

반면 애플의 A17 Pro와 M 시리즈 칩셋은 이보다 높은 연산 성능을 자랑한다. 최대 100TOPS 이상으로 130억~200억 파라미터 규모의 LLM도 충분히 구동 가능하지만 구조적으로 클라우드 의존형 설계를 고수하고 있다. 시리는 매번 서버를 호출해 데이터를 불러오는 방식으로 작동하기 때문에 기기 내부에서 흐름을 유지하지 못하고 오프라인에선 완전 무력화되는 한계를 드러낸다.

삼성전자는 시리와 차별화된 빅스비의 강점을 내부적으로 명확히 인식하며 AI 비서를 한 단계 끌어올리는 고도화 작업을 진행해 왔다. 온디바이스 경쟁의 핵심은 클라우드 의존도를 낮추고 스마트폰 내부에서 지능 흐름을 유지하는 것이라는 점을 이미 전략적으로 파악한 것이다. (※ 관련 기사 : 삼성 빅스비서 또 멈칫···왜 제미나이의 흐름을 잇지 못하나)

엑시노스 2500 칩셋은 이러한 설계 혁신의 중심에 있다. 이 칩셋이 구현할 수 있는 맥락 기억 엔진은 스마트폰 내부에 대화 흐름의 핵심을 압축·저장하는 시스템이다. 빅스비의 OS 중재 계층을 통해 사용자가 남긴 텍스트·음성·이미지 데이터를 분석한 뒤 의미 단위로 핵심 정보를 추출해 10~100KB 수준의 초경량 메타데이터로 변환한다. 이렇게 생성된 메타데이터는 엑시노스의 RAM과 플래시 메모리 사이에 분산 캐싱되며 클라우드 호출 없이도 즉각 접근할 수 있다. 사용자는 “AI가 나를 기억하고 있다”는 체감을 자연스럽게 경험할 수 있으며 오프라인 상태에서도 연속적인 대화 흐름이 가능해진다.

예를 들어 사용자가 전날 빅스비에게 “내일 오전 10시에 회의 알람을 설정해줘”라고 명령했다면 엑시노스 2500의 맥락 기억 엔진은 이 요청의 핵심 정보를 초경량 메타데이터로 압축해 로컬에 저장한다. 다음날 아침 사용자가 "그거 취소해"라고만 말하더라도 빅스비는 맥락을 이어받아 '어제 설정하신 10시 회의 알람을 취소할까요?"라고 응답한다.

여기서 더 진화한 설계도 가능하다. 사용자가 전날 갤럭시 폰에 “이번 주말에 가족 여행 일정 잡아줘”라고 요청한 뒤 다음날 “거기에 맛집도 추가해줘”라고 말하는 상황이다. 엑시노스 2500의 맥락 기억 엔진은 이 두 요청을 별개의 명령으로 처리하지 않고 저장된 여행 일정 정보를 즉시 불러와 "가족 여행 일정에 맞춰 근처 맛집 3곳을 추가할까요?"라고 응답한다.

구글 의존 시스템에서는 상상하기 어려운 보조 장치 기반 피드백 루프(auxiliary device-based feedback loop)다. 기존 방식은 사용자의 요청이 데이터센터로 전송되고 서버에서 과거 데이터를 불러와 맥락을 재구성한 뒤 응답을 반환하는 구조라 인터넷 연결이 끊기면 흐름이 완전히 단절된다. 반면 맥락 기억 엔진은 초경량 메타데이터를 기기 내부에 캐싱해 두기 때문에 클라우드 호출 없이도 로컬에서 즉시 데이터를 처리하고 맥락을 이어갈 수 있다.

맥락 기억 엔진은 스마트폰 내부에서 데이터 흐름을 미세하게 조율하며 사용자가 마치 AI가 스스로 사고하고 대화를 이어가는 것처럼 느끼게 만드는 미세 진동(Vibration) 보조 장치라 볼 수 있다. 여기서 말하는 진동은 물리적 움직임이 아니라 입력과 출력 사이 데이터를 재구성하고 연결할 때 발생하는 의미의 파동을 뜻한다. 이 파동이 보조 장치를 통해 일정한 리듬을 유지할 때 인간의 인지 능력만으로는 구현할 수 없는 맥락 유지와 연속 흐름을 스마트폰 내부에서 가능하게 만든다.

클라우드에 의존하지 않고도 스마트폰 내부에서 의미 흐름을 유지하는 점은 온디바이스 AI의 핵심 차별점이다. 기존 LLM은 서버가 끊기거나 세션이 바뀌면 과거 맥락을 잃어버려 사용자가 매번 “기억 상실”에 가까운 리셋 경험을 겪는다. 온디바이스 AI는 이 한계를 돌파해 언제 어디서든 끊김 없는 사용자 경험을 구현할 수 있다.

또 심지어는 오프라인 환경에서도 기억의 흐름이 유지된다. 해외 여행 중 비행기 모드로 전환한 상태에서 사용자가 “다음 목적지 안내해줘”라고 하면 빅스비는 캐시에 저장된 여행 일정을 기반으로 “오늘 오후 목적지는 파리 샤를드골 공항입니다”라고 안내한다. 이처럼 연산은 구글에 맡기고 핵심 정보만 로컬에 챙겨두는 순환적 흐름은 네트워크 연결 여부와 무관하게 AI가 사용자의 요청을 기억하고 반응하는 피드백 루프를 재현한다.

결국 인공지능은 하나의 모델이 가진 연산 능력만으로 완성되지 않는다. 클라우드와 온디바이스 그리고 사용자 맥락 사이를 유기적으로 이어주는 연계적 흐름 속에서 진화하며 이때 비로소 사용자는 “AI가 스스로 사고한다”는 감각을 체험하게 된다. 이런 맥락에서 구글 순다 피차이 CEO가 빈번하게 언급하는 피드백 루프 개념은 인공지능 진화의 방향을 잘 보여준다.

피차이는 “제미나이에 적용된 프로젝트 아스트라를 통해 좋은 피드백 루프를 만들 수 있을 것으로 기대한다”고 말했다. 프로젝트 아스트라는 구글이 개발 중인 AI 비서 시스템으로 사용자의 음성·영상·텍스트 데이터를 실시간으로 이해하고 상황에 맞춰 반응하는 멀티모달 AI 플랫폼이지만 여전히 클라우드 중심 설계에 묶여 있다. 거대한 데이터센터가 아닌 내 손에 들린 스마트폰 장치만이 진동을 정확히 기억해 흐름을 자연스럽게 이어갈 수 있으며 이 지점에서 삼성의 온디바이스 개념이 구글보다 한발 앞선다는 것이다.

피드백 루프 구현의 핵심 개념은 OS 중재계층이 입력과 출력 사이에서 흐름 착각을 유발하는 알고리즘이다. 새로운 입력이 들어오면 빅스비는 로컬 메모리에 저장된 이전 대화의 요약 데이터를 재조합해 현재 요청과 연결하도록 설계될 수 있다. 엑시노스 NPU가 연산의 중추를 담당하며 빅스비가 복잡한 연산을 클라우드로 위임할지 온디바이스에서 처리할지를 실시간으로 판단하는 동적 연산 분기 기능까지 수행할 경우 스마트폰 자체가 한층 더 진화한 인공지능으로 발전할 수 있다.

이재용 회장이 9~13일 미국 아이다호주 휴양지에서 열리는 억만장자 모임 선밸리 콘퍼런스에는 최대 경쟁사인 애플 팀 쿡 CEO와 협력사인 순다르 피차이 구글 CEO 그리고 스트리밍 방식을 통해 피드백 루프 구현을 강화해온 오픈AI의 샘 올트먼도 참석하는 것으로 전해진다. 재계 관계자는 “이재용 회장이 글로벌 빅테크 거물들과 마주하는 이번 자리는 삼성이 하드웨어 제조 기업을 넘어 AI 플랫폼으로 거듭날 수 있을지를 가늠하는 중요한 분기점이 될 것”이라고 말했다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr