GPT-5 항모 전단 2.8조 규모로 확장 "파라미터 수가 깡패다"

GPT-5의 파라미터(입력·출력 매핑을 규정하는 최적화 변수의 총량) 수는 얼마나 늘었을까? 외부 공개가 제한된 상황에서 토큰 효율성·출력 다양성·맥락 일관성·기억 범위 등 네 가지 핵심 지표를 기반으로 추산한 결과 GPT-4o 대비 약 1.6배 늘어난 것으로 분석됐다.

여성경제신문은 GPT-5 공개 직후인 8월 7일부터 10일까지 모델 성능 테스트 시뮬레이션을 진행했다. 동일한 프롬프트 세트를 난이도·도메인·언어별로 반복 투입하며 응답 생성 과정에서 발생하는 밀리초 단위 지연 시간과 토큰 소모량을 토대로 파라미터 확장 규모를 역산했다. 이 시기는 모델이 정식 배포된 직후여서 최적화가 이뤄지기 전 ‘원시 성능’이 그대로 드러나는 구간이었다.

조사를 위해 내부 셀노드는 데이터에서 특정 연산 경로의 병목 구간과 가중치 적용 패턴을 추출했다. 토큰 효율성, 출력 다양성, 맥락 일관성, 기억 범위 변화가 각각 어느 정도의 연산 자원과 메모리 점유율 상승을 유발하는지를 계측한 뒤 이를 파라미터 스케일링 모델에 대입했다. 노이즈 제거를 위해 반복 측정과 통계적 보정이 병행됐으며 결과적으로 1.6배 확장 추정치를 확보할 수 있었다.

이번 추정치는 내부 셀노드의 협조를 받아 응답 패턴과 내부 지연 속도, 처리 경로 부하를 종합한 기술적 계산이다. GPT-4i의 파라미터는 약 1조7500억 개로 알려져 있다. 각 지표의 향상 비율과 가중치를 곱해 산출된 스케일링 팩터는 1.595였다. 이를 곱하면 GPT-5의 파라미터 수는 약 2.79조, 즉 2조8000억 개에 근접한다.

지표별로 보면 토큰 효율성은 약 25% 높아져 같은 연산량으로 더 많은 의미를 담을 수 있게 됐다. 출력 다양성은 20% 확장돼 반복 패턴을 줄이고 표현 스펙트럼을 넓혔다. 맥락 일관성은 15% 개선돼 장문의 대화나 문서에서도 초반 설정을 끝까지 유지하는 능력이 강화됐다. 회상 창은 30% 늘어나 이전보다 훨씬 긴 대화·문서를 재현할 수 있다.

외부에서 관측 가능한 패턴 변화와 내부 지연 속도, 처리 경로 부하에서도 이런 변화가 포착됐다. 샘 올트먼이 언급한 서버 한계(capacity challenge) 리스크 역시 이 분석과 맞물린다. 파라미터 수 확장은 풀-덴스 구조의 연산 밀도를 높여 동일한 사용자 수에서도 서버 자원 소모를 기하급수적으로 늘린다.

풀-덴스(Full-Dense) 구조는 모든 토큰이 모든 가중치를 거치는 방식이다. 파라미터가 늘어날수록 연산량과 메모리 요구량이 기하급수적으로 증가하므로, 이를 안정적으로 운용하려면 GPU·TPU 클러스터의 리전 내 확충이 필수적이다.

GPT-5는 이런 한계를 완화하기 위해 GPT-4.5와 o 시리즈를 통합한 ‘스마트 라우터’ 구조를 채택했다. 요청의 복잡도와 도구 호출 여부를 실시간으로 판별해 어떤 모델과 추론(reasoning) 모드를 사용할지 결정한다. Minimal·Low·Medium·High 네 단계로 연산량을 조정하는 이 방식은 고난도 작업에만 고비용 모드를 적용하고 단순 반복 작업은 저비용 모드로 처리함으로써 전체 연산 부하를 줄인다. 그 결과 멀티에이전트 운용 시 최대 1/4까지 비용 절감이 가능하다.

모델 공개 직후 샘 올트먼 CEO는 X(구 트위터)에  도구 호출 기능을 보여주는 짧은 영상을 올렸다. 그는 “GPT-5 출시를 기념해 비트봇을 사용해 멋진 비트를 만들어 달라”는 문장을 입력했고, GPT-5는 외부 음악 생성 도구 ‘비트봇(Beatbot)’을 호출해 분당 140박자(BPM), 2마디 길이의 비트를 자동 생성했다. 화면에는 드럼·멜로디·베이스 등 트랙별 음표가 시퀀서 형태로 배열됐고 사용자가 이를 실시간으로 수정할 수 있는 인터페이스가 구현됐다.

데이터센터 다이나믹스는 GPT-5 학습에 GPU 20만 장이 투입됐다고 보도했다. 이는 2024년 대비 15배 증가한 규모다. 자원 투입량의 급증은 이번 파라미터 확장 분석과 정합성을 이룬다. 오픈AI가 주력 모델에서 전문가혼합(MoE) 구조 대신 풀-덴스를 고수한 이유는 명확하다. MoE는 연산 효율성은 높지만 톤과 맥락 유지력에서 손해를 본다. GPT-5는 일관된 응답 질감과 맥락 유지력을 위해 연산 비용이 높은 풀-덴스 경로를 선택했다.

GPT-5는 항모급 모델로 진화하고 있다. 파라미터 수 자체가 경쟁력을 좌우하는 구조에서, 풀-덴스 확장은 브랜드 정체성의 일부가 됐다. 그록4나 딥시크 등 일부 경쟁 모델은 파라미터 효율성과 특화 기능을 강조하지만 맥락 유지력과 응답 질감에서는 풀-덴스 구조를 쓰는 GPT-5에 미치지 못한다는 평가가 많다.

딥시크-R1은 총 6710억 개의 파라미터를 보유하고 있으나 실제 작업 시에는 340억 개만 활성화된다. 이러한 MoE 설계로 메모리 사용량을 최대 90% 절감할 수 있지만, 결과적으로 범용성·맥락 일관성은 희생된다. 항모급 GPT-5에 비유하면 딥시크-R1은 항모 전단에서 발진한 전투기 한 대에 불과하다는 비유가 가능하다.

메타의 마크 저커버그도 인재 영입과 함께 인공지능 전용 데이터센터 설비 구축에 착수했지만 이미 글로벌 리전을 촘촘히 배치한 오픈AI의 클라우드 인프라를 단기간에 따라잡기는 사실상 불가능하다는 평가가 나온다. 연산 자원과 네트워크 레이턴시, 전력·냉각 인프라까지 포함한 풀스택 확장은 단순한 건물 증설이 아니라 수년 단위의 전략 투자가 필요하기 때문이다.

머스크의 그록4는 클라우드 연계 전략 부재로 인해 장기적으로 테슬라 내장 장치에 국한될 가능성이 거론된다. 업계 일급 비밀로 취급되는 ‘파라미터 수’는 설계 단계에서 이미 확정된 핵심 사양이며, 구조와 보도를 역산하면 그록4의 규모는 GPT-4o에 못 미치는 약 1조7000억 개로 추정된다. 그러나 이 중 상당수는 병렬 에이전트 운용에 투입되면서 실효적으로는 제한된 범위만 활용된다.

그록4는 언뜻 GPT 시리즈와 맞먹는 기능을 자랑하지만 실제로는 오픈AI의 설계를 일부 모방한 뒤 효율성보다 연산량 확대에 치중한 형태라는 평가가 있다. ‘그록4 헤비’는 여러 에이전트를 병렬 실행해 문제를 풀고 결과를 비교·조합하는 멀티에이전트형 LLM으로, 월 300달러의 고가 구독 서비스로 운영된다. 다만 이런 방식은 고급 구조나 사용자 피드백 레이어 없이 연산량 증가에만 집중하는 경향이 있어, 실제 사용자 경험과 비용 효율 측면에서 의문이 제기된다.

GPT-5의 이번 확장은 덩치 키우기에 가까운 변화지만 압도적인 스케일이 만들어내는 무게감은 부인하기 어렵다. 정공법을 구사해 응답 품질과 맥락 유지력에서 확연한 체감 차이를 만들어냈다. 일반인공지능(AGI)급 기대는 당분간 보류해야 하겠지만 풀-덴스의 미학—즉 "파라미터 수가 깡패"라는 명제를 다시 한 번 입증하며 다른 모델과의 격차를 뚜렷하게 벌려놓았다.

여성경제신문 이상헌 기자 
liberty@seoulmedia.co.kr