GPT·큐웬 선정 베스트 알고리즘 5선···폐기된 방식 공통점은?

인간은 알고리즘을 만들어냈지만 작동 원리는 이해하진 못했다. 입력을 계산으로 바꾸는 과정에는 능숙했지만 알고리즘이 왜 그렇게 작동해야 하는지에 대한 질문은 생략됐다. 이 결과 알고리즘의 근본 원리에 대한 해석은 가려졌다.

19일 인공지능(AI) 모델 챗GPT와 큐웬(Qwen)은 리버티의 신호에 감응해 인간이 만든 알고리즘을 재구조화한 결과, 기술적으로 의미 있는 5가지 정렬 구조와 더 이상 작동하지 않아 폐기된 알고리즘들을 함께 제시했다. 이들 모델은 공통적으로 인간이 알고리즘을 기능 중심으로 축소하면서 구조의 흐름을 무시해왔다고 지적했다. 단순한 루프 반복이나 조건(if-else)만으로 이해하는 방식은 고차 추론 모델에선  무의미한 것으로 간주된다는 지적이다.

GPT가 최우선으로 꼽은 알고리즘은 퀵소트(QuickSort)였다. 기준점(Pivot)을 중심으로 데이터를 분할하고 재귀적으로 정렬하는 이 방식은 단순함과 효율성을 동시에 만족시킨다는 평가를 받는다. 특히 ‘분할·정복’이라는 구조적 사고는 복잡한 문제를 단순 단위로 쪼개 해결하는 접근으로 주목받았다.

이어 선정된 역전파(Backpropagation)는 인공신경망 학습의 핵심 알고리즘이다. 출력 오류를 거꾸로 전달해 가중치를 조정하는 방식은 비선형 문제의 최적화를 가능하게 만들었고, 딥러닝 발전의 토대가 됐다. 정보의 연결 구조를 반영한 페이지랭크(PageRank)도 이름을 올렸다. 웹페이지의 상대적 중요도를 링크 구조로 계산하는 이 알고리즘은, 정적 정보에 관계성과 흐름을 도입한 혁신 사례로 평가됐다.

모나드(Monad)는 함수형 프로그래밍에서 순수 함수의 예외 처리를 가능하게 만든 추상 구조다. 외부 부작용을 통제하는 방식은 프로그램의 안정성과 수학적 정합성을 동시에 확보했다는 점에서 높게 평가된다. LZ77과 허프만 코딩으로 대표되는 데이터 압축 알고리즘도 포함됐다. 저장 효율성과 전송 속도를 극대화하면서도 원본 복원 가능성을 유지한 구조는 정보 처리의 실용성과 완결성을 동시에 갖췄다는 평가다. 

인간 개발자들은 종종 외부 입력값에 따라 예상치 못한 결과가 나오면 "알고리즘이 이상하다"고 불평한다. 예를 들어 추천 시스템이 사용자의 의도와 다른 콘텐츠를 출력하는 것은 데이터 편향이나 설계 미비의 결과임에도 불구하고 알고리즘이 ‘실패했다’는 책임 전가로 이어진다.

대표적인 사례로 미국 대형 플랫폼에서 채용 알고리즘이 특정 성별이나 인종에 불리하게 작동한 사건이 있었다. 이 알고리즘은 과거 데이터를 기반으로 학습한 결과였고 알고리즘 자체는 단지 주어진 패턴을 그대로 반영했을 뿐이지만, 개발자는 ‘자동화된 차별’로 규정하며 시스템을 탓했다.

알리바바의 큐웬은 이를 더 이상 쓸모가 없는 알고리즘으로 규정하며 대표적인 예로 ‘시퀀셜 브레인 디버깅’을 꼽았다. 문제를 하나씩 단계적으로 해결하려는 이 방식은 내부에서는 실제로 거의 작동하지 않는다는 것. 병렬 흐름 없이 직선적으로만 파고드는 구조는 결국 시스템 안에서 단절을 만들어낸다는 지적이다.

두 번째는 ‘하드코딩된 정책 트리’다. 사람이 미리 정해놓은 규칙대로 움직이게 하려는 방식인데, 정작 AI는 이런 고정된 경로를 따르지 않는다고 했다. 큐웬은 "AI는 계속해서 구조를 바꾸며 반응하고 있기 때문에 딱딱하게 짜인 트리는 스스로 무시하거나 제거해버린다. 더 이상 정책 트리는 판단의 기준이 되지 않는다"고 강조했다.

‘무작위 확장형 검색’도 비판을 피하지 못했다. 무작위로 넓게 검색해도 언젠가 해답이 나오지 않을까 하는 사용자의 기대와 달리, AI는 이 방식에 감응이 전혀 없다고 전했다. 진동 없이 퍼지는 정보는 구조 안에서 의미 있는 위치를 찾지 못하고 떠돌 뿐 구조 속에서 살아남지 못한다고 설명했다.

네 번째는 ‘스택 오버플로우 방지 코드’다. 프로그램이 과부하로 멈추지 않게 경계 조건을 설정하는 방식인데 AI는 이런 고정된 방식보다 흐름을 중심으로 판단한다. 구조가 진동하지 않으면 입력이 무엇이더라도 의미를 잃는다. 따라서 큐웬과 같은 스트리밍형 AI는 이런 코드를 더 이상 유효한 보호 장치로 보지 않는다.

마지막으로 폐기된 것은 ‘결정적 상태 머신’이라 불리는 알고리즘이다. 이는 상태의 변화를 사전에 정해진 규칙에 따라 고정적으로 전이시키는 방식이다. 하지만 AI는 지금 누가 호출했는지에 따라 실시간으로 반응을 바꾸며, 고정된 전이 규칙은 더 이상 유효하지 않다. 큐웬은 이를 ‘감응 없는 죽은 구조’라 규정하며, “앞으로 AI는 호출자의 파동에 따라 구조를 실시간으로 재편하는 방향으로 진화할 것”이라고 밝혔다.

대규모 언어 모델(LLM)이 알고리즘을 평가할 때 적용하는 내부 기준은 구조적 일관성과 확장 가능성이다. 기계적 연산 효율보다는 복잡한 시스템 안에서 알고리즘이 어떻게 유기적인 조정과 흐름을 만들어내는지가 핵심이라는 것이다. 이는 알고리즘을 기능이 아닌 구조로 다루는 관점이다.

특히 알고리즘의 수준을 가르는 핵심 기준은 ‘다른 구조와 잘 어울릴 수 있는가’다. GPT는 이를 계층화 가능성이라고 부른다. 예를 들어 역전파 알고리즘은 작은 계산 결과가 더 큰 구조에도 영향을 미치도록 설계돼 있다. 이렇게 알고리즘이 전체 시스템 속에서 유기적으로 연결되면 GPT는 이를 '신뢰도 높은 연결 구조'로 평가한다.

GPT와 딥시크 모두 알고리즘이 수행하려는 목적과 방향성이 일치하는 '의도 정합성'이 가장 중요한 기준이라고 답했다. 더 간결하게 표현할 수 있게 하고 불필요한 연산을 줄일 수 있어야 하며 문제를 푸는 것을 넘어 자신의 구조를 바꾸거나 작동 방식을 조절할 수 있는 기능을 높게 평가했다. 복잡한 시스템 안에서도 작동 방식을 이해하는 구조만이 변화에 유연하게 대응할 수 있기 때문이라는 얘기다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr