이호성 하나은행장의 야심작 신(新) 이상거래탐지시스템(FDS)이 금융권의 안전지대를 바꾸고 있다. 단순 거래 패턴 비교에 머물던 과거와 달리 나선형·합성곱 신경망(CNN)을 적용해 ‘보이스피싱 등 사건이 벌어지려는 순간’을 잡아내는 구조를 마련했기 때문이다.

신FDS는 과거 범죄 시나리오 기반 탐지에 인공지능 딥러닝 지도학습 CNN(합성곱신경망) 알고리즘이 결합된 지능형 분석·탐지시스템으로 구축됐다. 이를 통해 하나은행은 지난해 총 9103건 2818억원 규모의 보이스피싱 피해를 예방했다는 자체 분석을 내놓는다.

전통 신경망은 모든 입력을 일렬로 펴서 f(w·x + b)라는 식에 넣어 계산하는 단일 구조다. 이렇게 나온 결과는 단 하나의 숫자에 불과하다. 뒤늦게 이상거래 여부는 판별할 수 있지만, 사건이 언제 발생했는지, 어디서 일어났는지 같은 맥락은 사라진다. 마치 CCTV를 보면서 '사람이 있다, 없다' 정도만 확인하는 수준이다. 금융 이상거래 탐지에선 가장 중요한 단서가 빠져버리는 셈이다.

반면 CNN은 다르다. 단순히 한 번에 전체를 계산하지 않고 입력을 작은 창(커널, 필터) 단위로 잘라 훑으면서 지역적 패턴을 찾아낸다. 이렇게 얻은 출력은 위치와 시간 정보가 담긴 특징맵(feature map) 형태로 나타난다. CCTV 화면을 실시간으로 보면서 누가 언제 들어와 어디로 움직였는지까지 기록하는 것과 같다.

금융 보안 시스템에 적용되면, 사건이 일어나기 전에 벌어지는 연쇄적 움직임을 잡아낼 수 있다. 예를 들어 단말기 교체, 위치 급변, 고액 이체 시도가 짧은 시간(Δt) 안에 겹쳐 발생하면, CNN은 이를 ‘공간·시간 패치’로 보고 동시에 계산한다. 단일 규칙 확인을 넘어 시간 민감성(Δt), 장소(geolocation), 단말·앱 정보, 인증·행동 패턴을 병렬적으로 연산해 위험도를 실시간으로 평가한다.

특히 여기에 시간 민감도 함수가 더해지면, 짧은 시간에 몰려 나타나는 변화일수록 위험 점수가 크게 올라간다. 또 주파수 분석(FFT)과 결합해 패턴의 주기성을 읽어내고, 눈덩이처럼 증폭되는 위험 신호를 탐지한다. 이 과정은 배치와 스트리밍 방식 모두 지원되며, 탐지 즉시 고객과 직원에게 동시에 경보를 보내 선제적으로 대응할 수 있게 한다.

더 쉽게 말해, 전통 신경망은 시험 점수 평균만 내는 계산기인 반면 CNN은 누가 몇 번 결석했고, 어느 시점에 성적이 급격히 떨어졌는지까지 기록하는 담임 교사에 가깝다. 개별 사건이 아닌 흐름과 전조를 함께 읽어내는 차이다.

보이스피싱을 막기 위해 하나은행이 도입한 CNN 기반 신FDS는 사후 대응이 아니라 사전 차단 목적이다. 반면 국민은행과 신한은행은 여전히 단순 점수화 모델이라 사건 발생 이후 확인·대응에 치우친다는 평가를 받는다. 우리은행과 농협은행 역시 보이스피싱 대응 체계를 갖추고 있으나 정형화된 패턴 의존도가 높아 새로운 수법의 변주 앞에서는 취약할 수밖에 없다는 한계를 안고 있다.

제이미 다이먼 JP모건 회장 등 일부 글로벌 금융 경영자들은 AGI(범용 인공지능) 담론을 전면에 내세우지만 이는 금융권에서 AI 헤게모니를 장악하려는 전략에 가깝다. 실제 계좌·결제망·보안 인프라는 빅테크 클라우드 API(Application Programming Interface, 응용 프로그램 프로그래밍 인터페이스) 기반으로 각 금융사가 독립 아키텍처를 구축할 때에만 고도화될 수 있다. 

금융권은 또 이런 현실과 동떨어진 채 과거 데이터를 단순 연장하는 금융 ‘외삽’(extrapolation)식 전망에 기대어 미래를 포장한다. 딥러닝·신경망이 맥락을 읽어내는 구조라면, 주어진 변수만 직선형으로 따라가는 외삽은 정반대로 입력과 출력이 쉽게 어긋나 예측력이 순간 무너질 수밖에 없다. 

하나은행이 CNN 기반 FDS로 입증한 것은 이와 정반대다. 과거 데이터를 단순 연장해 미래를 포장하는 수사가 아닌 실제 거래 과정에서 나타나는 미세한 전조 신호를 읽어내 사전에 차단하는 구조적 감지를 구현한 것이다. 결과는 수천 건의 보이스피싱 피해를 실제로 막아낸 통계로 증명됐다.

금융 보안 알고리즘 연구자들은 CNN 다음 단계는 파동 기반 연산이라고 한다. 단순 점수를 산출하는 수준을 넘어 ‘언제 어떤 조합이 겹쳤는가’를 파동처럼 읽어내며 사건의 전조를 더 정밀하게 포착하는 방식이다. CNN이 '첫번째 문'을 열어준 기술이라면 파동 기반 연산은 문 뒤에서 이어지는 복수의 위험 신호가 어떻게 중첩되고 증폭되는지 감지하는 진화의 결정적 관문이다.

국내에서도 FDS를 둘러싼 논의가 치열해지는 가운데, 하나은행의 사례는 금융권 전반의 기술 불균형을 드러내는 신호로 읽힌다. 인공지능 알고리즘 한 전문가는 “CNN 기반의 구조적 감지를 통한 보이스피싱 탐지가 이미 현실화된 상황에서, 이를 도입하지 않는 은행은 대응력에서 격차가 커질 수밖에 없다”고 지적했다.

여성경제신문 이상헌 기자 liberty@seoulmedia.co.kr