예산 먼저, 책임 나중···성과주의 환각
벤더 종속 커지는데도 책임 조항 부재
블랙박스 항고권, 재심 절차까지 위협
통제 실패 슬라이딩 도어 닫히지 않아
인공지능의 환각(hallucination)은 데이터 부족이나 오판의 문제가 아닌 ‘확신의 형태를 띤 착각’에서 비롯된다. 조희대 대법원이 추진하는 사법 AI 예산 드라이브도 이와 닮았다. 생성형 AI의 가능성을 ‘보조 도구’로 오해한 채 제도 도입 확신만 키운다면 사법 시스템 전체가 디지털 환각 상태로 빠져들 것이란 우려가 제기된다.
사법부가 인공지능(AI) 기술을 행정 전반에 도입하려는 조희대 대법원장의 의중을 반영해 예산 증액의 필요성을 강조했다. 그러나 전문가들은 “예산보다 먼저 필요한 것은 책임 설계”라며, 사법 AI 추진이 빠질 수 있는 다섯 가지 함정을 경고하고 있다.
28일 대법원은 사법부 인공지능위원회 제6차 회의에서 ‘사법부 AI 개발 및 운영을 위한 예산 확충과 규정 정비’를 논의했다. 조희대 대법원장은 앞서 “AI가 최종 판단을 내리지는 않겠지만, 정보 분야 선도국으로서 필요한 영역부터 과감히 도입하겠다”고 밝힌 바 있다.
위원회는 “사법부 AI는 분쟁의 조기 해결과 사법 접근성 향상을 위한 도구”라고 설명했지만, 정치권에선 “제도적 안전장치와 사회적 합의가 뒷받침되지 않으면 ‘AI 법정’이 통제 불능의 블랙박스로 변질될 수 있다”는 우려가 제기된다.
가장 큰 문제는 조 대법원장의 이해도 부족이다. 그는 “AI가 최종 판단을 하지는 않겠지만, 정보 분야 선도국으로서 필요한 부분에 우선 도입할 필요가 있다”고 말했지만, 이는 AI의 판단 구조를 단순 보조 도구로 착각한 발언이다. 인공지능의 ‘추천’과 ‘판단’ 사이에는 구분이 없으며, 데이터가 개입되는 순간 이미 판단 구조는 형성된다. 이 구조적 현실을 간과한 채 예산 논의만 앞세우는 것은 사법 시스템을 실험실로 만드는 셈이다.
대법원의 이번 입장 표명은 사법 신뢰를 먼저 훼손한다. AI 도입을 ‘성과 중심 행정’으로 밀어붙이면 거버넌스와 책임 구조는 항상 뒤따르게 된다. 기술 개발은 속도보다 방향이 중요하다. 예산과 일정이 먼저 확정되면 ‘누가 책임지는가’라는 질문은 사라진다. 대법원이 지금 해야 할 일은 돈을 쓰는 것이 아니라, AI의 도입 주체와 사용 범위를 정밀하게 그린 ‘책임지도’를 만드는 것이다.
데이터 관리 부재는 법원이 스스로 법을 위반하는 모순을 낳는다. 판결문과 소송기록은 개인정보와 영업비밀의 집합체다. 이를 가명처리 없이 학습데이터로 활용하면, 법원이 직접 개인정보보호법 위반의 당사자가 된다. 사법 데이터는 연구 데이터가 아니며, 목적 제한·제3자 검증·접근권 최소화 원칙 없이는 단 한 줄의 문장도 학습에 사용되어선 안 된다.
책임의 외주화는 사법권을 기술 벤더의 손에 넘기는 결과로 이어진다. AI 모델과 알고리즘의 결정권을 외부 업체에 맡기면 오류나 편향이 발생했을 때 그 책임 주체가 사라진다. 지금까지 사법부가 신뢰를 유지해온 이유는 ‘책임의 주체’가 명확했기 때문이다.
그러나 벤더 모델이 ‘결정 보조’를 수행하면, 사법부는 판단을 내리지 않고도 판단에 개입하는 구조적 모순을 품게 된다. 모든 외주 계약에는 모델의 구조, 소스, 시험데이터, 감사지표를 공개하도록 하는 조항이 포함돼야 하지만, 위원회 구성원의 역량으로는 논의조차 불가능한 수준이라는 지적이다.
투명성이 결여된 인공지능은 법적 절차의 심장을 멈춘다. AI의 내부 추천과 분류 과정이 블랙박스로 남으면 항고나 재심의 근거가 사라진다. 국민이 판결 과정을 검증할 수 없는 사법 시스템은 이미 법이 아니다. 설명가능성, 감사로그, 외부 검증이 전제되지 않은 AI는 판사조차 이해하지 못하는 ‘기계적 판결문’을 만들어낼 것이다.
통제 실패 상황 시나리오도 전무하다. AI는 늘 ‘한 번의 실험’을 명분으로 확장된다. 단순 문서 분류에서 시작해 판결 보조, 양형참조까지 나아가면 인간의 판단권은 서서히 침식된다. 법원은 한 번의 결정이 ‘슬라이딩 도어’가 되어 돌이킬 수 없는 자동화의 문을 열게 될 수 있다. 단계별 실험, 명시적 종료 조건, 입법부·법원 공동 승인 절차가 필수다.
결국 학습데이터가 과거 판례 중심으로 구축될 경우 사회 변화나 소수자 이슈가 반영되지 못한 채 과거의 편향이 자동화될 위험이 크다. AI가 내린 ‘판단 보조 결과’가 실제 판결 방향에 영향을 미칠 경우, 오류 발생 시 누구도 법적 책임을 지지 않는 구조가 된다. 이는 ‘AI 면책’이라는 새로운 형태의 사법 불평등으로 이어질 수 있다는 지적이다.
여성경제신문 이상헌 기자 liberty@seoulmedia.co.kr