인터넷 아카이브 웨이백 머신 차단
레딧 포스트·프로필 등 크롤링 불가
데이터 제공 시 AI기업에 비용 요구

레딧 로고. /로이터=연합뉴스
레딧 로고. /로이터=연합뉴스

미국 최대 온라인 커뮤니티 레딧이 인공지능(AI) 기업들의 데이터 무단 수집을 막기 위해 미국 비영리 디지털 도서관 '인터넷 아카이브'의 웨이백 머신(Wayback Machine) 접근을 차단했다. 

12일 IT매체 더버지에 따르면 레딧은 AI 기업들이 웨이백 머신을 통해 자사 게시물 데이터를 무단 수집한 사실을 확인하고 이를 제한하기로 했다. 

이번 조치로 웨이백 머신은 레딧의 포스트, 댓글, 프로필을 더 이상 크롤링 할 수 없으며 메인 페이지 아카이빙만 가능하다. 

레딧은 과거에도 스크래핑 도구 접근을 차단한 바 있으며 AI 기업에 데이터를 제공할 때 비용을 요구해 왔다. 지난해에는 구글과 검색·AI 학습용 데이터 제공 계약을 체결했고 이후 주요 검색 엔진에 대해 비용을 지불하지 않으면 데이터 크롤링을 차단하는 방침을 적용했다. 

한편 인터넷 아카이브는 이번 레딧의 조치에 대해 아직 공식 입장을 내놓지 않았다. 업계는 레딧이 AI 기업의 무단 데이터 활용을 막기 위해 강경 대응을 이어갈 것으로 보고 있다. 

여성경제신문 김성하 기자 lysf@seoulmedia.co.kr

저작권자 © 여성경제신문 무단전재 및 재배포 금지