웹 데이터 고갈, 중고책 AI 학습 데이터 배경

AI 기업들이 갑자기 옛날 중고책을 대량으로 사들이는 기사를 보고 왜 그런지 궁금했던 상황, 이 의문 속에는 바로 중고책 AI 학습 데이터 수급 배경이라는 거대한 산업의 비밀이 숨겨져 있습니다. 인터넷에 넘쳐나는 데이터에도 불구하고 AI 모델을 훈련시킬 고품질의 학습 자료가 고갈 위기에 처했기 때문에 기업들은 물리적 책이라는 보고로 눈을 돌렸습니다. 디지화되지 않은 수많은 지식의 보고인 중고책을 확보하여 이를 디지털 데이터로 변환하는 과정이 현재 AI 업계의 가장 뜨거운 이슈입니다.

함께 보면 좋은 글: 맥북 멈출 때 — 안전모드 시동 방법 딱 정리

AI 학습용 고품질 웹 데이터의 급격한 고갈

최대 언어 모델(LLM)의 성능을 높이기 위해서는 압도적인 양의 텍스트 데이터가 필요하지만, 현재 기술로 수집 가능한 깨끗한 웹 데이터는 이미 한계점에 도달했습니다. 연구 기관 Epoch의 분석에 따르면, 머신러닝용 고품질 데이터 세트는 2026년경에 고갈될 것으로 예측되며, 저품질 데이터를 포함할 경우에도 2030년대 초반에는 정점을 찍을 것으로 전망됩니다. OpenAI의 GPT-4나 구글의 Gemini와 같은 최신 모델들은 이미 공개된 인터넷의 대부분을 학습했으며, 새로운 지식을 추가하기 위해 더 이상 일반적인 웹 검색만으로는 부족한 상황입니다.

이러한 데이터 부족 현상을 'Data Wall'이라고 부르며, 이는 AI 모델의 성장을 멈추게 할 수 있는 결정적 요인으로 작용하고 있습니다. 과거에는 위키백과, Common Crawl와 같은 대규모 데이터 세트를 무료로 사용하여 모델을 훈련시킬 수 있었으나, 이제는 새로운 형태의 데이터 원천이 절실해진 것입니다. 특히 단순한 댓글이나 게시글이 아닌, 논리적이고 사실적인 long-form 데이터의 부재가 모델의 추론 능력 개발을 방해하고 있습니다.

이로 인해 AI 기업들은 데이터 전쟁에 돌입했습니다. 메타(Meta), 구글(Google), 마이크로소프트(Microsoft)와 같은 빅테크 기업들은 데이터 확보를 위해 막대한 자본을 투자하고 있으며, 심지어 자체적인 콘텐츠를 생성하거나 비공개 데이터 계약을 체결하고 있습니다. 하지만 이러한 방법들만으로는 수십 테라바이트, 페타바이트 단위로 필요한 학습 데이터를 충당하기 어렵기에, 과거의 지식이 축적된 서적 데이터로 눈을 돌리는 것은 필연적인 선택지입니다.

Photo by hello aesthe on Pexels

저작장벽과 robots.txt로 막힌 웹 크롤링의 한계

웹 데이터의 양적 부족뿐만 아니라 법적, 기술적 장벽 또한 AI 기업들이 중고책으로 눈을 돌리는 결정적인 원인입니다. 뉴욕타임스(New York Times)나 CNN과 같은 주요 미디어 기업들은 자사 콘텐츠가 AI 학습에 무단으로 사용되는 것을 막기 위해 웹사이트에 robots.txt 파일을 수정하여 크롤러의 접근을 차단하고 있습니다. 이는 AI 모델이 최신 뉴스나 고품질 저널리즘 데이터를 접근하는 경로를 원천적으로 봉쇄한 결과를 낳았습니다.

저작권 소송의 위험 또한 무시할 수 없습니다. OpenAI는 작가들과의 집단 소송에 직면했으며, 이미지 생성 AI 관련해서는 예술가들이 저작권 침해를 주장하며 법정 다툼을 벌이고 있습니다. 이러한 법적 리스크를 회피하기 위해 AI 기업들은 저작권 기간이 만료된 퍼블릭 도메인(Public Domain) 자료에 대한 수요가 급증했습니다. 1929년 이전에 출판된 미국의 서적들은 저작권이 풀려 누구나 사용할 수 있으며, 이러한 자료들은 법적 분쟁 없이 안전하게 모델 학습에 투입할 수 있습니다.

또한, 웹상의 데이터는 짧고 파편화된 정보가 많아 긴 맥락을 이해하는 'Long Context' 학습에는 적합하지 않습니다. 반면 책은 완결된 구조와 논리를 가지고 있어 모델이 추론 능력과 세계 지식을 습득하는 데 훨씬 효과적입니다. 따라서 법적 문제를 회피하면서도 고품질의 긴 텍스트를 확보할 수 있는 방법으로, 저작권이 만료된 중고책 대량 매입이 가장 현실적인 대안으로 떠오른 것입니다.

중고책이 가진 유일무이한 지적 가치와 데이터 특성

중고책 단순히 낡은 종이 조각이 아니라, 시간이 검증된 고품질 정보의 집합체입니다. AI 모델이 인간의 언어와 논리를 제대로 학습하기 위해서는 문법적으로 올바르고 사실적으로 정확한 텍스트가 필수적입니다. 디지털 시대 이전에 출판된 책들은 출판사의 엄격한 검수 과정을 거쳤으며, 전문가 집단에 의해 작성된 경우가 많아 신뢰도가 매우 높습니다. 특히 교과서, 논문, 기술 매뉴얼, 문학 작품과 같은 장르는 AI가 언어의 미묘한 뉘앙스와 전문 지식을 익히는 데 최적의 데이터셋입니다.

예를 들어, 1960년대 출판된 수학 교과서는 최신의 유행어나 슬랭이 섞여 있지 않고, 수학적 원리를 설명하는 데 있어 가장 순수하고 정제된 언어를 사용합니다. 이러한 데이터는 최신의 질문 응답(QA) 데이터가 가진 모호함을 제거하고, 모델의 기초적인 추론 능력을 다지는 데 큰 도움을 줍니다. 실제로 구글의 DeepMind 연구진은 'Chinchilla' 모델 연구를 통해 데이터 양보다 데이터 품질이 모델 성능에 더 큰 영향을 미친다는 사실을 입증했습니다.

또한, 웹상에서 쉽게 찾아볼 수 없는 '니치(Niche)' 지식이 중고책에는 가득합니다. 지방의 역사, 희귀 언어의 문법, 과학의 초기 이론 등과 같이 디지털화되지 않아 인터넷에 존재하지 않는 방대한 지식이 헌책방과 창고에 잠들어 있습니다. AI 기업들은 이러한 희소성 있는 데이터를 확보함으로써 경쟁사와 차별화된 모델을 구축하려는 전략을 세우고 있습니다. 이는 단순히 책을 사는 행위가 아니라, 파묻힌 지적 자원을 발굴하는 '데이터 채굴'의 성격을 띱니다.

중고책 AI 학습 데이터 수급 배경과 전략적 의미

중고책 AI 학습 데이터 수급 배경은 단순한 데이터 부족을 넘어, AI 생태계의 패러다임이 '생성'에서 '정제'와 '발굴'로 변화하고 있음을 시사합니다. 과거에는 데이터가 무한정 존재한다는 가정하에 모델의 크기(Parameters)를 키우는 데 집중했다면, 이제는 한정된 고품질 데이터를 효율적으로 활용하는 방향으로 선회하고 있습니다. 이 과정에서 저작권 문제가 해결된, 혹은 저작권 리스크가 상대적으로 낮은 '물리적 도서'의 디지털화가 최선의 전략으로 부상했습니다.

실제 사례를 살펴보면, AI 스타트업 '알라딘'과 같은 기업들은 이미 전국의 헌책방과 협력하여 희귀 서적을 수집하고 있습니다. 해외에서는 OpenAI가 디지털화 된 도서관 데이터를 대규모로 라이선싱하거나, 구글이 구글 북스(Google Books) 프로젝트를 통해 수집한 방대한 스캔 데이터를 자체 모델 튜닝에 활용하고 있습니다. 특히 구글 북스 프로젝트는 2000년대 초반부터 시작되어 수천만 권의 책을 스캔해 왔으며, 이 데이터가 최신 생성형 AI 모델인 Gemini의 성능 향상에 기여했다는 분석이 나옵니다.

이러한 현상은 기업에게는 필연적인 생존 전략이지만, 사회적으로는 '지식의 공유'와 '독점' 사이의 갈등을 야기하기도 합니다. 공공 도서관 소장 도서가 AI 기업의 독점적 학습 자료로 전락할 경우, 일반인들은 고부가가치 AI 기술의 혜택을 받지 못할 수도 있습니다. 따라서 중고책 AI 학습 데이터 수급 배경에는 기술적 필요성과 함께 윤리적, 사회적 과제가 복합적으로 얽혀 있으며, 이를 어떻게 해결하느냐가 향후 AI 산업의 방향성을 결정지을 것입니다.

물리적 자산을 디지털 데이터로 변환하는 기술적 파이프라인

수집한 중고책을 AI가 이해할 수 있는 형태로 바꾸는 것은 단순한 스캔 작업이 아닌 고도화된 디지털화 파이프라인을 요구합니다. 가장 핵심적인 기술은 광학 문자 인식(OCR)입니다. 책의 이미지를 텍스트로 변환하는 과정에서 Tesseract와 같은 오픈소스 OCR 엔진이나 상용 OCR 소프트웨어가 사용됩니다. 이 과정에서 단순히 글자를 인식하는 것을 넘어, 문단 구조, 쪽 번호, 각주와 같은 레이아웃 정보를 보존하는 것이 중요합니다.

다음은 리눅스 환경에서 Tesseract OCR 엔진을 사용하여 스캔된 이미지를 텍스트 파일로 변환하는 기본적인 명령어 예시입니다.

tesseract input_scan.png output_text -l kor+eng --psm 6

위 명령어에서 input_scan.png는 변환할 책 페이지 이미지이며, -l kor+eng는 한국어와 영어를 혼합하여 인식하겠다는 설정입니다. --psm 6 옵션은 페이지가 단일 블록의 텍스트로 구성되어 있다고 가