AI한테 리서치 시켰는데, 좋은 자료 절반이 조용히 버려지고 있었어요

AI한테 '이 주제 좀 조사해줘' 시켜본 적 있죠? 웹 뒤져서 리포트로 정리해주는 거요. 편하잖아요.

근데 얼마 전에 좀 충격받은 게 있어요. 이 도구들이 좋은 자료의 절반을 조용히 버리고 있더라고요.

■ 왜 버려지냐면

요즘 괜찮은 글일수록 'Cloudflare 인증'이나 '사람인지 확인(캡차)' 같은 봇 차단 뒤에 있어요. AI 리서치 도구는 거기서 막히면(403 에러) 그냥 그 페이지를 포기해요.

문제는 — '이 자료 못 읽었어요'라고 말도 안 해준다는 거예요. 그래서 우리는 더 얇아진 리포트를 받고도, 뭐가 빠졌는지조차 몰라요. 조용히 틀린 거죠.

■ 그래서 직접 만들었어요

막힌 페이지만 골라서, 진짜 사람이 브라우저로 들어가듯 읽어오는 도구예요. 이름은 DeepCloak.

생각은 단순했어요. 사람이 브라우저로 볼 수 있는 건, 내 AI도 볼 수 있어야 하잖아요. 그리고 어떻게 가져왔는지 정직해야 하고요. 그래서 리포트 맨 끝에 '이번에 막힌 벽 N개 뚫었어요'를 다 적어줘요.

게다가 전부 내 컴퓨터 안에서 돌아요. 검색어도, 읽은 페이지도 밖으로 안 나가요. (원하면 API 키 없이 로컬 AI로만 돌릴 수도 있어요.)

■ 말보다 영상이 빠를 것 같아서

실제로 돌리는 걸 편집 없이 화면 녹화했어요. 한 번 돌릴 때 Cloudflare·Turnstile 벽 8개를 뚫고 자료를 가져오는 게 그대로 보여요 👇

오픈소스로 풀어놨어요(MIT 라이선스). 'pip install deepcloak' 한 줄이면 끝이고요.

만들면서 느낀 건 — AI 도구를 '잘 고르는' 것도 좋지만, 가끔은 내가 불편한 걸 직접 고치는 게 제일 빠르더라고요. 궁금한 거 있으면 댓글 주세요 🙂