봇 차단 뒤의 페이지까지 읽는 딥리서치 — DeepCloak을 만들며

AI 딥리서치 도구를 쓰다 보면 이상한 걸 눈치채게 됩니다. 분명 좋은 자료가 있는 페이지인데 리포트에 안 잡혀요. 이유는 단순합니다. Cloudflare·Datadome·Turnstile·reCAPTCHA 같은 봇 차단에 막혀 403을 받으면, 대부분의 도구가 그 소스를 조용히 버리기 때문입니다.

막힌 페이지만 골라서 뚫는다

DeepCloak은 먼저 싼 plain fetch를 시도하고, 봇 차단을 실제로 감지했을 때만 스텔스 브라우저로 에스컬레이트합니다. 열린 페이지는 빠르게, 막힌 페이지만 무겁게 처리하는 거죠.

뚫은 벽을 다 보여준다

리포트 끝에 🛡️ Bypassed N bot-walled sources 섹션과 evidence.json 사이드카를 남깁니다. 어떤 소스가 막혀 있었고 어떻게 넘었는지 Evidence Record로 투명하게요. 무엇을 놓쳤는지도 모르는 리포트가 아니라는 게 중요합니다.

• 런당 봇월 8~20개 라이브 우회 검증
• 로컬 우선 — 로컬 LLM + SearXNG면 API 키 0으로 완결
• CLI · MCP 서버 · Claude 스킬 3-way, MIT 오픈소스

능력만큼 투명성. 이 두 가지를 같이 가져가려고 만든 도구입니다.