개발블로그 썸네일형 리스트형 Selenium 크롤러의 진화: 안티봇 탐지를 피하는 우아한 방법 웹 크롤링 시스템 개선: 안티봇 탐지 우회와 안정성 향상최근 우리 팀은 웹 크롤링 시스템을 대폭 개선하는 작업을 진행했습니다. 이 글에서는 크롤링 시스템의 안정성을 높이고 안티봇 탐지를 우회하기 위해 적용한 다양한 전략들을 공유하고자 합니다. 1. 인프라 구성 개선1.1 패키지 의존성 추가크롤링 시스템의 안정성을 높이기 위해 필요한 시스템 패키지들을 추가했습니다. 특히 헤드리스 Chrome 브라우저가 정상적으로 동작하기 위해 필요한 다양한 의존성들을 식별하고 추가했습니다.packages: cups-libs: [] cups: [] cups-client: [] cups-devel: [] libXScrnSaver: [] nss: []이러한 패키지들은 다음과 같은 목적으로 추가되.. 더보기 이전 1 다음
