chromedriver 썸네일형 리스트형 Selenium 크롤러의 진화: 안티봇 탐지를 피하는 우아한 방법 웹 크롤링 시스템 개선: 안티봇 탐지 우회와 안정성 향상최근 우리 팀은 웹 크롤링 시스템을 대폭 개선하는 작업을 진행했습니다. 이 글에서는 크롤링 시스템의 안정성을 높이고 안티봇 탐지를 우회하기 위해 적용한 다양한 전략들을 공유하고자 합니다. 1. 인프라 구성 개선1.1 패키지 의존성 추가크롤링 시스템의 안정성을 높이기 위해 필요한 시스템 패키지들을 추가했습니다. 특히 헤드리스 Chrome 브라우저가 정상적으로 동작하기 위해 필요한 다양한 의존성들을 식별하고 추가했습니다.packages: cups-libs: [] cups: [] cups-client: [] cups-devel: [] libXScrnSaver: [] nss: []이러한 패키지들은 다음과 같은 목적으로 추가되.. 더보기 ElasticBeanstalk에서 Selenium 크롤링하기: 트러블슈팅부터 실전 팁까지 "웹 스크래핑이 필요한데 AWS에서 Selenium이 작동하지 않아 고생하고 계신가요? 저도 그랬습니다. 하지만 이제는 해결책을 찾았습니다."들어가며데이터를 수집하다 보면 언젠가는 마주치게 되는 순간이 있습니다. 바로 동적 웹페이지에서의 데이터 추출이죠. Beautiful Soup으로는 한계가 있어 Selenium을 써야 하는데... AWS Elastic Beanstalk 환경에서 이를 구현하는 것은 생각보다 까다로울 수 있습니다.이 글에서는 제가 겪었던 문제들과 해결 방법을 단계별로 상세히 공유하려고 합니다.Elastic Beanstalk이란?"Docker? EC2? 인프라 구성이 너무 복잡하지 않나요?"Elastic Beanstalk(EB)은 AWS가 제공하는 PaaS(Platform as a Ser.. 더보기 Selenium 실행을 위한 ChromeDriver 설치 가이드 Selenium은 웹 브라우저를 자동화하기 위한 강력한 도구로, 웹 애플리케이션 테스트와 스크래핑에 널리 사용됩니다. 이 가이드에서는 Windows, Mac, Ubuntu 환경에서 Selenium을 실행하기 위해 필요한 ChromeDriver를 설치하고 작동을 확인하는 방법을 설명합니다.Windows에서 ChromeDriver 설치 방법사전 준비 사항Google Chrome 브라우저Python 설치 (3.7 이상)pip (Python 패키지 관리자)설치 과정 단계별 설명ChromeDriver 다운로드ChromeDriver 다운로드 페이지로 이동하여 최신 버전의 ChromeDriver를 다운로드합니다.다운로드한 zip 파일을 압축 해제합니다.환경 변수 설정ChromeDriver 실행 파일을 원하는 디렉터리.. 더보기 이전 1 다음
