Selenium 썸네일형 리스트형 Selenium 크롤러의 진화: 안티봇 탐지를 피하는 우아한 방법 웹 크롤링 시스템 개선: 안티봇 탐지 우회와 안정성 향상최근 우리 팀은 웹 크롤링 시스템을 대폭 개선하는 작업을 진행했습니다. 이 글에서는 크롤링 시스템의 안정성을 높이고 안티봇 탐지를 우회하기 위해 적용한 다양한 전략들을 공유하고자 합니다. 1. 인프라 구성 개선1.1 패키지 의존성 추가크롤링 시스템의 안정성을 높이기 위해 필요한 시스템 패키지들을 추가했습니다. 특히 헤드리스 Chrome 브라우저가 정상적으로 동작하기 위해 필요한 다양한 의존성들을 식별하고 추가했습니다.packages: cups-libs: [] cups: [] cups-client: [] cups-devel: [] libXScrnSaver: [] nss: []이러한 패키지들은 다음과 같은 목적으로 추가되.. 더보기 웹 크롤링의 첫걸음: Chrome 개발자 도구와 XPath 완벽 가이드 온라인 쇼핑몰의 상품 가격을 일일이 확인하느라 시간을 허비한 경험이 있나요? 이런 반복 작업을 자동화할 수 있다면 얼마나 좋을까요? 이 글을 통해 여러분이 마법 같은 도구인 '웹 크롤링'을 활용해 이러한 반복 작업을 효율적으로 처리하는 방법을 배워보세요. 특히 Chrome 개발자 도구를 활용해 원하는 데이터를 정확하게 찾아내는 방법을 상세히 알아볼 텐데요, 이 가이드를 통해 여러분도 웹 크롤링의 달인이 되실 수 있을 거예요!웹 크롤링은 데이터 과학자, 대학생, 스타트업 대표 등 누구에게나 유용한 기술입니다. 자동화된 데이터 수집을 통해 여러분의 시간을 절약하고, 보다 의미 있는 일에 집중할 수 있도록 도와줍니다. 이제부터 함께 크롤링의 세계로 들어가 보겠습니다!크롤링이란 무엇인가? 🤔크롤링이란 웹사이트.. 더보기 파이썬으로 크롤링하기: selenium과 scrapy가 필요한 진짜 이유 크롤링으로 데이터를 수집하려다가 벽에 부딪히신 적 있으신가요? 단순한 requests만으로는 원하는 데이터를 가져올 수 없었던 경험, 다들 한 번쯤 있으시죠?🌟 크롤링의 세계로 오신 것을 환영합니다지난 주말, 한 스타트업 대표님께서 제게 연락을 주셨습니다. "전국의 카페 리뷰 데이터가 필요한데, 어떻게 하면 좋을까요?"같은 날 오후, 한 대학원생도 비슷한 고민을 털어놓았습니다. "논문 작성을 위한 SNS 데이터를 수집하고 싶은데, 자동화할 수 있는 방법이 없을까요?"이런 요청들을 들으며 문득 깨달았습니다. 많은 분들이 데이터 수집의 진짜 어려움을 겪고 계시다는 것을요.🤔 왜 단순한 크롤링으로는 부족할까요?실제 웹사이트를 한번 상상해 보세요.스크롤을 내리면 새로운 콘텐츠가 로딩되는 무한 스크롤클릭해야만.. 더보기 Selenium 실행을 위한 ChromeDriver 설치 가이드 Selenium은 웹 브라우저를 자동화하기 위한 강력한 도구로, 웹 애플리케이션 테스트와 스크래핑에 널리 사용됩니다. 이 가이드에서는 Windows, Mac, Ubuntu 환경에서 Selenium을 실행하기 위해 필요한 ChromeDriver를 설치하고 작동을 확인하는 방법을 설명합니다.Windows에서 ChromeDriver 설치 방법사전 준비 사항Google Chrome 브라우저Python 설치 (3.7 이상)pip (Python 패키지 관리자)설치 과정 단계별 설명ChromeDriver 다운로드ChromeDriver 다운로드 페이지로 이동하여 최신 버전의 ChromeDriver를 다운로드합니다.다운로드한 zip 파일을 압축 해제합니다.환경 변수 설정ChromeDriver 실행 파일을 원하는 디렉터리.. 더보기 Selenium과 Scrapy를 이용해 네이버 쇼핑 크롤링하기 안녕하세요, 여러분! 오늘은 프로그래밍과 데이터 수집에 관심 있는 분들을 위해 흥미롭고 유익한 주제를 가져왔습니다. 바로 Selenium과 Scrapy를 이용해 네이버 쇼핑에서 제품명을 크롤링하는 방법을 소개해드리려고 합니다. 이 글을 통해 웹 크롤링의 기초부터 고급 기술까지 배우실 수 있을 거예요.왜 Selenium과 Scrapy를 함께 사용할까요?웹 크롤링을 할 때, 종종 동적으로 로드되는 콘텐츠를 마주하게 됩니다. 이러한 동적 콘텐츠는 일반적인 HTML 파싱으로는 접근하기 어려운데, 이때 Selenium이 큰 도움이 됩니다. Selenium은 실제 브라우저를 제어하여 JavaScript로 렌더링된 콘텐츠를 포함한 모든 페이지 요소에 접근할 수 있게 해줍니다. 반면 Scrapy는 빠르고 효율적인 크롤.. 더보기 쿠팡 웹사이트 크롤링하기 - 제품명, 가격, 및 링크 추출하기 안녕하세요, 데이터 애호가 여러분!오늘은 Selenium을 사용하여 쿠팡 웹사이트를 크롤링하는 방법을 소개하려고 합니다. 이번 포스트에서는 검색어에 따라 제품명, 업체명, 그리고 제품 페이지로 연결되는 링크를 추출하는 과정을 단계별로 설명하겠습니다.준비물PythonSeleniumChromeDriverWebDriver Manager1. 필요한 라이브러리 설치먼저 필요한 라이브러리를 설치해야 합니다. 아래 명령어를 터미널에 입력하여 설치합니다:pip install selenium pip install webdriver-manager 2. Python 코드 작성이제 Python 코드로 크롤링 작업을 수행해보겠습니다.import timefrom selenium import webdriverfrom seleniu.. 더보기 이전 1 다음
