본문 바로가기

Selenium

Selenium 실행을 위한 ChromeDriver 설치 가이드 Selenium은 웹 브라우저를 자동화하기 위한 강력한 도구로, 웹 애플리케이션 테스트와 스크래핑에 널리 사용됩니다. 이 가이드에서는 Windows, Mac, Ubuntu 환경에서 Selenium을 실행하기 위해 필요한 ChromeDriver를 설치하고 작동을 확인하는 방법을 설명합니다.Windows에서 ChromeDriver 설치 방법사전 준비 사항Google Chrome 브라우저Python 설치 (3.7 이상)pip (Python 패키지 관리자)설치 과정 단계별 설명ChromeDriver 다운로드ChromeDriver 다운로드 페이지로 이동하여 최신 버전의 ChromeDriver를 다운로드합니다.다운로드한 zip 파일을 압축 해제합니다.환경 변수 설정ChromeDriver 실행 파일을 원하는 디렉토리.. 더보기
Selenium과 Scrapy를 이용해 네이버 쇼핑 크롤링하기 안녕하세요, 여러분! 오늘은 프로그래밍과 데이터 수집에 관심 있는 분들을 위해 흥미롭고 유익한 주제를 가져왔습니다. 바로 Selenium과 Scrapy를 이용해 네이버 쇼핑에서 제품명을 크롤링하는 방법을 소개해드리려고 합니다. 이 글을 통해 웹 크롤링의 기초부터 고급 기술까지 배우실 수 있을 거예요.왜 Selenium과 Scrapy를 함께 사용할까요?웹 크롤링을 할 때, 종종 동적으로 로드되는 콘텐츠를 마주하게 됩니다. 이러한 동적 콘텐츠는 일반적인 HTML 파싱으로는 접근하기 어려운데, 이때 Selenium이 큰 도움이 됩니다. Selenium은 실제 브라우저를 제어하여 JavaScript로 렌더링된 콘텐츠를 포함한 모든 페이지 요소에 접근할 수 있게 해줍니다. 반면 Scrapy는 빠르고 효율적인 크롤.. 더보기
쿠팡 웹사이트 크롤링하기 - 제품명, 가격, 및 링크 추출하기 안녕하세요, 데이터 애호가 여러분!오늘은 Selenium을 사용하여 쿠팡 웹사이트를 크롤링하는 방법을 소개하려고 합니다. 이번 포스트에서는 검색어에 따라 제품명, 업체명, 그리고 제품 페이지로 연결되는 링크를 추출하는 과정을 단계별로 설명하겠습니다.준비물PythonSeleniumChromeDriverWebDriver Manager1. 필요한 라이브러리 설치먼저 필요한 라이브러리를 설치해야 합니다. 아래 명령어를 터미널에 입력하여 설치합니다:pip install selenium pip install webdriver-manager 2. Python 코드 작성이제 Python 코드로 크롤링 작업을 수행해보겠습니다.import timefrom selenium import webdriverfrom seleniu.. 더보기

반응형