Selenium 실행을 위한 ChromeDriver 설치 가이드

Selenium은 웹 브라우저를 자동화하기 위한 강력한 도구로, 웹 애플리케이션 테스트와 스크래핑에 널리 사용됩니다. 이 가이드에서는 Windows, Mac, Ubuntu 환경에서 Selenium을 실행하기 위해 필요한 ChromeDriver를 설치하고 작동을 확인하는 방법을 설명합니다.

Windows에서 ChromeDriver 설치 방법

사전 준비 사항

• Google Chrome 브라우저
• Python 설치 (3.7 이상)
• pip (Python 패키지 관리자)

설치 과정 단계별 설명

1. ChromeDriver 다운로드
   • ChromeDriver 다운로드 페이지로 이동하여 최신 버전의 ChromeDriver를 다운로드합니다.
   • 다운로드한 zip 파일을 압축 해제합니다.
2. 환경 변수 설정
   • ChromeDriver 실행 파일을 원하는 디렉터리에 이동시킵니다. 예를 들어, C:\chromedriver\에 저장합니다.
   • '시스템 환경 변수 편집'을 열고 '환경 변수' 버튼을 클릭합니다.
   • '시스템 변수'에서 'Path'를 선택하고 '편집'을 클릭합니다.
   • '새로 만들기'를 클릭하고 ChromeDriver가 있는 경로를 추가합니다. 예: C:\chromedriver\
3. Selenium 및 ChromeDriver 설치 확인
   • 명령 프롬프트를 열고 다음 명령어로 Selenium을 설치합니다:
   • pip install selenium
   • Python 콘솔에서 다음 스크립트를 실행하여 ChromeDriver 설치를 확인합니다:
   • from selenium import webdriver driver = webdriver.Chrome() driver.get("http://www.google.com") driver.quit()

Mac에서 ChromeDriver 설치 방법

사전 준비 사항

• Google Chrome 브라우저
• Python 설치 (3.7 이상)
• pip (Python 패키지 관리자)
• Homebrew (필요시)

설치 과정 단계별 설명

1. Homebrew 설치 (필요시)
   • Homebrew가 설치되어 있지 않다면, 터미널을 열고 다음 명령어로 Homebrew를 설치합니다:

     /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. ChromeDriver 다운로드 및 설치
   • 터미널에서 다음 명령어를 실행하여 ChromeDriver를 설치합니다:

     brew install chromedriver

3. 환경 변수 설정
   • ChromeDriver 경로를 PATH에 추가합니다. 터미널에 다음 명령어를 입력합니다:

     echo 'export PATH="/usr/local/bin:$PATH"' >> ~/.bash_profile
     source ~/.bash_profile

4. Selenium 및 ChromeDriver 설치 확인
   • 터미널을 열고 다음 명령어로 Selenium을 설치합니다:
   • pip install selenium
   • Python 콘솔에서 다음 스크립트를 실행하여 ChromeDriver 설치를 확인합니다:
   • from selenium import webdriver driver = webdriver.Chrome() driver.get("http://www.google.com") driver.quit()

Ubuntu에서 ChromeDriver 설치 방법

사전 준비 사항

• Google Chrome 브라우저
• Python 설치 (3.7 이상)
• pip (Python 패키지 관리자)

설치 과정 단계별 설명

1. ChromeDriver 다운로드 및 설치
   • 터미널을 열고 다음 명령어를 입력하여 ChromeDriver를 다운로드하고 설치합니다:

     sudo apt update
     sudo apt install -y wget unzip
     CHROME_DRIVER_VERSION=$(wget -q -O - https://chromedriver.storage.googleapis.com/LATEST_RELEASE)
     wget https://chromedriver.storage.googleapis.com/$CHROME_DRIVER_VERSION/chromedriver_linux64.zip
     unzip chromedriver_linux64.zip
     sudo mv chromedriver /usr/local/bin/
     sudo chmod +x /usr/local/bin/chromedriver

2. 환경 변수 설정
   • ChromeDriver가 설치된 경로가 이미 PATH에 추가되어 있으므로 추가적인 설정이 필요 없습니다.
3. Selenium 및 ChromeDriver 설치 확인
   • 터미널을 열고 다음 명령어로 Selenium을 설치합니다:
   • pip install selenium
   • Python 콘솔에서 다음 스크립트를 실행하여 ChromeDriver 설치를 확인합니다:
   • from selenium import webdriver driver = webdriver.Chrome() driver.get("http://www.google.com") driver.quit()

Selenium과 ChromeDriver 작동 확인

간단한 Selenium 스크립트 작성

아래의 Python 스크립트를 사용하여 Selenium과 ChromeDriver가 정상적으로 작동하는지 확인할 수 있습니다:

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("http://www.google.com")
print(driver.title)
driver.quit()

 

---

클라우스 환경 AWS 에서 chromedriver 실행하기

여기까지는 개인 개발환경, local에서 Selenium과 ChromeDriver 위한 내용이었습니다. 서비스화를 위해서는 원격에서도 비슷한 과정을 진행해야겠지요. 동일한 작업이니 두 배의 노력이 필요할까요? 글쎄요. 저는 그 이상이었습니다. 상당히 반복적이고 지치는 과정이었습니다. 아래 글에서 제가 경험한 trouble shooting 여정을 기록해 보았으니, 참고해 보시지요. 

https://pointer81.tistory.com/entry/crawl-with-selenium-on-elasticBeanstalk-know-how

ElasticBeanstalk에서 Selenium 크롤링하기: 트러블슈팅부터 실전 팁까지

 

쿠팡 상품 추출, 크롬 확장으로 5분 만에 끝내기!

쿠팡 상품 추출, 크롬 확장으로 5분 만에 끝내기!"

 

 

Scrapy 와 함게 Selenium 연동하기

Selenium 만으로 충분히 동적인 페이지 크롤링이 가능합니다만 여기서 파이썬 크롤링 framework Scrapy 와 함께 한다면 작업이 좀더 수월해집니다. 그 내용이 궁금하시면 아래 내용도 살펴보시면 도움이 되겠습니다.

https://pointer81.tistory.com/entry/Selenium%EA%B3%BC-Scrapy%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-%EB%84%A4%EC%9D%B4%EB%B2%84-%EC%87%BC%ED%95%91-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0

Selenium과 Scrapy를 이용해 네이버 쇼핑 크롤링하기