dynamic website crawling 썸네일형 리스트형 초보자를 위한 웹 크롤링: Selenium과 Scrapy로 시작하기 1. 소개 (Introduction)웹 크롤링이란 웹페이지에 있는 데이터를 자동으로 수집하는 기술입니다. 일반적으로 웹사이트는 HTML 문서로 이루어져 있고, 그 안에는 다양한 텍스트, 이미지, 링크 등의 데이터가 포함되어 있습니다. 웹 크롤러는 이러한 웹페이지를 방문해 데이터를 분석하고 필요한 정보를 추출합니다. 이를 통해 다양한 분야에서 데이터 수집을 자동화할 수 있습니다. 예를 들어, 가격 비교 사이트는 여러 쇼핑몰에서 상품 정보를 자동으로 가져와 비교하는 웹 크롤링 기술을 활용합니다. 웹 크롤링에는 여러 방법과 도구가 존재하지만, 그중 가장 많이 사용되는 두 가지 도구가 바로 Selenium과 Scrapy입니다. 이 두 도구는 각각의 강점이 있어 상황에 맞게 사용하면 매우 효과적입니다. Selen.. 더보기 이전 1 다음
