본문 바로가기

Python 웹 크롤링

구미 코딩 모임 9회 : 2024년 9월 21일(토) 날짜: 2024년 9월 21일 (토) 10:00 ~ 12:00장소: 구미 미디어센터, 드림큐브 3동참석자: 시원한 외모, 팔고사고, 털실이, 수박주제: Pygame을 이용한 게임 개발 복습 및 크롤링 이해 "게임 개발과 웹 크롤링을 동시에 마스터할 수 있다면 어떨까요?" 이런 흥미로운 생각으로 시작된 구미 코딩 모임 10회는 참가자들의 열정으로 가득 찬 시간이었습니다. 시원한 외모, 팔고사고, 털실이, 수박님이 함께하여 지식과 아이디어를 나누었습니다.HTML 소개 및 구조 이해"웹 페이지의 겉모습 뒤에는 어떤 비밀이 숨겨져 있을까요?" 이 질문을 던지며 우리는 HTML의 세계로 첫 발을 내딛었습니다. 태그와 요소들이 어떻게 조합되어 웹 페이지를 구성하는지, 그 구조를 깊이 있게 탐구했습니다. 이를 통해 .. 더보기
초보자를 위한 웹 크롤링: Selenium과 Scrapy로 시작하기 1. 소개 (Introduction)웹 크롤링이란 웹페이지에 있는 데이터를 자동으로 수집하는 기술입니다. 일반적으로 웹사이트는 HTML 문서로 이루어져 있고, 그 안에는 다양한 텍스트, 이미지, 링크 등의 데이터가 포함되어 있습니다. 웹 크롤러는 이러한 웹페이지를 방문해 데이터를 분석하고 필요한 정보를 추출합니다. 이를 통해 다양한 분야에서 데이터 수집을 자동화할 수 있습니다. 예를 들어, 가격 비교 사이트는 여러 쇼핑몰에서 상품 정보를 자동으로 가져와 비교하는 웹 크롤링 기술을 활용합니다. 웹 크롤링에는 여러 방법과 도구가 존재하지만, 그중 가장 많이 사용되는 두 가지 도구가 바로 Selenium과 Scrapy입니다. 이 두 도구는 각각의 강점이 있어 상황에 맞게 사용하면 매우 효과적입니다. Selen.. 더보기

반응형