본문 바로가기

분류

웹 크롤링의 첫걸음: Chrome 개발자 도구와 XPath 완벽 가이드 온라인 쇼핑몰의 상품 가격을 일일이 확인하느라 시간을 허비한 경험이 있나요? 이런 반복 작업을 자동화할 수 있다면 얼마나 좋을까요? 이 글을 통해 여러분이 마법 같은 도구인 '웹 크롤링'을 활용해 이러한 반복 작업을 효율적으로 처리하는 방법을 배워보세요. 특히 Chrome 개발자 도구를 활용해 원하는 데이터를 정확하게 찾아내는 방법을 상세히 알아볼 텐데요, 이 가이드를 통해 여러분도 웹 크롤링의 달인이 되실 수 있을 거예요!웹 크롤링은 데이터 과학자, 대학생, 스타트업 대표 등 누구에게나 유용한 기술입니다. 자동화된 데이터 수집을 통해 여러분의 시간을 절약하고, 보다 의미 있는 일에 집중할 수 있도록 도와줍니다. 이제부터 함께 크롤링의 세계로 들어가 보겠습니다!크롤링이란 무엇인가? 🤔크롤링이란 웹사이트.. 더보기
윈도우 문서 편집 필수 단축키 완벽 가이드: 작업 시간 50% 단축하기 과제를 작성하거나 보고서를 편집할 때 마우스를 자주 사용하는 습관은 비효율적인 시간 소모로 이어집니다. 매번 마우스를 사용해 아이콘을 클릭하다 보면 생산성이 저하되고 작업 시간이 불필요하게 길어지기 마련입니다. 이를 해결하기 위한 효과적인 접근법이 바로 '단축키'의 활용입니다. 단축키는 작업의 효율성을 획기적으로 증대시키는 중요한 도구로, 사용자의 디지털 업무 역량을 고도화하는 데 기여합니다.단축키는 단순한 시간 절약을 넘어 사용자의 작업 흐름을 개선하고, 반복적인 작업에서 오류를 줄이며, 창의적인 작업에 더 많은 에너지를 집중할 수 있게 합니다. 현대의 디지털 환경에서 단축키를 능숙하게 사용하는 것은 단순한 편리함을 넘어 전문성과 효율성의 척도가 되고 있습니다. 특히 복잡하고 시간이 많이 소요되는 문서.. 더보기
공공 데이터를 활용한 데이터 시각화: Colab으로 쉽게 시작하기 데이터는 우리의 일상 속 어디에 있을까요? 우리 주변을 둘러보면 알 수 있습니다. 카페에서 무심코 마신 커피의 매장 위치, 매일 출퇴근하는 도로의 교통량, 우리가 쇼핑할 때 자주 방문하는 상가들의 위치와 유형까지, 모든 것은 데이터로 기록되고 분석됩니다. 이러한 데이터들을 누가, 어떻게 관리하고 있는지 궁금하신가요?공공 데이터는 정부나 공공기관에서 수집하고 공개한 데이터로, 우리가 필요한 정보를 손쉽게 얻을 수 있도록 도와주는 보물 같은 자원입니다. 그중에서도 '소상공인시장진흥공단 상가 정보'는 경상북도의 상가 위치와 특성에 대한 중요한 정보를 담고 있습니다. 이번 글에서는 이 데이터를 활용해 Google Colab에서 시각화하는 과정을 소개하겠습니다. 데이터 과학을 시작하려는 대학생, 웹 데이터 추출이.. 더보기
DNS와 IP 주소 이해와 예: 웹페이지는 어떻게 작동하는가 웹을 열 때, 진짜 무슨 일이 일어날까?여러분이 평소에 즐겨 방문하는 웹사이트를 생각해 보세요. 오늘 아침에 뉴스를 확인하기 위해 어떤 사이트에 접속했나요? '구글', '티스토리', '유튜브' 같은 웹페이지 주소를 입력하는 그 순간, 사실 어떤 일이 벌어지고 있을까요? 눈에 보이지 않는 무언가가 복잡하게 작동해 우리를 원하는 정보로 안내해 주는, 그 과정의 주인공은 바로 DNS와 IP 주소입니다.인터넷은 마치 거대한 도시와도 같습니다. 웹사이트라는 다양한 목적지를 찾아가기 위해서는, 여러분이 어디로 가야 하는지 알려주는 지도가 필요하죠. 그리고 그 지도에 해당하는 것이 바로 'DNS'입니다. DNS는 어떤 역할을 하고 있으며, 그와 더불어 IP 주소는 어떤 의미일까요? 이 글을 통해 그 과정을 하나씩 파.. 더보기
ElasticBeanstalk에서 Selenium 크롤링하기: 트러블슈팅부터 실전 팁까지 "웹 스크래핑이 필요한데 AWS에서 Selenium이 작동하지 않아 고생하고 계신가요? 저도 그랬습니다. 하지만 이제는 해결책을 찾았습니다."들어가며데이터를 수집하다 보면 언젠가는 마주치게 되는 순간이 있습니다. 바로 동적 웹페이지에서의 데이터 추출이죠. Beautiful Soup으로는 한계가 있어 Selenium을 써야 하는데... AWS Elastic Beanstalk 환경에서 이를 구현하는 것은 생각보다 까다로울 수 있습니다.이 글에서는 제가 겪었던 문제들과 해결 방법을 단계별로 상세히 공유하려고 합니다.Elastic Beanstalk이란?"Docker? EC2? 인프라 구성이 너무 복잡하지 않나요?"Elastic Beanstalk(EB)은 AWS가 제공하는 PaaS(Platform as a Ser.. 더보기
Make.com을 활용한 업무 자동화로 칼퇴 실현하기 "오늘도 시간에 쫓겨 일하다가 퇴근 후 자유는 저 멀리 사라져 버렸다..." 많은 직장인들이 느끼는 일상적인 피로감입니다. 매일 반복되는 단조로운 업무들, 특히 손으로 일일이 처리해야 하는 반복 작업들은 시간 소모가 크고 피로를 가중시킵니다. 여기서 제 구세주가 등장했습니다—바로 Make.com입니다. 이 도구가 어떻게 저를 "칼퇴 요정"으로 변신시켰는지 이야기해드리겠습니다.Make.com이란 무엇인가요? 업무 자동화의 시작!Make.com은 일상에서 발생하는 다양한 반복 작업을 자동화하여 업무 효율성을 크게 향상할 수 있는 강력한 자동화 플랫폼입니다. 예를 들어, 매일 수백 개의 이메일에 첨부된 파일을 특정 폴더에 저장하거나, 고객 데이터를 수동으로 입력하는 작업을 자동화할 수 있습니다. 특히 시간 소.. 더보기
파이썬으로 크롤링하기: selenium과 scrapy가 필요한 진짜 이유 크롤링으로 데이터를 수집하려다가 벽에 부딪히신 적 있으신가요? 단순한 requests만으로는 원하는 데이터를 가져올 수 없었던 경험, 다들 한 번쯤 있으시죠?🌟 크롤링의 세계로 오신 것을 환영합니다지난 주말, 한 스타트업 대표님께서 제게 연락을 주셨습니다. "전국의 카페 리뷰 데이터가 필요한데, 어떻게 하면 좋을까요?"같은 날 오후, 한 대학원생도 비슷한 고민을 털어놓았습니다. "논문 작성을 위한 SNS 데이터를 수집하고 싶은데, 자동화할 수 있는 방법이 없을까요?"이런 요청들을 들으며 문득 깨달았습니다. 많은 분들이 데이터 수집의 진짜 어려움을 겪고 계시다는 것을요.🤔 왜 단순한 크롤링으로는 부족할까요?실제 웹사이트를 한번 상상해 보세요.스크롤을 내리면 새로운 콘텐츠가 로딩되는 무한 스크롤클릭해야만.. 더보기
크몽 수업 의뢰 사전 미팅 기록 - 크롤링, DB 기록, 권한 관리 수업 일시: 2024년 10월 14일 (월) 오전 9:00 ~ 9:30주제: 웹 크롤링 구현, 데이터베이스 기록, 권한 관리 기능 구현에 대한 요구사항 및 구체적인 수업 방향과 목표 소개요구사항1. 특정 버튼 클릭 시 웹 페이지 크롤링 구현요청자님은 특정 버튼 클릭 시 목표하는 페이지를 크롤링하는 기능을 원합니다. 이 과정에서 발생할 수 있는 예외 상황을 처리하고, 안정적인 크롤링 방법에 대해 다룰 예정입니다. 사용자가 버튼을 클릭하면 특정 웹 페이지의 데이터를 자동으로 수집하여 실시간으로 데이터를 제공받는 것이 목표입니다.2. 크롤링 결과를 DB에 기록크롤링 성공 시 그 결과를 나만의 데이터베이스(DB)에 기록하는 기능을 추가합니다. 수집된 데이터를 체계적으로 정리하고 필요한 정보를 효과적으로 저장하여 추후.. 더보기

티스토리툴바