기술공유 썸네일형 리스트형 Selenium 크롤러의 진화: 안티봇 탐지를 피하는 우아한 방법 웹 크롤링 시스템 개선: 안티봇 탐지 우회와 안정성 향상최근 우리 팀은 웹 크롤링 시스템을 대폭 개선하는 작업을 진행했습니다. 이 글에서는 크롤링 시스템의 안정성을 높이고 안티봇 탐지를 우회하기 위해 적용한 다양한 전략들을 공유하고자 합니다. 1. 인프라 구성 개선1.1 패키지 의존성 추가크롤링 시스템의 안정성을 높이기 위해 필요한 시스템 패키지들을 추가했습니다. 특히 헤드리스 Chrome 브라우저가 정상적으로 동작하기 위해 필요한 다양한 의존성들을 식별하고 추가했습니다.packages: cups-libs: [] cups: [] cups-client: [] cups-devel: [] libXScrnSaver: [] nss: []이러한 패키지들은 다음과 같은 목적으로 추가되.. 더보기 구미 코딩 모임 12회: ChatGPT 4.0과 쇼핑몰 자동화 경험 공유 구미 코딩 모임에서 배운 지식과 성장의 즐거움2024년 10월 12일, 구미 미디어센터 드림큐브 3동에서 열린 구미 코딩 모임 12회가 진행되었습니다. 이른 아침의 신선한 공기를 맞으며 모임 장소에 도착한 참석자들은 기대와 설렘으로 가득했습니다. 이번 모임에서는 각자의 근황을 나누고, ChatGPT 4.0 with Canvas의 새로운 기능을 탐구했습니다. 또한, 온라인 쇼핑몰 운영 경험을 나누며 유익한 시간을 보냈습니다. 새로운 얼굴들과의 만남도 특별한 즐거움을 더해주었습니다. 모두가 각자의 이야기를 나누고 기술적인 지식을 공유하며 서로 배우는 시간이었습니다. 날짜: 2024년 10월 12일(토) 10:00장소: 구미 미디어센터, 드림큐브 3동참석자: 야호, 브로콜리, 팔고사고, 애꿍이, 디카페인, 방.. 더보기 이전 1 다음
