본문 바로가기

코딩

Selenium 크롤러의 진화: 안티봇 탐지를 피하는 우아한 방법 웹 크롤링 시스템 개선: 안티봇 탐지 우회와 안정성 향상최근 우리 팀은 웹 크롤링 시스템을 대폭 개선하는 작업을 진행했습니다. 이 글에서는 크롤링 시스템의 안정성을 높이고 안티봇 탐지를 우회하기 위해 적용한 다양한 전략들을 공유하고자 합니다. 1. 인프라 구성 개선1.1 패키지 의존성 추가크롤링 시스템의 안정성을 높이기 위해 필요한 시스템 패키지들을 추가했습니다. 특히 헤드리스 Chrome 브라우저가 정상적으로 동작하기 위해 필요한 다양한 의존성들을 식별하고 추가했습니다.packages: cups-libs: [] cups: [] cups-client: [] cups-devel: [] libXScrnSaver: [] nss: []이러한 패키지들은 다음과 같은 목적으로 추가되.. 더보기
파이썬으로 크롤링하기: selenium과 scrapy가 필요한 진짜 이유 크롤링으로 데이터를 수집하려다가 벽에 부딪히신 적 있으신가요? 단순한 requests만으로는 원하는 데이터를 가져올 수 없었던 경험, 다들 한 번쯤 있으시죠?🌟 크롤링의 세계로 오신 것을 환영합니다지난 주말, 한 스타트업 대표님께서 제게 연락을 주셨습니다. "전국의 카페 리뷰 데이터가 필요한데, 어떻게 하면 좋을까요?"같은 날 오후, 한 대학원생도 비슷한 고민을 털어놓았습니다. "논문 작성을 위한 SNS 데이터를 수집하고 싶은데, 자동화할 수 있는 방법이 없을까요?"이런 요청들을 들으며 문득 깨달았습니다. 많은 분들이 데이터 수집의 진짜 어려움을 겪고 계시다는 것을요.🤔 왜 단순한 크롤링으로는 부족할까요?실제 웹사이트를 한번 상상해 보세요.스크롤을 내리면 새로운 콘텐츠가 로딩되는 무한 스크롤클릭해야만.. 더보기
구미코딩모임 5회: python 과 가까워 지는 시간 2 모임 후기: 금오공대에서의 따뜻한 만남날짜: 2024년 8월 18일(일) 09:00장소: 금오공대 벤처창업관참석자: 시원한외모, 여름왕국, 털실이, 사고팔고, 수박주제: ChatGPT 활용기/노하우 및 Python의 시작 2모임 이야기안녕하세요, 여러분! 이번 모임은 시원한외모님의 도움으로 금오공대 벤처창업관에서 진행되었는데요, 정말 깔끔하고 아늑한 공간 덕분에 모임 내내 편안한 분위기에서 이야기를 나눌 수 있었습니다. 공간이 넓어서 살짝 부담스러웠지만, 시원한외모님께서 미리 에어컨을 켜 두셔서 정말 쾌적하게 시작할 수 있었답니다.이번에는 세 분이 처음으로 참석해 주셨어요! 새로운 분들과 함께 하니 대화가 더 풍성해졌습니다. 여러분도 처음 모임에 참석하실 때 어떤 기분이 드셨나요? 여름왕국산업용 로봇 분.. 더보기
구미코딩모임 4회: python 과 가까워 지는 시간 개요날짜: 2024. 8. 9(금) 17:00장소: 구미 영상 미디어 센터인원: 김주영, 이장님, 알수없음, 시원한외모, 디카페인, 수박주제: chatgpt 활용 및 python 의 시작모임진행내용5시부터 한 시간은 부담없이 근황토크 시간이었어요. 각자 직장, 학교에서 chatgpt를 활용하는 경험을 나누었습니다. 특히 스마트팜을 운용중이신 이장님께서는 코드 생산을 위해 chatgpt에 전달하는 질의를 시현해 주었습니다. 한 두줄의 문장으로 구성된 질문수준이 아니라 한 페이지 분량을 메모장 같은 곳에서 다듬고 정리한 뒤에 질의하는 모습이 인상적이었습니다. 그리고 저런 깊은 분야의 질문도 신속하고 똑똑하게 답하는 chatgpt 를 보면서 다시 한번 이 친구를 이해하고 깊이 이해가 필요하겠다. 느꼈어요. 구.. 더보기
첫 코딩 모임 후기: 작은 시작, 큰 기대 안녕하세요, 여러분! 오늘은 저희 첫 코딩 모임의 후기를 공유하고자 합니다. 작은 시작이었지만, 앞으로 많은 다양한 분들이 함께해 주시길 기대하며, 그 첫 걸음을 여러분과 나누고 싶습니다.모임 개요일시: 2024년 6월 30일장소: 빈이커피참여 인원: 2명모임의 시작오늘 저희는 빈이커피에서 첫 코딩 모임을 가졌습니다. 비록 참여 인원은 2명으로 작았지만, 서로의 열정과 관심 덕분에 유익하고 즐거운 시간을 보낼 수 있었습니다.모임 내용이번 모임에서는 서로의 관심사와 목표를 공유하고, 앞으로의 모임 방향에 대해 논의했습니다. 주요 내용은 다음과 같습니다:자기소개: 서로의 배경과 코딩에 대한 관심사, 목표를 나누었습니다. 저는 웹 개발에 관심이 많고, 다른 분은 데이터 분석에 관심이 있었습니다.모임 주제 선정.. 더보기
Python, Django, AWS, Git 과외 10년 python 개발 경력을 가진 물개발자입니다. 재밌는 코딩의 경험을 나눠드립니다. 대상 백엔드 개발자를 꿈꾸는 취준생 학습된 머신러닝 모델을 배포하려는 대학생 앱개발에서서 백엔드 도움이 필요한 프런트엔드 개발자 수업내용 Python, Django - https://kmong.com/gig/154822 AWS 환경 및 배포 - https://kmong.com/gig/154822 형상관리, Git - https://kmong.com/gig/142906 수업 이력 이*혁: 20회, 학원 원장님, CMS 구현, 21-11-18 ~ 22-5-10 류*관: 12회, 보험회사 관리직, 상담원 관리 시스템, 22-2-24 ~ 전**: 20회, 직장인 아이디어 구현, 21-09-06 ~ 22-01-03 원광대학교.. 더보기
python 디버깅 툴, pdb 코딩은 즐거움이다. 머리속에 있던 생각을 실행이 되는 구체화된 결과물을 만들어 내는 과정이기 때문이다. 또 결과물이 내가 의도했던대로 무리없이 작동하면 보람도 느낀다. 그 과정속에 어려움도 있다. 기대했던 바대로 작동하지 않는 경우가 비일비재해서다. 그리고 대부분 그러한 경우 원인을 쉽게 찾기 어렵다. 간단히 print() 를 사용할 수 있지만 좀더 진보된 툴, pdb를 써보자. 아래의 예는 django에서 ipdb(Improved pdb)를 사용한 예이다. class IndexView(generic.ListView): template_name = 'polls/index.html' context_object_name = 'latest_question_list' def get_queryset(self): .. 더보기
728x90

티스토리툴바