본문 바로가기

전체 글

크롤링 시 IP 차단 해결책: 휴대폰 테더링으로 IP 바꾸는 법 1. 크롤링과 IP 차단 문제웹사이트에서 데이터를 모으려고 할 때 갑자기 모든 요청이 차단된 경험이 있나요?  "이제 어떻게 해야 하지?"라는 생각이 들었을 겁니다. 크롤링 작업을 하다 보면 IP가 차단되는 문제를 피하기 어려울 때가 있습니다. 이런 일이 발생하면 매우 당황스럽고, 필요한 데이터를 얻기 위해 다른 방법을 찾아야 할 상황에 놓이게 됩니다. 이 글에서는 왜 IP 차단이 발생하는지, 그리고 이를 어떻게 해결할 수 있는지에 대해 알아보겠습니다.크롤링의 기본 개념 설명크롤링은 웹사이트에서 데이터를 자동으로 수집하는 작업을 말합니다. 수동으로 웹페이지의 정보를 일일이 수집하는 대신, 크롤러라고 불리는 프로그램이 이를 대신해 줍니다. 이러한 크롤링은 데이터 수집, 분석, AI 학습 데이터 생성 등 다.. 더보기
모각코: 작은 아이디어가 세상을 바꾸는 시작 우리 일상 속에 숨겨진 작은 불편함을 해결해 줄 수 있는 아이디어가 있다면 어떨까요? 대형 IT 기업이 아니더라도, 우리도 작은 변화로 큰 차이를 만들어낼 수 있습니다. 이번 모각코에서는 그 작은 변화를 만들어낼 아이디어를 함께 고민해 보는 시간을 가졌습니다. 모임 개요날짜: 2024년 10월 2일 (수) 14:00 ~ 17:00장소: 구미 미디어센터, 드림큐브 3동참석자: 애꿍이, 팔고사고, 디카페인, 알수없음, 수박이번 모각코에서는 일상에서 느끼는 작은 불편함을 해결할 아이디어를 함께 논의했습니다. 대형 서비스가 아니더라도, 소소하지만 실용적인 아이디어로 사람들의 삶을 편리하게 만들 수 있다는 점에 집중했죠. 서비스 아이디어 공유모임에서 나온 다양한 아이디어들을 공유합니다. 그중에서도 단순하면서도 실.. 더보기
구미 코딩 모임 10회 후기: HTML 기초와 Python 크롤링 실습 개요날짜: 2024년 9월 29일 (토) 10:00 ~ 12:00장소: 구미 미디어센터, 드림큐브 3동참석자: 시원한 외모, 디카페인, 애꿍이, 수박1. 오늘의 질문: 온라인 쇼핑몰, 어떻게 하면 성공할 수 있을까?구미 코딩 모임 10회에서는 새로운 얼굴이 등장했습니다. 애꿍이님은 온라인 쇼핑몰을 운영하며 사입부터 마케팅까지의 과정을 공유해 주셨습니다. 온라인에서 제품을 파는 일, 어떻게 하면 효율적이고 성공적으로 운영할 수 있을까요? 이를 중심으로 애꿍이님은 그들의 경험과 노하우를 이야기해 주었습니다.특히, 3PL(Third Party Logistics)을 활용해 제품을 고객에게 신속하게 전달하는 시스템 구축과, 고객에게 제품을 알리는 마케팅 전략이 주요 포인트였습니다. 이런 전략들이 실제로 어떻게 매.. 더보기
구미 코딩 모임 9회 : 2024년 9월 21일(토) 날짜: 2024년 9월 21일 (토) 10:00 ~ 12:00장소: 구미 미디어센터, 드림큐브 3동참석자: 시원한 외모, 팔고사고, 털실이, 수박주제: Pygame을 이용한 게임 개발 복습 및 크롤링 이해 "게임 개발과 웹 크롤링을 동시에 마스터할 수 있다면 어떨까요?" 이런 흥미로운 생각으로 시작된 구미 코딩 모임 10회는 참가자들의 열정으로 가득 찬 시간이었습니다. 시원한 외모, 팔고사고, 털실이, 수박님이 함께하여 지식과 아이디어를 나누었습니다.HTML 소개 및 구조 이해"웹 페이지의 겉모습 뒤에는 어떤 비밀이 숨겨져 있을까요?" 이 질문을 던지며 우리는 HTML의 세계로 첫 발을 내딛었습니다. 태그와 요소들이 어떻게 조합되어 웹 페이지를 구성하는지, 그 구조를 깊이 있게 탐구했습니다. 이를 통해 .. 더보기
Langchain 활용하기: AI 파이프라인 자동화 완벽 가이드 AI 기술이 나날이 발전하면서, 데이터를 다루는 방식도 크게 변화하고 있습니다. 특히, AI 파이프라인 자동화는 개발자들에게 큰 도전이자 기회로 다가오고 있습니다. 이 글에서는 Langchain을 활용해 AI 파이프라인을 자동화하는 방법을 자세히 설명하고자 합니다. 1. Langchain이란 무엇인가?Langchain은 Python 기반의 오픈 소스 라이브러리로, 복잡한 AI 파이프라인을 자동화하는 데 사용됩니다. 다양한 AI 모델과 데이터를 연결하여 작업을 효율적으로 처리할 수 있게 돕는 도구입니다.비유를 하나 들어볼까요? 마치 레고 블록을 하나씩 쌓아가는 것처럼, Langchain은 AI의 여러 기능을 모듈처럼 연결하여 하나의 큰 프로젝트로 만들어줍니다. 그 과정에서 복잡해 보이는 요소들도 쉽게 조립.. 더보기
초보자를 위한 웹 크롤링: Selenium과 Scrapy로 시작하기 1. 소개 (Introduction)웹 크롤링이란 웹페이지에 있는 데이터를 자동으로 수집하는 기술입니다. 일반적으로 웹사이트는 HTML 문서로 이루어져 있고, 그 안에는 다양한 텍스트, 이미지, 링크 등의 데이터가 포함되어 있습니다. 웹 크롤러는 이러한 웹페이지를 방문해 데이터를 분석하고 필요한 정보를 추출합니다. 이를 통해 다양한 분야에서 데이터 수집을 자동화할 수 있습니다. 예를 들어, 가격 비교 사이트는 여러 쇼핑몰에서 상품 정보를 자동으로 가져와 비교하는 웹 크롤링 기술을 활용합니다. 웹 크롤링에는 여러 방법과 도구가 존재하지만, 그중 가장 많이 사용되는 두 가지 도구가 바로 Selenium과 Scrapy입니다. 이 두 도구는 각각의 강점이 있어 상황에 맞게 사용하면 매우 효과적입니다. Selen.. 더보기
구미 코딩 모임 8회 후기: 2024년 9월 6일 날짜: 2024년 9월 6일 (토) 19:00 ~ 22:00장소: 구미 미디어센터, 드림큐브 3동참석자: 시원한 외모, 팔고사고, 털실이, 방요, 알수없음, 디카페인, 수박주제: 근황토크, Python 개발환경 설치 및 Pygame을 이용한 게임 개발1. 흥미로운 도입부: 게임 개발, 생각보다 간단할 수 있다?우리는 모두 한 번쯤은 게임을 만들어보고 싶다는 생각을 해본 적이 있지 않나요? 복잡하고 어려울 것만 같은 게임 개발을 생각하면 지레 겁먹기 쉬운데요, 사실 기본적인 환경만 잘 갖춰진다면, 게임 개발도 어렵지 않다는 사실! 이번 모임에서는 개발 환경을 설정하고 간단한 "Hello World" 게임을 만드는 과정을 함께 진행했습니다. Python과 Pygame을 사용하면 누구나 쉽게 게임을 개발할 수.. 더보기
구미 코딩 모임 7회 후기: 2024년 8월 31일 1. 모임 개요날짜: 2024년 8월 31일(토) 10:00장소: 구미 미디어센터, 드림큐브 3동참석자: 시원한 외모, 팔고 사고, 털실이, 디카페인, 수박주제: 근황토크, Python 기초 마무리, 이미지 생성형 AI 소개2. 모임 내용2.1 따뜻한 시작: 근황토크이번 모임은 서로의 최근 소식을 나누는 '근황토크'로 시작되었습니다. 참석자들은 각자의 일상과 경험을 공유하며 친목을 다지는 시간을 가졌습니다. 스마트팜을 운영 중이신 이장님의 생생한 일상 이야기가 흥미로웠고, 다양한 경험을 가진 털실이 님의 입담 덕분에 시간이 어떻게 가는 줄 몰랐습니다.2.2 Python 기초 마무리: 탄탄한 기초 다지기다음으로, Python 기초 마무리 학습을 진행했습니다. 이번 세션에서는 프로그래밍의 핵심 개념인 변수,.. 더보기

티스토리툴바