본문 바로가기

Develop

공공 데이터를 활용한 데이터 시각화: Colab으로 쉽게 시작하기 데이터는 우리의 일상 속 어디에 있을까요? 우리 주변을 둘러보면 알 수 있습니다. 카페에서 무심코 마신 커피의 매장 위치, 매일 출퇴근하는 도로의 교통량, 우리가 쇼핑할 때 자주 방문하는 상가들의 위치와 유형까지, 모든 것은 데이터로 기록되고 분석됩니다. 이러한 데이터들을 누가, 어떻게 관리하고 있는지 궁금하신가요?공공 데이터는 정부나 공공기관에서 수집하고 공개한 데이터로, 우리가 필요한 정보를 손쉽게 얻을 수 있도록 도와주는 보물 같은 자원입니다. 그중에서도 '소상공인시장진흥공단 상가 정보'는 경상북도의 상가 위치와 특성에 대한 중요한 정보를 담고 있습니다. 이번 글에서는 이 데이터를 활용해 Google Colab에서 시각화하는 과정을 소개하겠습니다. 데이터 과학을 시작하려는 대학생, 웹 데이터 추출이.. 더보기
DNS와 IP 주소 이해와 예: 웹페이지는 어떻게 작동하는가 웹을 열 때, 진짜 무슨 일이 일어날까?여러분이 평소에 즐겨 방문하는 웹사이트를 생각해 보세요. 오늘 아침에 뉴스를 확인하기 위해 어떤 사이트에 접속했나요? '구글', '티스토리', '유튜브' 같은 웹페이지 주소를 입력하는 그 순간, 사실 어떤 일이 벌어지고 있을까요? 눈에 보이지 않는 무언가가 복잡하게 작동해 우리를 원하는 정보로 안내해 주는, 그 과정의 주인공은 바로 DNS와 IP 주소입니다.인터넷은 마치 거대한 도시와도 같습니다. 웹사이트라는 다양한 목적지를 찾아가기 위해서는, 여러분이 어디로 가야 하는지 알려주는 지도가 필요하죠. 그리고 그 지도에 해당하는 것이 바로 'DNS'입니다. DNS는 어떤 역할을 하고 있으며, 그와 더불어 IP 주소는 어떤 의미일까요? 이 글을 통해 그 과정을 하나씩 파.. 더보기
ElasticBeanstalk에서 Selenium 크롤링하기: 트러블슈팅부터 실전 팁까지 "웹 스크래핑이 필요한데 AWS에서 Selenium이 작동하지 않아 고생하고 계신가요? 저도 그랬습니다. 하지만 이제는 해결책을 찾았습니다."들어가며데이터를 수집하다 보면 언젠가는 마주치게 되는 순간이 있습니다. 바로 동적 웹페이지에서의 데이터 추출이죠. Beautiful Soup으로는 한계가 있어 Selenium을 써야 하는데... AWS Elastic Beanstalk 환경에서 이를 구현하는 것은 생각보다 까다로울 수 있습니다.이 글에서는 제가 겪었던 문제들과 해결 방법을 단계별로 상세히 공유하려고 합니다.Elastic Beanstalk이란?"Docker? EC2? 인프라 구성이 너무 복잡하지 않나요?"Elastic Beanstalk(EB)은 AWS가 제공하는 PaaS(Platform as a Ser.. 더보기
Make.com을 활용한 업무 자동화로 칼퇴 실현하기 "오늘도 시간에 쫓겨 일하다가 퇴근 후 자유는 저 멀리 사라져 버렸다..." 많은 직장인들이 느끼는 일상적인 피로감입니다. 매일 반복되는 단조로운 업무들, 특히 손으로 일일이 처리해야 하는 반복 작업들은 시간 소모가 크고 피로를 가중시킵니다. 여기서 제 구세주가 등장했습니다—바로 Make.com입니다. 이 도구가 어떻게 저를 "칼퇴 요정"으로 변신시켰는지 이야기해드리겠습니다.Make.com이란 무엇인가요? 업무 자동화의 시작!Make.com은 일상에서 발생하는 다양한 반복 작업을 자동화하여 업무 효율성을 크게 향상할 수 있는 강력한 자동화 플랫폼입니다. 예를 들어, 매일 수백 개의 이메일에 첨부된 파일을 특정 폴더에 저장하거나, 고객 데이터를 수동으로 입력하는 작업을 자동화할 수 있습니다. 특히 시간 소.. 더보기
파이썬으로 크롤링하기: selenium과 scrapy가 필요한 진짜 이유 크롤링으로 데이터를 수집하려다가 벽에 부딪히신 적 있으신가요? 단순한 requests만으로는 원하는 데이터를 가져올 수 없었던 경험, 다들 한 번쯤 있으시죠?🌟 크롤링의 세계로 오신 것을 환영합니다지난 주말, 한 스타트업 대표님께서 제게 연락을 주셨습니다. "전국의 카페 리뷰 데이터가 필요한데, 어떻게 하면 좋을까요?"같은 날 오후, 한 대학원생도 비슷한 고민을 털어놓았습니다. "논문 작성을 위한 SNS 데이터를 수집하고 싶은데, 자동화할 수 있는 방법이 없을까요?"이런 요청들을 들으며 문득 깨달았습니다. 많은 분들이 데이터 수집의 진짜 어려움을 겪고 계시다는 것을요.🤔 왜 단순한 크롤링으로는 부족할까요?실제 웹사이트를 한번 상상해 보세요.스크롤을 내리면 새로운 콘텐츠가 로딩되는 무한 스크롤클릭해야만.. 더보기
새로운 차원의 도구: ChatGPT 4.0 with Canvas, 당신의 글쓰기와 코딩 파트너 "안녕하세요! 여러분의 생각을 조금 더 부드럽게 정리하고 싶나요? AI와 함께 작업하며 새로운 세상을 열어 보세요!"  이 글은 여러분을 위한 것입니다. AI와 함께 글도 쓰고, 코드도 고치면서 마치 오래된 친구가 옆에서 힘을 보태주는 것처럼 느껴보세요. ChatGPT 4.0 with Canvas가 여러분의 작업을 훨씬 더 자연스럽고 쉽게 만들어 줄 것입니다. ChatGPT 4.0 with Canvas - 문서 편집과 코딩 협업의 혁신적 솔루션효율적인 협업: ChatGPT와의 더 나은 협력 한 번의 클릭으로 완벽한 글을 얻을 수 있다면 어떨까요? ChatGPT 4.0 with Canvas는 사용자가 작성한 문서를 더욱 깔끔하고 완성도 높게 다듬는 기능을 제공합니다. Canvas 기능을 통해 문서 편집, .. 더보기
이미지 생성형 AI의 모든 것: 창작의 새로운 도구, 사용법, 그리고 활용 사례 여러분이 상상한 멋진 풍경이나 캐릭터가 AI를 통해 화면에 바로 그려지는 모습을 상상해 보세요. 마치 상상만으로 예술작품을 완성하는 것 같은 경험이 될 것입니다. AI의 발전은 우리의 창작 방식을 이렇게나 크게 변화시키고 있습니다. 기술이 발전함에 따라 우리가 상상하던 것들이 실제로 구현될 수 있게 되었죠. 여러분은 AI가 예술을 어떻게 바꾸고 있는지 궁금하지 않으신가요? 예술이 더 이상 인간만의 영역이 아니라는 사실, 놀랍지 않나요? 예를 들어, AI는 우리가 상상만 하던 그림을 그려주는 역할을 할 수 있습니다. 실제로, AI가 생성한 작품들이 전시회에 걸리거나, 상을 받는 사례도 늘어나고 있습니다. 이러한 변화는 예술의 경계를 허물고, 창작의 새로운 가능성을 열어주고 있습니다.한 번 상상해 보세요, .. 더보기
크롤링 시 IP 차단 해결책: 휴대폰 테더링으로 IP 바꾸는 법 1. 크롤링과 IP 차단 문제웹사이트에서 데이터를 모으려고 할 때 갑자기 모든 요청이 차단된 경험이 있나요?  "이제 어떻게 해야 하지?"라는 생각이 들었을 겁니다. 크롤링 작업을 하다 보면 IP가 차단되는 문제를 피하기 어려울 때가 있습니다. 이런 일이 발생하면 매우 당황스럽고, 필요한 데이터를 얻기 위해 다른 방법을 찾아야 할 상황에 놓이게 됩니다. 이 글에서는 왜 IP 차단이 발생하는지, 그리고 이를 어떻게 해결할 수 있는지에 대해 알아보겠습니다.크롤링의 기본 개념 설명크롤링은 웹사이트에서 데이터를 자동으로 수집하는 작업을 말합니다. 수동으로 웹페이지의 정보를 일일이 수집하는 대신, 크롤러라고 불리는 프로그램이 이를 대신해 줍니다. 이러한 크롤링은 데이터 수집, 분석, AI 학습 데이터 생성 등 다.. 더보기

티스토리툴바