알아서 웹 데이터 긁어오는 AI 에이전트 무료로 나눠드려요. 쿠팡·인스타·네이버 카페까지 긁어옵니다 | Claude Code / Codex 에이전트 활용 transcript

내가 수집하고자 하는 사이트에 URL을 이렇게 복사하시고요. 붙여 놓고 무엇을 수집하고 싶은지를 설명해 주시면 됩니다. 한번 확인을 해 보면 엑셀로 잘 정리가 되어 있는 모습이고요. PDF도 요렇게 다 다운로드가 된 모습입니다. 쿠팡은 아주 강력한 보 차단 시스템을 쓰는 사이트라서 수집이 안 되고 거부가 됩니다. 정상적으로 수집을 한 거고요. 그 결과 직장인 분들의 AI 에이전트 만들기를 도와드리다 보면 직장인 분들이 가장 많이 원하시는게 웹 데이터 수집이더라고요. 웹 데이터를 깔끔하게 추출해서 정돈하는 일을 웹 크롤링이라고 하는데요. 크롤링을 할 줄 알면 제품 리뷰, 채용 공고, 입찰 공고, 매물 정보 등 인터넷에 있는 방대한 데이터를 손쉽게 수집해서 엑셀로 정리할 수 있습니다. 수집만 할 수 있다면이 방대한 데이터 분석을 AI가 너무 잘해 주기 때문에 AI 시대에 더 각강받을 수 있는 스킬이 웹 크롤링이라고 생각합니다.

AI 이전엔 저도 옥토파스라고 하는 노코드 웹 크롤링 도구를 소개하는 영상 시리즈까지 만들 정도로 크롤링의 진심이었는데요. 이제 그 툴 학습이 통째로 필요 없어졌습니다. 이번 영상에서도 지난번 PPT 제작 에이전트처럼 제가 만든 웹 크롤링 에이전트를 지금 바로 무료로 공유하겠습니다. URL과 함께 무엇을 모을지 이것만 딱 설명해 주시면 AI가 알아서 사이트를 살펴보고 데이터를 수집하고 엑셀로 정리해 줄 겁니다. 이번에도 바로 기터브 링크 먼저 드립니다. 웹 크롤러라고 하는 이름의 저장소고요. 오픈 소스로 만들었기 때문에 여러분 마음대로 쓰시고 고쳐서 재포하셔도 됩니다. 이전 영상에서 설명드렸던 것처럼 기터브 처음이신 분들도 어렵게 생각하지 않으셔도 됩니다.이 링크만 복사해서 에이전트에 제공해도 충분합니다.이 이 기터 페이지의 리드에 이렇게 설치 방법이 이렇게 자세히 적혀 있는데요. 이건 사람만 읽는게 아닙니다. 그리고 굳이 사람이 보고 이해하실 필요도 없죠. 클로드 코드나 체지티 워크가 이걸 읽고 알아서 세팅을 해 줍니다. 그래서 이렇게 세 폴더를 하나 만드신 다음에 항상 클로드 코드나 체피pt 워크 쓰실 때는 폴더 단위로 작업 공간 만들어 주셔야 된다고 강조했죠. 그 폴더를 열어 주시면 됩니다. 현재는 빈 폴더죠. 여기에이 기터브 링크를 복사해 가지고 넣어 주시고이 기터브 저장소를 현재 폴더에 클론하고 사용할 수 있게 세팅해 줘라고만 요청을 해 주시면 설치가 다 끝날 겁니다. 설치가 클로드 코드와 채치T 워크에서 다 끝났는데요. 다만이 에이전트는 이전에 영상에서 소개시켜 드렸던 PPT 에이전트보다 설치할게 조금 더 많습니다. 그래도 뭐 알아서 단계별로 진행하고요.이 이 컴퓨터에 이미 설치되어 있는 건너뛰고 막히면은 어떻게 해야 되는지도 사용자에게 알려 주도록 해 뒀습니다. 그래서 혹시 뭐 중간에 뭐가 안 됐다 그래도 당황하지 마시고 에이전트에게 다시 이거 왜 실패했어? 고쳐 줘. 이렇게 요청을 하시면 이유도 설명을 해 주고 고쳐 줄 겁니다. 제게 뭐 댓글로 문제 해결을 물어보시는 분들이 종종 있으신데요. 정말 물어보셔도 되지만 이런 문제 해결은 AI에게 물어보는게 훨씬 더 정확하고 빠릅니다. 그리고 한 가지만 더 짚고 넘어갈게요.이 웹 크롤러 에이전트를 사용하시는 데는 비용이 별도로 안 드는 무료지만요 에이전트를 돌리려고 하면은 클로드나 채지 유료 구독은 필요합니다. 뭐 제가 항상 강조드리는 말이 있는데요. 3만 원은 미래를 경험하기에 너무 싼 가격이다 이렇게 생각합니다. 3만 원 정도 구독해서 한번 사용해 보시기를 강력히 추천드립니다. 에이전트 세팅이 됐으니까 바로 해 보도록 하겠습니다. 여기 클로드 코드에서 방금 세팅한 폴더를 이렇게 선택한 상태에서 진행을 해 보도록 하겠습니다.이 폴더 안에는 아까 설치 요청에 따라서 이렇게 뭐 폴더들과 파일들이 생겨 있는데요. 요걸 기반으로 해서 클로드 코드나치T 워크에서 시켰을 때 정해진 절차에 따라서 크롤링을 해 주는 거다. 이렇게 이해하시면 되겠습니다. 첫 번째 크롤링해 볼 타겟은요. 직장인 분들 수요가 많은 공공 입찰 공고입니다. 나라정터 사이트인데요. 여기 입찰 공고 중에서 교량이라고 하는 키워드가 포함되어 있는요 공고 정보들을 한번 수집해 보도록 하겠습니다. 140개 공고가 확인이 되는데요. 제가 수집하고자 하는 사이트에 URL 이렇게 복사하시고요. 붙여 놓고 무엇을 수집하고 싶은지를 설명해 주시면 됩니다. 교량 키워드가 포함된 최근 1개월 내 입찰 공고 중에서 뭐 공고명 발주 기간 추정 가격 개실 공고 상태를 정리해 줘라 이렇게 요청을 해 보도록 하겠습니다. 네. 자, 이렇게 수집이 됐는데요. 제가 제공해 드린이 웹 크롤링 에이전트에서는 이런 사이트를 어떻게 수집해야 된다는게 다 스킬로 정의되어 있기 때문에 URL과 수집하고 싶은 것만 언급해 주셔도 알아서 이렇게 수집을 해서 엑셀 파일을 만들어 줍니다. 그리고 조금 더 빠르게이 일을 해 주는 거 같아요. 클로드에서도 동일하게 요청을 해 봤는데요.이 경우에는 안 된다. 이렇게 말해 주더라고요. 그리고 아무것도 설정되지 않은 그 순정 클로드 코드에서도 원래는 안 됐었는데 요즘은 이제 브라우서까지 클로드 코드가 알아서 컨트롤을 해 줘서 오늘 해 보니까 되기는 하더라고요. 순정 클로드 코드에서도 웹 크롤링 에이전트 세팅 없이도 되기는 하는데 조금 더 오래 걸렸습니다. 정확한 길을 찾아가는데 좀 시행 착고로 겪다 보니까 좀 더 오래 걸리는 거 같고요. 이런 순정 클로드 코드에서는 안 되는데 이번에 세팅한 웹 크롤링 에이전트에서는 되는 뭐 그런 사이트도 있어요. 이따가 또 말씀드려 보도록 하겠습니다. 수집판 엑셀 파일을 한번 열어 보면요. 요렇게 뭐 나라 장터에 있는 교량 관련된 공고 140건이 잘 수집이 된 걸 확인할 수가 있습니다. 두 번째는이 웹콜링 에이전트는요. 인터넷에 있는 데이터를 엑셀로 표로만 제공해 주는게 아니라 웹사이트에 있는 첨부 파일도 받아오게 시킬 수가 있습니다. 금융 감독원의 이제 보도자료 사이트인데요. 각각의 보도 자료마다 이렇게 첨부 파일들이 포함되어 있습니다. 이건마저도 에이전트가 다 수집을 해서 깔끔하게 정리해 놓게 시켜 볼 수가 있습니다. 이렇게 URL 붙여 놓고 최신 100권의 뭐 제목 담당부서 등록기를 엑셀로 정리하고 전부된 PDF 파일도 같이 다운로드 해 줘. 이렇게 시켜 보도록 하겠습니다. 수집이 다 완료됐다고 하고요. 뭐 엑셀 파일도 잘 생겼고 PDF도 107개가 다운로드됐다. 한번 확인을 해 보면이 보도 자료 100개가 엑셀로 잘 정리가 되어 있는 모습이고요.

PDF도 PDF 폴더에 요렇게 다 첨부 파일로 깔끔하게 다운로드가 된 모습입니다. 매주 규제 동향 모니터링 하는 분들은 요걸로 끄시겠죠. 조금 다른 예시로 한국 고전 종합 DV라고 하는 사이트도 수집해 보려고 하는데요. 요건 어떤 구독자님이 제게메일로 문의 주셨던 건데 요거 같은 경우에는 여러 가지 고전 원문들이 이렇게 정리되어 있는 사이트예요. 요런 걸 번역하시는 일을 어떤 분께서 하신다고 하셨습니다. 요건 이렇게 일반적인 목록형 사이트는 아닙니다. 그래서 아까 보여 드렸던 뭐 게시판이나 쿠팡 상품 리스트나 이렇게 목록형 사이트가 아닌데요. 이건마저도 에이전트가이 웹사이트를 잘 정찰해서 필요한 정보를 수집해 줍니다. URL 이렇게 복사하고요. 붙여 놓고요 세부적인 글들을 각각 MD 파일로 해서 수집해 줘. 이렇게 요청을 하게 되면 일반적인 목록형 사이트는 아니었지만 에이전트가 정찰을 해서 필요한 정보를 다 수집을 해 줍니다. 수집이 완료됐습니다. 확인을 해 보면 여기에도 엑셀 파일로 수집한 정보들이 이렇게 정리가 되어 있고요. 제가 원문은 마크다운으로 정리하라고 했는데 이렇게 폴더를 만들어서 마크다운으로 원문의 내용을 잘 정리해 줬습니다. 수집 완료했으니까 뭐 이걸 가지고 대규모 번역까지 에이전트에게 시켜 볼 수 있겠죠. 이번에는 체온 공고입니다. 원티드라는 사이트에서이 경영 비즈니스 직군을 놓고요. 수집을 한번 시켜 볼게요.

URL 붙여 놓고 경영 비즈니스 직군 채용 공고 100권 회사명 표지션 지역 태그를 모으고 뭐 각 공고 상세 페이지에 들어가서 주요 업무와 작용 요건 우대상 혜택 모지 채용 전형도 같이 가져와 줘. 이렇게 시켜보도록 하겠습니다. 뭐 이번 수집의 포인트는요. 요렇게 목록으로 되어 있는 리스트만 긁는게 아니라 상세 페이지에 들어가서이 상세 페이지 안에 있는 뭐 이런 포지션 상세, 뭐 주요 업무 자격 요건, 우대상, 혜택 목지, 채용 전형까지 하나씩 하나씩 들어가서 본문의 내용까지 가져오는게 포인트입니다. 요것도 잘 수행하는지 한번 지켜보시죠. 네. 이번에도 수집이 다 됐다고 하고요. 한번 확인해 보면 공고 회사 명과 포지션 뭐 상대 수소 태그 같은 목록에서 수집할 수 있는 데이터 외에도 공고 소개, 주요 업무, 자격 요건, 우대 사항, 상세 페이지에서 수집이 필요한 내용마저도 상세 페이지에 들어와서 긁어 가지고 정리를 해 준 모습입니다. 뉴스도 수집할 수 있어요. 뭐 링크를 주고 위 섹션의 뉴스 기사 중에서 AI 키워드가 포함되어 있는 최근 일주일 기사 제목 매체 날짜 링크를 모아 달라 이렇게 요청을 해 보도록 할게요. 뭐 이처럼 타겟 웹사이트에 있는 모든 콘텐츠와 개시물을 수집하는게 아니라 특정 조건에 하나에서 필터링해서 수집하는 거 가능합니다. 네. 이렇게 수집이 다 됐다고 합니다. 지난 일주일 동안 AI 관련된 기사가 879건이나 수집이 됐네요. 확인을 해 보면 뭐 요런 기사들, 어떤 섹션에서 어떤 기사들이 있었는지 쭉 나열된 모습입니다. 이렇게 그 뉴스 기사를 수집하는 것을요. 매일 정해진 시간에 스케줄 기반으로 자동 실행하는 것도 가능합니다. 그렇게 자동 실행하는 기능을 클로드코드에서는 루틴이라고 하고요. 채에서는 예약, 예약이라고 합니다.이 기능들을 이용해서 매일 새로운 관련 기사가 올라오는지를 모니터링하는 것도 가능합니다. 루틴 기능으로 등록해 달라고 하면요. 요렇게 루틴 탭에 보이도록 설정이 되고요. 뭐 매일 정해진 시간에 동작하도록이 되는 거고요. 업무적으로 활용하게 되면 정말 강력하겠죠? 요런 루틴과 관련된 어려움이 있으시다. 이러면 요런 거 댓글로 남겨 주시면은 추후에요 루틴 기능만 조금 더 심화해서 다루는 콘텐츠도 준비해 보도록 하겠습니다. 이번에는 부동산 한번 해 볼게요. 네이버 부동산에서요. 서울시 영등포구 영등포동을 띄어 놨고요. 보면은 매물이 총 92개가 있다 이렇게 나오는데요. 매물 정보 92개도 한번 수집을 해 보도록 하겠습니다. 마찬가지로요 URL을 이렇게 복사하고요. 붙여 놓고 이렇게 요청을 해 보도록 하겠습니다.이 이 URL에 상당히 많은 정보가 들어 있기 때문에요. 내가 수집하고 싶은 페이지에 URL을 이렇게 복사해서 붙여 놓고 수집하고 싶은 내용을 설명을 해 주시면 됩니다. 그리고요 진행하는 상황에서요. 요렇게 로버트. 에서 매물 정보를 수집하는 거를 차단하고 있다. 뭐 요렇게 할 수도 있습니다. 그러면 어 요거에 대해서는 여러분들이 사용자로서 판단을 해 주셔야 되는 부분이고요. 다른 데이터로 수집할 수 있는 방안을 제한을 해 주거나 그대로 진행하는 거 요기에서 이제 사용자의 허가를 득해 가지고 에이전트가 수행을 하게 되는 거고요. 어떤 방식으로 할지는 여러분들이 결정을 해 주시면 됩니다. 이렇게 수집을 맞췄습니다. 확인을 해 보면 요렇게 지도에서 매물 정보를 하나씩 하나씩 클릭해서 보던 거를 한 장에 표로 놓고 비교할 수 있게 이렇게 정리를 해 주는 모습입니다. 총 91건이 수집이 됐는데요. 요거는 이제 뭐 집게 목록에 불릴지 빠짐없이 수집을 했다. 이렇게 리포트를 해 줍니다. 이처럼 수집 과정에서 이슈가 있다고 판단되면이 내용을 사용자에게 피드백을 해 주게 되고요. 그 피드백을 사용자께서 보시고 승인을 해 주면 진행을 해 주는 구조로 되어 있고요. 승인을 하면은 웬만해서는 그 문제를 해결하는 방식으로 이렇게 에이전트가 동작하도록 설정이 되어 있습니다. 에이전트가 에이전트 용 브라우저를 직접 사용해서 타겟 웹사이트에 접속해서 사이트 구성 요소들을 정찰하고 정찰한 사이트에 맞춰서 어떻게 수집할지 전략을 결정하고 수집 코드를 작성해서 그 코드 기반으로 사이트의 데이터를 정확하게 수집하는게이 에이전트의 상세 동작 절차입니다. 코드는 결정론적이라 정확한 수집을 보장하고요. 그 코드를 LRM이 사이트마다 다르게 설계합니다. 그래서 사이트 구조가 바뀌어도 전략을 고쳐서 대응할 수 있는 것이죠. 이처럼 LRM이 모든 작업을 다 하는게 아니라 코드와 LRM이 역할을 나눠서 워크플로우에 맞게 각자 할 일을 하는게 좋은 에이전트를 설계하는 핵심이라 생각하는데요. 정확한 동작이 필요한 부분은 코드가 유연한 판단이 필요한 부분은 LM이 하도록 하는 것입니다.

LRM의 놀라운 점은 어떤 코드를 작성할지, 어떤 워크플로우를 작업할지마저도 유연하게 판단해서 확률론적으로 워크플로우까지도 설계할 수 있는 점이라고 생각합니다. 한 가지 더 동작 방식에서 중요한 포인트가 있는데요. 만약 정찰 단계에서 사이트가 너 사람 아니지 하고 식별해서 거절하게 되면 사용자에게이 사이트는 자동 접근을 차단하고 있습니다. 다음 단계는 그 차단을 우회하는 건데 계속하실 겁니까라고 경고 메시지를 띄워 주게 되고요. 사용자가 진행을 선택하시게 되면 진행을 해 줍니다. 판단은 도구가 하는게 아니라 사용자가 하도록 했습니다. 그리고 수집이 끝나면 사이트별로 수집 전략을 핑거 프린트라고 하는 폴더에 저장해서 다음번에 수집할 때는 더 빠르게 수집하도록 했습니다. 다양한 전략으로 최대한 사용자가 수집하고자 하는 데이터를 크롤링할 수 있도록이 에이전트는 지원을 하지만 이게 법적으로 문제가 있을지 없을지는 개별적으로 판단해 주셔야 합니다. 내부 분석용으로 1x송으로 수집하는 건 큰 이슈가 없을 거라고 생각하지만 주의해서 사용해 주시기를 바랍니다. 후반부에 크롤링의 법적 이슈에 대해서도 설명드리니까 이것도 한번 살펴보시길 바랍니다. 이번엔 이커머스 리뷰도 수집해 봅시다. 마케팅하거나 상품 기획하시는 분들이이 리뷰 데이터 수집하고 분석하는 거 하시면은 굉장히 좋아하시고 되게 유용하게 느끼십니다. 자 3사월도 가능하고요. 뭐 스마트 스토어 11번과 컬리 등 다양한 이머스 플랫폼에서 모두 리뷰를 수집할 수 있습니다. 저는 쿠팡에서 한번 해 보도록 하겠습니다. 쿠팡의요 상품의 1천개의 리뷰들을 한번 수집을 해 볼게요. 쿠팡은 아까 보여 드렸던 뭐 네이버처럼 보의 수집을 좀 막는 좀 강력한 사이트입니다. 그래서 웬만한 방법에서는 잘 수집이 안 되는데요.요 에이전트를 이용해 가지고 진행을 하는 걸 한번 보여 드려 볼게요. 링크를 집어넣고 작성자명, 상품명, 날짜 리뷰 텍스트를 엑셀로 수집해 줘. 이렇게 요청을 해 보도록 할게요. 비교를 위해서 오른쪽은 순정 클로드 코드에서 쿠팡의 리뷰를 한번 수집 시도해 볼 거고요. 왼쪽은 나눠드린 웹 크롤러 에이전트에서 한번 수집 시도를 해 보도록 하겠습니다. 이렇게 에이전트가 순차적으로 단계를 높여 가면서 시도를 해 보는 거고요. 말씀드렸던 것처럼 쿠팡은 아주 강력한 보 차단 시스템을 쓰는 사이트라서 제대로 수집이 안 되고 거부가 됩니다. 사이트가 거부하는 경우에는이 에이전트가 이제 물어보게 됩니다.이 이 차단을 우할 건데 계속 할 거냐 그래서 사용자가 승인을 하게 되면 진행을 하게 됩니다. >> 네. 왼쪽은 이제 웹 크롤링 에이전트에서 동작을 해서 우후에 진행을 해서 정상적으로 수집을 한 거고요. 그 결과요 상품에 대한 고객 리뷰들이 이렇게 수집이 됐습니다. 뭐 텍스트가 없는게 있는데요. 남성 제품이다 보니까 실제로 리뷰 텍스트가 없는 것들이었어요. 실제로 수집이 필요한 것들은 다 잘 수집이 된 겁니다. 반면에 순정 클로드 코드에서 진행한 건 쿠팡의 보차단을 우회하지 못하고 이렇게 종류된 것을 확인할 수가 있습니다. 요처럼이 에이전트가 유연하게 전략을 설계해서 크롤링을 해 준다는 점에서 웹 크롤링이라고 하는 어떤 목적이 있는 분들께 충분히 좋은 도구가 될 거다. 저는 그렇게 생각이 됩니다. 수집된 리뷰를 인간이 검토해야 되겠지만 대량의 리뷰라면 인간보다는 AI에게 검토와 분석을 맡기는게 더 좋겠죠. 그래서 요거를 HTML로 구조화해서 대시보드로 만들어 봐라. 이렇게 요청도 해 보도록 하겠습니다. 수집한 리뷰를 가지고 HTML로 분석한 결과가 나왔는데요.이 고객의 VOC라고 하는 아주 생생한 피드백에서 마케팅이나 제품 관련된 인사이트를 뽑아낼 수 있습니다. 확인을 해 보면은 뭐이 오리던 제품이다 보니까 하나만 바르고 나간다 뭐 이런 포인트 강조했었고요. 어떤 키워드들이이 제품과 관련되어 있는지 이렇게 정리를 해 주고 어떤 리뷰들이 있는지 비교해서 보기 좋게 이렇게 정리를 해 주는 모습이고요. 그리 고객이 쓴 말 가지고 이제 카피 라이팅을 하는 것도 되게 효과적인 전략입니다. 그래서 자주 언급된 말을 기반으로 해서 요런 카피들, 요런 카피들 남자로서 좀 공감이 되는 거 같고요. 그리고 좀 주의해야 될 점들 이렇게 정리해 주는 것도 아주 효과적인 거 같습니다. 수집한 리뷰를 기반으로 HTML로 인사이트를 구조화해서 표현해 봐라. 이러면 굉장히 좋은 마케팅 인사이트를 도출할 수 있습니다. 마케팅 관련된 일을 하신다면 요거 꼭 한번 해 보시기를 강력히 추천드립니다. 웹크롤링 에이전트를 이용하면 로그인해야지 볼 수 있는 사이트의 컨텐츠도 수집이 가능합니다. 네이버 카페의 게시판을 한번 크롤링 해 볼게요. 국제학교 관련된 정보를 공유하는 네이버 카페인데요. 여기서 이제 개시글의 내용을 한번 수집을 해 볼 겁니다. 에이전트한테이 로그인 정보를 주고요 사이트에 들어와서 내용을 수집해 봐라. 이렇게 해보도록 하겠습니다. 그럼요 링크를 복사해서 쳐 놓고이 카페에 국제학교 준비 무의 개시한 최근 100권의 제목 작성 본문 텍스트를 엑셀로 수집해 봐라. 이렇게 한번 시켜 보도록 하겠습니다. 에이전트에서 이제 로그인이 필요하다는 걸 알게 되면요. 이제 브라우저 창을 띄워 가지고 이제 직접 로그인 해 주세요. 이렇게 요청을 합니다. 요렇게 뭐 직접 로그인 해 달라는 창에 뜨고요. 제가 로그인을 한번 해 볼게요. 네. 이렇게 로그인을 해 주게 되면요.이 에이전트가 이제 아이디 패스워드를 받는게 아니고 저장하지도 않는 거고요. 로그인 한 것에 이제 쿠키 정보 로그인 상태를 이제 넘겨 받아서 수집을 이어가게 되는 거예요. 그리고 혹시나 뭐 2단계 인증이나 다른 어떤게 나와도 사람으로서 풀어 주면은 에이전트가 그 로그인 정보를 기반으로 해서 이후 수집 작업을 해 줍니다. 그래서 이제 로그인이 확인됐으니까 마저 수집한다. 이렇게 하고 있고요. 네. 네. 뭐 이것도 다 계시글이 수집됐다고 나오고요. 확인을 해 보면 계시글의 내용과 뭐 본문까지 다 수집을 해 준 모습입니다. 커뮤니티 글들 이렇게 수집해 가지고 고객님들의 동양이나 니즈 분석 요런 것 쪽으로 활용해 보셔도 좋을 것 같습니다.

SNS인 인스타그램도 한번 크롤링 해 볼게요. 요것도 이제 마케팅 회사에서 관심 많으신 내용이겠죠. 토너 추천이라고 하는이 해시태그 검색 결과물들을 한번 수집해 보도록 하겠습니다. 토너 추천 해시태그 검색된 최근 인스타그램 개시 50개의 뭐 개정명 본문 좋아요수 개시를 모아줘 이렇게 한번 또 요청을 해 볼게요. 인스타그램도 로그인이 필요해서 같은 방식으로 제가 직접 로그인하고 로그인한 브라우저 안에서 수집하도록 할게요. 네. 인스타그램 개시물도 수집이 완료됐다고 합니다. 뭐 이렇게 개정명과 본문 링크까지 수집이 된 모습입니다. 요런 방식으로 여러분들 비즈니스에 필요한 인터넷에 있는 데이터를 수집하는데이 에이전트를 활용해 보시면 굉장히 파워풀하게 활용할 수 있지 않을까 이런 생각이 듭니다.이 에이전트를 그냥 제가 만들어서 공유드린 그대로 쓰시는 거보다 여러분들의 상황에 맞게 계량해서 사용하실 때 저는 진짜 위력이 나온다고 생각이 됩니다. 법용 도구보다는 회사 맞춤형이 될수록, 개인 맞춤형이 될수록 그 도구의 어떤 가치, 효용성은 증가하는 거거든요. 그리고 그 계량이라고 하는게 절대 거창한게 아니고 그냥 말로 시키면 되는 겁니다. 계량하는 방법이 크게는 세 가지가 있는데요. 제가 실제로 쓰고 있는 걸 중심으로 보여 드리도록 하겠습니다. 첫 번째 제가 개량하는 포인트로 말씀드리고 싶은 것은 자동 실행입니다. 루틴이라고 하는 기능을 이용해서 매일 혹은 뭐 매주 혹은 뭐 한시간 간격으로 자동으로 스케줄 기반으로 동작하도록 할 수가 있습니다. 그래서 저 같은 경우에는요. 저의 니즈이기도 한데 링크대인 특정 계정들을 이렇게 모니터링을 해서이 분들이 어떤 링크대인 포스팅을 쓸 때마다 이렇게 모니터링해 가지고 주요 내용을 요약하도록 설정해 놓고 있어요. 저는이 녹화하는 컴퓨터 말고 맥니 컴퓨터를 서버처럼 두고 매일 링크인과 유튜브에서 이렇게 경쟁 크리에이터들의 어떤 결과물을 수집하는 거를 돌리고 있어요. 이렇게 자동 실행하는 것만으로 내게 필요한 정보를 얻을 수 있으니까 굉장히 효과적이고요. 두 번째는이 결과 전달 방식을 바꾸는 건데요. 기본으로는 엑셀을 통해서 이렇게 정보를 수집을 하는 거지만 단순히 엑셀 파일로 폴더에 쌓이는 것보다 지금처럼 이렇게 슬렉 채널로 요약해서 던져 주면은 보는 접근성이 좋아져서 내용을 파악하고 활용하기가 좋습니다. 이뿐만 아니라 그메일로 받는 것도 가능한데요. 뉴스를 모니터링 하다가 어떤 특정 기사가 그 회사의 법적인 리스크와 관련 있어 보인다. 요런 판단이 되면은 그것들을 이제 정리해서메일로 보내 주는 에이전트인데요.메일로 메일로 결과물을 받도록 결과 전달 방식을 바꿔 보니까 굉장히 편리하다 이렇게 생각이 듭니다. 요런 것들도 이제 크로드 코드 상에서 내가 필요한 앱을 커넥터로 추가하고 내가 개량하는 에이전트에서 수집 끝나면 뭐 메일에서 알려줘, 슬래그로 알려 줘. 요렇게 요청하기만 하면은 그 목적에 맞게 클로드코드가 알아서 계량을 해 줄 겁니다. 그리고 세 번째로는 수집 항목을 고정하는 건데요. 현재 에이전트의 목적이 법용 크롤링 에이전트지만이를 특정 목적에 맞게 특정 사이트의 특정 항목만 수집하도록 커스텀할 수가 있어요. 회사 차원에서 PR 기사들을 모니터링하다가 우리 회사 차원에서 리스크가 있을 법한 기사가 올라오면 뭐 경고 메시지를 보내는 에이전트 만들고 싶다 한다면이 법용 에이전트에서 뉴스 기사를 계속 모니터링하고 어떤 조건에 부합하면은 경고 메일 또는 알림을 주도록 개량하면 되는 거고요. 어떤 부분을 수집할지와 어떤 식으로 동작할지만이 에이전트 기반으로 커스텀해서 여러분들 목적에 맞게 사용할 수 있는 겁니다. 이처럼 에이전트는 개인이나 조직에 맞춤화될수록 더 파워풀해진다.이 이 점을 좀 강조해 드리고 싶습니다. 그리고 크롤링과 관련해서 법적으로 고려해야 될 것들 공유드리고 싶은데요. 제가이 영상을 준비하는 과정에서 리서치를 해 보니까이 크롤링이라고 하는게 되는 것과 안 되는 것 이렇게 명확하게 이분법적으로 나눌 수가 없더라고요. 그래서 제가이 도구를 만들면서 공부한 내용들을 기터브에 정리해 놨으니까요. 혹시 곤란한 일이 있지 않을까 염려되시는 분들이 있다면 기터브 저장소의 그 메인 페이지를 좀 자세히 봐 주시면 좋겠고요. 크게 여섯 가지 기준으로이 크롤링의 위법성에 대해서 좀 판단을 하는 거 같습니다. 첫 번째 기준은 이제 접근. 약관이나 뭐 로봇점 텍스트 같은데 명시적으로 금지하고 있는데이를 우해해서 접근하고 있지 않는지 두 번째는 부담. 크롤링하는 대상 서비스 서버에 과도하게 부담을 주는 건 아닌가? 세 번째는 수집한 정보의 성격, 개인 정보인가 아닌가?네 번째는 분량. 필요한 정보만 수집하는게 아니라 사이트의 데이터베이스의 상당 부분을 가져가고 있는 건 아닌가? 다섯 번째는 이용 목적. 원를 대체하거나 경쟁하는 목적으로 수집하고 사용하지는 않았는가? 여섯 번째는 흔적. 누가 수집하는지 밝히지 않고 몰래 수집하지 않았는가?이 이 여섯 가지를 모두 다 지켜야 사실 문제가 없는 거지만 실무적으로 웹 크롤링을 하는 과정에서이 모든 기준에 다 부합된다고 하기는 어려울 것 같아요. 다만 이런 기준들을 가지고 뭐 민사상, 형사상 판단을 하고 있다 정도로 저는 설명을 드리게 했습니다. 그리고 저는 제작자로서이 에이전트의 여섯 가지 중에서 도구가 도울 수 있는 부분은 기본적으로 넣어뒀습니다. 요천 간격을 자동으로 띄운다든지 로버스점 텍스트를 실제로 읽어서 막혀 있었다면 이것을 고지한다든지 개인 정보로 보이는 정보가 있다면 경고한다든지 우회 단계에 들어가기 전에 사용자에게 확인을 받는다든지 하지만 요런 것들은 보조적인 수단일 뿐이고요. 판단에는 사용자에게 맡겨 놓고 있습니다. 저는 변혼사가 아니고 지금 말씀드린 것도 법률 자문은 아니기 때문에 회사 업무나 상업적으로 사용하시기 전에는 꼭 전문가와 한번 상의해 보시기를 권고드립니다. 여기까지 보신 분들은 AI 에이전트와 함께 일한다는 것이 무엇인지 감히 오셨을 거라 생각합니다. 제가 AI 에이전트와 함께 일하기 위해서 가장 중요하게 생각하는 포인트 하나를 말씀드리면서이 영상을 마무리하겠습니다. 짐작하시겠지만이 에이전트는 처음부터 제가 다 만든게 아닙니다. 크게는 두 개의 오픈소스를 이렇게 조합해서 만든 것이에요. 에이전트 브라우저라고 하는 오픈소스 에이전트용 브라우저로 사이트를 정찰하게 한 거고요. 스크레이플링이라고 하는 오픈소스 크롤링 라이브러리로 각 사이트에 맞게 수집 코드를 작성하도록 했습니다. 훌륭한 오픈소스 도구들 위해서 제가 수십개 사이트를 실제로 겪어 보면서 경험한 시행 착오와 노하우드를 절차의 일부 반영한 것입니다. 이처럼 기터브를 통해서 먼저 만들어진 프로젝트를 적극 벤치마킹하시되 성실하게 검증하면서 인간의 노하우와 취향을 집어넣는게 AI와 함께 일 잘하는 핵심 노하우라고 저는 생각을 합니다. 그래서 AI와 함께 일잘하는 방법이 고민이시라면이 영상을 절대 보고만잊지 마시고 무료로 제가 나눠 드린이 기타 프로젝트를 여러분도 한번 직접 돌려 보시고 여러분 업무에 맞게 커스텀 하는 것까지 꼭 도전해 보시길 바랍니다.이 이 과정이 AI 에이전트를 내 일에 적용하는 스킬을 쌓아가고 AI 시대의 일 잘하는 방법을 고민하는 출발점이 되 줄 거라고 저는 확신합니다. 뭐 제가 또 나누고 싶은 화두는요. 이게 기존에는 월 10만 원에 가까운 돈을 솔루션 회사에 내야지 할 수 있는 일이었다는 거죠. 혹은 뭐 사람이 꽤나 많은 시간을 들여야 할 수 있는 일이었고요. 근데이 일이 AI 에이전트만으로 더 쉽게 매우 빠르게 심지어는 무료로 처리되고 있습니다.

IT 소프트웨어 산업에 종사하는 사람으로서 어떤 서비스를 만들어야 하나 저도 고민이 많고요. 지식 노동자로서도 나는 무슨 일을 해야 하나 고민이 많이 됩니다. 동시에 현 시점에서 이러한 대규모 정보를 수집하고 분석하는게 AI 에이전트에게 우선 시켜직한 일이라는 생각도 들고요. 저는 일단 AI와 기능으로 경쟁하지 말고 인간으로서 다른 인간들로부터 신뢰와 평판을 쌓아가는게 현 시점에서는 가장 중요하다고 생각해서 이렇게 에이전트를 무료로 공개하는 유튜브 콘텐츠를 만들어야겠다 이렇게 생각하고 실천하고 있습니다. 저는 뭐 진지하고 동시에 실용적으로 AI를 도구로서 잘 활용하고이를 조직 내에서 확산하는 그런 역할을 저는 앞으로 맡고 싶고요. 그러한 비전을 위해서 지금과 같은 일을 하고 있다고 생각합니다. 하지만 저 역시도 5년 뒤에 어떤 일을 하고 있을까 생각해 보면 그 구체적인 모습이 좀 그려지지는 않더라고요. 오늘 보여 드린 에이전트가 IT 서비스와 뭐 지식 노동자들에게 아까 저와 같은 그런 실존적인 물음을 던져 주고 있다고 저는 생각합니다. 그래서 AI에 대한 여러분들이 느낀 어떤 실존적인 고민들도 댓글을 통해서 함께 공유하고 이야기 나누면 좋겠습니다.이 에이전트를 그냥 도구로서 써 보시고 어떻게 느끼셨나 피드백도 남겨 주시면 정말 감사하겠습니다.이 이 에이전트가 혹시 마음에 드셨다면 제 기터브 저장소 우측 상단에 있는 스타 버튼도 한번 눌러 주시면 감사하겠습니다. 저는 다음 영상에서도 직장인 여러분들이 실무에 바로 쓸 수 있는 에이전트를 하나 만들어서 들고 오도록 하겠습니다. 감사합니다.

[환호]