자동화 시스템 및 기술이 비즈니스 세계에서 점점 더 중요해지고 있습니다. 특히 프리랜서 플랫폼인 Upwork에서의 경쟁을 뚫고 자신에게 맞는 일자리를 찾는 것은 쉽지 않은 task입니다. 이를 해결하기 위해, Upwork에서 웹 스크래핑을 통해 리드(구매 잠재 고객)를 수집하고 자동으로 필터링하는 방법을 소개하고자 합니다. 이번 글에서는 Make.com과 OpenAI API를 활용해, 적합한 일자리에 쉽게 제안서를 보낼 수 있는 시스템을 구축하는 과정을 자세히 살펴보겠습니다.
1. 웹 스크래핑의 필요성
웹 스크래핑이란 웹사이트에서 데이터를 추출하는 기술로, 특히 Upwork와 같은 프리랜서 플랫폼에서는 자신에게 알맞은 일자리를 찾기 위한 중요한 방법이 됩니다. 매번 손으로 검색하고 지원하는 것은 매우 비효율적입니다. 웹 스크래핑을 통해 특정 키워드에 부합하는 일자리 목록을 자동으로 수집하면 시간을 절약하고, 원하는 일자리를 더 쉽게 찾을 수 있습니다.
2. Make.com 소개
Make.com은 다양한 애플리케이션을 연결해 사용할 수 있는 자동화 플랫폼입니다. 이 플랫폼을 통해 여러 작업을 효율적으로 자동화할 수 있으며, 특히 웹 스크래핑 기능을 포함하고 있어 Upwork에서 데이터를 수집하는 데 큰 도움이 됩니다. 사용자는 Make.com에서 직접 일자리 검색 조건을 설정하고, 결과를 스프레드시트에 저장하여 간편하게 관리할 수 있습니다.
3. Upwork 스크래핑 설정하기
3.1. 스크래핑 도구 선택
Upwork의 RSS 피드가 중단된 이후로, 다른 방법으로 웹 스크래핑을 수행해야 합니다. Appify라는 도구를 활용하면 Upwork 에서 다양한 일자리를 스크래핑할 수 있으며, 이를 통해 원하는 직군이나 스킬에 따라 필터링할 수 있습니다. Appify의 스크래퍼는 매우 유용하며, 무료로 제공되는 크레딧을 통해 수천 건의 스크래핑을 할 수 있습니다.
3.2. 효율적인 스크래핑 설정
Make.com에서 먼저 스크래핑하려는 스크래퍼를 설정한 후, 정기적으로 실행될 수 있도록 스케줄링합니다. 매일 특정 시간대에 자동으로 실행되도록 설정하면, 매일 새로운 일자리를 한 곳에서 확인할 수 있습니다.
4. 데이터 필터링 및 분석
스크래핑을 통해 얻은 데이터는 직접 사용하기에는 가공해야 할 필요가 있습니다. 따라서 OpenAI의 GPT 모델을 활용해 데이터 필터링 작업을 진행합니다.
4.1. 적합한 일자리 선별
스스로 설정한 조건에 따라 각각의 일자리가 적합한지 판단하는 시스템을 만들 수 있습니다. 예를 들어, 시급, 경험 수준, 계약 기간 등을 기준으로 필터링함으로써 자신에게 맞는 일자리만을 골라낼 수 있습니다.
5. 제안서 자동 생성
일자리를 스크래핑하고 필터링한 후에는, 자동으로 제안서를 생성하는 과정이 필요합니다. 제안서는 매번 수작업으로 작성하기 어려운 부분이므로, GPT 모델을 활용해 자동으로 작성할 수 있습니다.
5.1. 제안서 설정
제안서는 다음과 같은 구조로 구성됩니다:
- 자기소개 및 전문성 강조
- 프로젝트에 대한 이해와 가치 제안
- 포트폴리오 링크 제공
- 전문가로서 자신감 있는 응답
- 시간 낭비를 줄이기 위한 감사 메시지
이 과정을 통해 사용자는 매번 새로운 제안서를 작성하는 노력 없이도, 기존의 응답을 바탕으로 빠르게 적합한 제안서를 만들어 낼 수 있습니다.
6. 실시간 데이터 관리
자동으로 생성된 제안서는 Google 스프레드시트와 연동해 관리할 수 있도록 설정할 수 있습니다. 이로 인해 일자리 정보를 통합 관리하며, 반복적으로 지원한 직무의 상태를 추적할 수 있습니다.
6.1. 구글 시트 연동
Make.com에서 Google 스프레드시트와의 연동을 통해 스크래핑한 결과, 필터링된 일자리, 그리고 작성된 제안서를 모두 기록할 수 있도록 설정합니다. 이로 인해 필요한 데이터에 언제든지 접근할 수 있습니다
7. 최적화 및 반복
모든 시스템을 설정한 후, 주기적으로 효율성을 높이기 위한 최적화를 진행합니다. 원하는 일자리를 찾기 위해서는 효율성이 매우 중요하며, 필요에 따라 스크래핑 조건이나 제안서 양식을 조정하는 것이 좋습니다.
7.1. 실험과 피드백
스크래핑한 일자리의 수와 질을 지속적으로 평가함으로써, 어떤 조건이 가장 유용한지를 분석합니다. 불필요한 일자리를 걸러내고, 더 나은 일자리에 집중하는 것이 중요합니다.
자동화 시스템 결론
Make.com과 OpenAI API를 활용하면 비즈니스와 프리랜서 업무에서의 생산성을 극대화할 수 있습니다. 웹 스크래핑, 데이터 필터링 및 자동 제안서 작성을 통해 더 많은 고객에게 효율적으로 다가갈 수 있는 시스템을 구축할 수 있습니다. 이와 같은 자동화 시스템은 특히 프리랜서들이 자신의 업무를 효율적으로 관리하고, 원하는 일자리를 빠르게 찾는 데 큰 도움이 됩니다.
출처 : Jono Catliff – This Upwork Automation System Will Change Your Business (Make.com Tutorial)