데이터 스크래핑 개발자

[어센트AI] 데이터 스크래핑 개발자

[모집기간]

07월 15일 ~ 08월 14일

[담당업무]

-Python 기반 크롤러/스크래퍼 설계·개발·운영 (정적/동적 페이지, 공개 API 포함)

-수집 대상 사이트 구조 분석 및 파싱 로직 구현, 사이트 변경에 따른 유지보수

-수집 데이터의 정합성·중복·결측 검증 및 정제, 저장소(DB/파일) 적재

-스케줄링·모니터링을 통한 정기 수집 자동화 및 실패 대응

-안티봇·robots.txt·요청 제한 등 정책을 고려한 안정적 수집 방식 구현

[자격요건]

-관련 경력 2~7년 또는 그에 준하는 실무 역량

-Python 경험, HTTP 요청/응답 구조에 대한 이해

-Selenium, Playwright 등 브라우저 자동화 도구를 활용한 동적 페이지 수집 실무 경험

-HTML/CSS 선택자, XPath에 대한 이해와 DOM 구조 분석 능력

-REST API 연동 및 JSON 데이터 처리 경험

-SQL 및 관계형 DB 기본 이해, Git 기반 협업(PR·코드 리뷰) 경험

[우대사항]

-Playwright/Selenium 등 동적 렌더링 페이지 수집 경험

-프록시·User-Agent 로테이션 등 안티봇 우회 경험

-Chrome DevTools Protocol(CDP) 활용 경험 — 네트워크 응답(SSE 스트림) 가로채기 등

-FastAPI 등 Python 웹 프레임워크 개발 경험

-비동기(asyncio)·병렬 처리 및 대용량 수집 파이프라인 경험

-Docker/Kubernetes 환경에서의 배포·운영 경험

-데이터 수집 관련 법적·윤리적 이슈(개인정보, 저작권, 이용약관)에 대한 이해

[채용공고]