데이터 엔지니어 - 데이터 플랫폼

[카카오페이] 데이터 엔지니어 - 데이터 플랫폼

[업무내용]

- 수천만 사용자의 이벤트를 처리하는 실시간/배치 데이터 파이프라인을 설계하고 개발합니다.

- 수집된 금융 데이터를 목적에 맞게 가공하고 결합하여, 서비스와 분석이 실제로 활용할 수 있는 새로운 형태의 데이터를 만들어냅니다.

- 데이터 스트리밍 처리 시스템을 운영하며, 지연, 유실, 중복 같은 문제를 직접 찾아서 개선합니다.

- 서버 개발자, 데이터 분석가 등 다양한 직군과 협업하며 데이터 요구사항을 파이프라인으로 구현합니다.

- 파이프라인의 불편한 부분을 직접 찾아 개선합니다.

[필요 역량/경험]

- 실시간 스트리밍 및 배치 파이프라인 설계 및 운영 경험

- 대용량 분산 처리 시스템에 대한 이해 및 실무 적용 경험

- 파이프라인 장애(지연, 유실, 중복) 디버깅 및 해결 경험

- 프로덕션 환경에서 데이터 파이프라인을 직접 운영해 본 경험

[선호 역량/경험]

- 대용량 트래픽 환경에서 파이프라인 병목 진단 및 개선 경험

- 백엔드 서버 개발 경험

- 데이터 품질 모니터링 또는 알럿 체계 구축 경험

- 데이터 엔지니어링 관련 경력 3년 이상