Data Engineer

담당업무

• OLAP 기반 데이터 파이프라인의 개발 및 운영
• 대규모 데이터 분석 및 실시간/배치 데이터 파이프라인의 안정적 운영을 위한 시스템 설계 및 최적화
• 토스플레이스가 발생하는 다양한 형태의 데이터를 적재하는 배치 및 스트리밍 파이프라인의 개발 및 운영
• 서비스 요구사항을 반영하여 데이터 모델과 처리 로직을 지속적으로 개선

자격요건

• Kubernetes(K8s) 기반 환경에서의 서비스 운영 경험
• Kafka 및 Kafka Connect 기반 데이터 스트리밍 파이프라인 설계/운영 경험
• Apache Spark(Batch/Structured Streaming)를 활용한 대용량 데이터 처리 경험

우대사항

• OLAP 시스템: StarRocks, ClickHouse 등 MPP/OLAP 엔진 운영 및 튜닝 경험
• Open Table Format: Apache Iceberg, Hudi, Delta Lake 등을 이용한 Data Lakehouse 구축 경험
• Streaming Framework: Kafka Streams, Apache Flink 등을 이용한 실시간 데이터 처리 경험
• Workflow Orchestration: Airflow 기반 ETL 파이프라인 설계/운영 경험

전형절차

1. 서류 접수
2. 직무 인터뷰
3. 문화적합성 인터뷰
4. 레퍼런스 체크
5. 처우 협의
6. 최종 합격