Senior AI Data Pipeline Engineer

담당업무

• 조직 내 다양한 AI 및 머신러닝 이니셔티브 지원을 위한 고성능 확장형 데이터 파이프라인 설계 및 구축
• 글로벌 데이터 가용성 및 원활한 동기화 보장을 위한 멀티 리전 데이터 인프라 설계 및 구현
• 다수의 동시 AI 프로젝트 지원을 위한 복잡한 브랜칭 및 로직 격리가 가능한 유연한 파이프라인 아키텍처 개발
• Databricks 및 Spark를 활용한 대규모 데이터 처리 워크로드 최적화로 처리량 극대화 및 비용 최소화
• Kubernetes 기반 컨테이너화된 데이터 환경 유지 관리 및 발전
• AI 연구원 및 플랫폼 팀과 협업하여 학습 및 평가 파이프라인으로의 고품질 데이터 흐름 효율화

자격요건

• 대규모 AI/ML 데이터셋을 위한 프로덕션급 데이터 파이프라인 구축 및 운영 경험
• Apache Spark 및 Databricks 에코시스템 등 분산 처리 프레임워크 숙련도
• 복잡한 의존성 그래프 관리를 위한 Apache Airflow 등 워크플로우 오케스트레이션 도구 활용 경험
• 데이터 처리 컴포넌트 배포 및 확장을 위한 Kubernetes 및 컨테이너화 기술 이해
• 고처리량 데이터 수집 및 이벤트 기반 아키텍처를 위한 Apache Kafka 등 분산 메시징 시스템 숙련도
• 시스템 수준 최적화를 위한 전문가 수준의 Python 프로그래밍 기술
• 보안 및 확장 가능한 데이터 인프라 구축을 위한 클라우드 네이티브 서비스 및 베스트 프랙티스 지식
• 복잡한 대규모 시스템의 근본 원인을 파악하고 해결하는 논리적 문제 해결 능력
• 교차 기능 팀 및 외부 파트너와 효과적으로 협업할 수 있는 커뮤니케이션 능력

우대사항

• 글로벌 멀티 리전 데이터 파이프라인 설계 및 국가 간 데이터 전송/지연 시간 문제 해결 경험
• AI 워크로드를 위한 Ray 등 분산 컴퓨팅 프레임워크 구현 경험 또는 관심
• Spark Streaming 또는 Flink를 이용한 실시간/준실시간 파이프라인 구축 경험
• Terraform 등 IaC 도구를 활용한 복잡한 데이터 환경 관리 경험
• 데이터 인프라가 모델 실험 및 배포를 지원하는 방식 등 엔드 투 엔드 ML 라이프사이클(MLOps)에 대한 이해

전형절차

1. 서류 전형
2. 온라인 코딩 테스트
3. 화상 면접 (1시간 내외)
4. 대면 면접 (3시간 내외)
5. 최종 합격

기타사항

• 전형 절차는 직무별로 다르게 운영될 수 있으며 일정 및 상황에 따라 변동 가능
• 전형 일정 및 결과는 지원서에 등록한 이메일로 개별 안내
• 인터뷰 프로세스 종료 후 지원자 동의하에 평판 조회 진행 가능
• 국가 보훈 대상자 및 취업 보호 대상자는 관계 법령에 따라 우대
• 장애인 고용 촉진 및 직업 재활법에 따라 장애인 등록증 소지자 우대

마감기한

채용시 마감