ML Engineer (Platform)

담당업무

• Gateway 시스템 개발 및 고도화
• 전사 LLM API 요청 처리 Gateway 구성
• FastAPI 기반 Gateway 애플리케이션 설계·구현
• 인증·라우팅·트래픽 제어·장애 격리(Circuit Breaker, Fallback)·대규모 TPS 처리·부하 분산 설계·운영
• ML서비스 운영 및 서빙: Kubernetes에서 모델 서빙 운영
• LLM 서빙 아키텍처 설계·개선
• 서비스 지연시간(latency)·에러율·리소스 모니터링 및 이슈 분석·해결
• 근본 원인 규명 및 구조적 개선
• 전사 공통 ML 플랫폼 Kubeflow 기반 개발·운영
• 워크로드 성능 모니터링·최적화
• LLM 인프라 환경 구축: vLLM, SGLang, Triton 활용
• 고성능 GPU 클러스터(H100,B300 등) 관리
• 데이터 학습 환경 구축·운영

자격요건

• Python, Go, Java, Kotlin 중 하나 이상 숙련
• 프로덕션 API 서버 설계·개발 경험
• API Gateway(Nginx, Kong 등) 또는 LLM Router 개발·운영 경험
• 대용량 트래픽 처리 및 장애 대응 경험
• Kafka, Elasticsearch, Kibana 연동 경험
• Prometheus, Grafana 활용 모델 서빙 모니터링 경험
• KServe, BentoML, vLLM, SGLang 활용 경험
• Kubernetes 환경에서 MLOps 컴포넌트 운영 경험(Kubeflow, KServe, Airflow, Argo CD, MLflow)
• 운영 이슈에 대한 근본 원인 분석 및 개선 경험

우대사항

• MSA 환경에서 REST/gRPC 서비스 간 통신 경험(우대)
• 분산 시스템 설계로 대규모 트래픽 운영 경험(우대)
• Azure AI Foundry/Azure AI Studio, AWS Bedrock/SageMaker 등 Public Cloud MLOps/LMMOps 운영 경험(우대)
• vLLM, SGLang 활용으로 서빙 병목 분석 및 최적화 경험(또는 관련 오픈소스 기여)
• disaggregated serving, prefix-aware routing, context caching 설계·최적화 경험(우대)
• Kubernetes Operator/ Scheduler 확장 컴포넌트 설계·개발 경험(우대)
• 데이터 전처리부터 학습·배포·품질 관리·재학습까지 ML 파이프라인 운영 경험(우대)
• 임팩트 있는 업무/프로젝트 구체화 및 문제 해결 방법론 기술

전형절차

1. 서류전형
2. 프리테스트
3. 직무 인터뷰
4. 문화적합성 인터뷰
5. 레퍼런스 체크
6. 처우협의
7. 최종합격 및 입사

근무환경

• 플랫폼: Kubernetes 기반 ML 인프라
• 도구: Kubeflow, Argo CD, Argo Workflows, Airflow
• 서빙: vLLM, SGLang, KServe, BentoML
• 모니터링·로깅: Prometheus, Grafana, Kafka, Elasticsearch, Kibana
• GPU 인프라: H100/A100/B300 등 GPU 클러스터
• 데이터/클라우드: 온프렘 GPU 클러스터 운영 및 공용 클라우드 연계 가능성

마감기한

상시채용