Data Engineer Part Lead

[미리디] Data Engineer Part Lead

[모집기간]

08월 12일 ~ 10월 09일

[담당업무]

-파트의 기술 방향과 로드맵을 정의하고, 채용·성장 지원·성과 관리를 통해 파트원의 역량과 파트의 실행력을 함께 키웁니다. 기술 의사결정의 기준을 세우고 코드 리뷰와 아키텍처 리뷰를 통해 파트의 기술 수준을 끌어올립니다.

-grain, fact/dimension, conformed dimension, SCD 등 모델링 표준을 수립하고, 이를 기준으로 Silver·Gold 마트를 재설계합니다. Databricks Asset Bundle 기반의 변환·테스트·CI/CD 개발 체계를 구축하여 마트 개발과 배포를 자동화합니다.

-소스↔Bronze 정합성, freshness, schema drift 등 파이프라인 전 구간의 품질을 지표로 정의하고 상시 모니터링하여, 데이터 문제를 소비 단계 이전에 탐지합니다. Unity Catalog 기반의 메타데이터 관리와 배포 시점 자동 검증 체계를 만들어 데이터 거버넌스를 운영합니다.

-미리디의 다양한 포맷의 원천 데이터를 수집하는 확장성 있는 배치·실시간 파이프라인을 구축하고, Server-side GTM 등을 통해 수집 데이터의 완결성을 확보합니다. 마트 데이터를 사내 서비스와 AI Agent가 가볍고 빠르게 조회할 수 있는 OLAP 서빙 환경을 설계하고 구축합니다.

-온콜·에드혹 요청을 스스로 해석해 파이프라인을 수정하고 PR을 생성하는 데이터 엔지니어링 Agent를 구축·운영합니다. Agent가 참조할 표준·메타데이터·컨벤션을 컨텍스트로 정비하고, PR 리뷰 기반의 Human-in-the-loop 승인 체계로 안전성을 확보하며 적용 범위를 단계적으로 넓혀갑니다.

-데이터 파이프라인과 인프라의 비용을 워크로드·서비스 단위로 추적할 수 있는 가시성 체계를 구축합니다. 이를 근거로 컴퓨트 리소스와 스토리지, 배치 작업의 비효율을 찾아내고, 쿼리·파이프라인 최적화와 아키텍처 개선을 통해 데이터 플랫폼의 비용 효율을 지속적으로 높여갑니다.

[자격요건]

-6년 이상의 유관 경력과 함께, 파트/팀 리드 또는 테크 리드로서 기술 방향을 정의하고 구성원의 성장을 이끌어 본 경험이 있으신 분

-자료구조, 알고리즘, OS, 네트워크, 데이터베이스에 대한 충분한 CS 지식과 다양한 데이터 스토리지(Hadoop, RDBMS 등)에 대한 이해를 갖고 계신 분

-데이터 수집, 변환, 저장을 위한 데이터 파이프라인을 직접 개발하고 운영한 경험을 갖고 계신 분

-차원 모델링에 대한 이해를 바탕으로 데이터 웨어하우스/마트를 설계하고, 조직에 적용할 모델링 표준을 정의해 보신 경험이 있으신 분

-Python, SQL 및 Java/Kotlin/Scala 등 JVM 기반 개발 언어 활용이 가능하신 분

-AWS 클라우드 환경 내의 데이터 인프라 구축과 운영을 위한 기본적인 지식과 이해를 갖고 계신 분

-데이터 사용자 및 유관 조직과 적극적으로 소통하며, 기술적 판단의 근거를 설득력 있게 전달할 수 있는 분

[우대사항]

-Databricks 기반 데이터 플랫폼을 직접 운영하고, Unity Catalog 등으로 데이터 거버넌스를 구성해 본 경험이 있으신 분

-표준화되고 검증 가능한 데이터 변환 환경을 구축하고, 테스트 및 CI/CD를 포함한 개발 체계를 만들어 운영해 보신 분

-Delta Lake, Iceberg 와 같은 Open Table Format 기술 또는 카프카 기반 실시간 스트리밍 개발 및 운영 경험이 있으신 분

-데이터 품질 검증 도구·프레임워크를 도입하여 정합성·freshness·schema drift 등을 지표화하고 모니터링해 보신 경험이 있으신 분

-ClickHouse, StarRocks 등 오픈소스 기반 OLAP 엔진 기반의 서빙 환경이나 Kubernetes 클러스터 기반 데이터 인프라를 운영해 보신 경험이 있으신 분

-LLM/AI Agent를 활용해 개발 및 운영 업무를 자동화하고, 실제 워크플로우에 적용해 보신 경험이 있으신 분

[채용공고]