데이터 엔지니어

[미리디] 데이터 엔지니어

[모집기간]

07월 02일 ~ 08월 31일

[담당업무]

데이터 수집 파이프라인

-실시간(Kafka/Debezium) 및 배치(Airflow) 기반 데이터 파이프라인을 구축하여 사내 여러 서비스의 데이터를 안정적으로 수집하고 중앙화하여 모든 데이터 기반의 분석과 의사결정의 출발점을 책임집니다.

데이터 레이크하우스 설계·운영

-Databricks Delta Lake 위에 Bronze/Silver/Gold 구조를 설계하고, 사내 팀들이 믿고 쓸 수 있는 데이터 모델을 만듭니다.

Kubernetes 기반 데이터 플랫폼 운영

-EKS 기반으로 Airflow 배치 워크로드 및 다양한 사내 데이터 활용 오픈소스 솔루션을 구축 운영합니다.

데이터 품질 체계

-정합성·freshness·schema drift를 지표화하고 모니터링해, 데이터를 쓰는 사람이 품질을 의심하지 않아도 되는 환경을 만듭니다.

데이터 거버넌스

-Unity Catalog 기반 접근 제어와 PII 마스킹, 메타데이터·lineage 관리를 직접 설계·운영하며, 안전하고 추적 가능한 상태를 유지합니다.

Agent 기반 셀프서비스 데이터 환경

-사내 여러 팀이 데이터를 쉽게 활용할 수 있도록 데이터 제공·셀프서비스 환경을 개발하고, 파이프라인 운영·품질 검증을 자동화하는 Agent 등 내부 도구·플랫폼을 직접 개발합니다.

전사 AX 데이터 지원

-AI Agent의 데이터 활용을 지원하는 DW 환경을 구축하고 전사 AX를 위한 데이터 활용을 지원합니다.

[자격요건]

-데이터 엔지니어링 또는 관련 분야에서 3년 이상의 유관 경력 혹은 이에 준하는 역량을 갖추신 분

-Python, SQL로 데이터를 능숙하게 처리하고, 운영 가능한 수준의 코드를 작성하실 수 있으신 분

-Spark 등 분산 처리 프레임워크와 DBMS·데이터 스토리지에 대한 이해가 있으신 분

-AWS 클라우드 환경에서 데이터 인프라를 구축·운영해본 경험이 있으신 분

-Kubernetes 기반 데이터 파이프라인 구축 및 운영 경험이 있으신 분

-데이터 웨어하우스/레이크하우스 모델링(스키마 설계, 차원/팩트, 적재 전략 등)에 대한 이해가 있으신 분

-AI 도구를 적극 활용하여, 에이전트를 활용한 데이터플랫폼 운영·자동화 및 업무 생산성을 높인 경험이 있으신 분

[우대사항]

-원활한 커뮤니케이션을 바탕으로 팀과 함께 적극적으로 소통하며 어려운 문제들을 함께 풀어가시는 분

-Databricks · Delta Lake 및 Open Table Format 환경에서 데이터 레이크하우스를 설계·운영해 본 경험이 있으신 분

-데이터 거버넌스(접근 제어, PII 처리, 메타데이터·lineage)를 깊이 고민하고 운영해 본 경험이 있으신 분

-DW/OLAP 엔진(ClickHouse, StarRocks 등) 또는 분석 서빙 레이어 구축하거나 운영해 본 경험이 있으신 분

-다양한 요구사항에 맞게 데이터를 제공하기 위한 데이터 제공 플랫폼과 서비스를 구현해본 백엔드 개발 경험이 있으신 분

-새로운 기술 스택에 대해 빠르게 학습하고, 문제에 맞는 방법을 찾아 적용하시는 분

[채용공고]