Data Engineer Junior

[메가존클라우드] Data Engineer Junior

[이런 일을 해요!]

- 금융, 제조, 리테일/CPG, 헬스케어 등 산업별 비즈니스 데이터 구조와 흐름을 이해하고 각 도메인에 맞는 데이터 수집, 가공, 적재 프로세스를 설계하고 구현해요.

- 데이터 소스(RDB, API, 로그, 배치/스트리밍 등)로부터 정형, 비정형 데이터를 수집하고, ETL/ELT 파이프라인을 통해 데이터 플랫폼 (데이터레이크, 레이크 하우스) 및 AI 모델 학습에 최적화된 형태로 정제해요.

- Databricks, Snowflake, AWS Glue, Airflow 등 클라우드 데이터 플랫폼을 활용하여 데이터 파이프라인을 개발, 테스트, 운영하고 성능과 안정성을 지속적으로 개선해요.

- AI/ML 및 GenAI 활용을 위한 데이터 파운데이션(Feature Store, Vector Store, Metadata 등)을 구축하고 LLM, RAG, Agent 기반 서비스의 데이터 요구사항을 충족하기 위한 구조를 설계해요.

- 데이터 품질 관리 및 모니터링 체계를 마련하여 결측/중복/불일치 데이터를 식별,정제하고 데이터 거버넌스 정책(보안, 권한, 컴플라이언스)에 따라 안전하게 운영해요.

- PoC에서 Production 환경으로 이관되는 데이터 파이프라인을 자동화,표준화하여 재사용 가능한 템플릿 및 모듈을 구축해요.

- 시니어 엔지니어, AI 아키텍트 등과 협업하여 최적의 스토리지, 컴퓨팅, 코스트 아키텍처를 제안하고 최신 클라우드 및 오픈소스 기술을 학습하고 적용해요.

[이런 분과 함께하고 싶어요!]

- 클라우드 환경(AWS, Azure, GCP 등)에서 데이터 수집, 정제, 적재를 수행한 실무 경험이 있거나 데이터 파이프라인 구축 과정에 대한 이해를 보유하신 분이어야 해요.

- SQL, Python, 또는 Spark 등 데이터 처리 기술을 활용한 프로젝트 경험이 있으신 분이어야 해요.

- 데이터 모델링(Dimensional, ERD 등) 또는 데이터 구조 설계에 대한 기본 개념을 이해하고 이를 학습,적용할 수 있는 분이어야 해요.

- 금융, 제조, 리테일/CPG, 헬스케어 등 특정 산업의 데이터 특성과 도메인 구조에 관심이 있고 비즈니스 문맥을 데이터 구조로 해석할 수 있는 역량을 갖춘 분이어야 해요.

- 팀 내에서 원활히 커뮤니케이션하며 기술적인 문제를 논리적으로 설명하고 협업할 수 있는 분이어야 해요.

- 새로운 데이터 플랫폼 기술(Databricks, Snowflake, Airflow, Glue 등)에 대해 적극적으로 학습하고 현업에 적용해보고자 하는 성장 의지를 가진 분이어야 해요.

[이런 경험이 있으면 더! 좋아요]

- GenAI, LLM, RAG 등 최신 AI 기술과 데이터 파이프라인의 연계 구조를 이해하거나 관련 프로젝트에 참여한 경험이 있으신 분이면 더 좋아요.

- MLOps, LLMOps, 또는 데이터 파이프라인 자동화, 모니터링 환경에 대한 관심이나 실습 경험이 있으신 분이면 더 좋아요.

- Databricks, Snowflake, AWS Glue, Redshift, Airflow 등 클라우드 기반 데이터 플랫폼을 활용해본 경험이 있으신 분이면 더 좋아요.

- 데이터 거버넌스, 보안, 개인정보 보호, 산업 규제 등 데이터 컴플라이언스 관련 개념에 대한 이해도가 있으신 분이면 더 좋아요.

- 산업별 비즈니스 문제를 데이터로 해결하거나, AI Use Case 발굴에 기여한 경험이 있으신 분이면 더 좋아요.

- 기술 문서 작성 또는 영어 기반 기술 자료 활용이 가능한 분이면 더 좋아요.