Large Language Model Research Scientist Internship

[LG경영개발원] Large Language Model Research Scientist Internship

[수행 업무] 

- 초거대 언어 모델 관련 연구/개발 및 실험 

- 학습 데이터 수집 및 전처리 파이프라인 구축

- In-context learning 및 fine-tuning 벤치마크 성능 측정

- In-context learning을 위한 prompt engineering 

- Inference 엔진 최적화

- Multi-tasking instruction tuning 및 성능 향상 기법 연구/개발

- 언어 모델 강화학습 성능 향상 방법론 연구 및 분산 학습 개발

- 초거대 모델 경량화 (model compression) 방법론 연구/개발 

[지원자격]

- 학부 졸업 예정자 및 기 졸업하신 분, 석사/박사 재학중이신 분

- Deep learning, machine learning 알고리즘 개발 경험 필수

- Linux, Python, PyTorch, HuggingFace 언어 모델(BERT, T5, GPT 등) 활용 능력 필수 

[우대사항]

- 언어 모델 사전 학습 개발 경험 우대

- DeepSpeed, FastTransformer 개발 경험 우대

- Leaderboard 상위권 달성, competition 입상, 오픈소스 활용 우대

- ML production cycle (데이터 수집, 모델 개발, 모델 테스트, 서빙) 경험 우대

- 대용량 데이터 처리 framework (Apache Beam, Amazon EMR, GCP Dataproc 등) 개발 경험 우대 

- 언어 모델 관련 논문 게재 경험 우대