[강남언니] AI Research Engineer 인턴 - Agent Evaluation (체험형)

함께할 스쿼드를 ​소개해요

• AI ​Product ​팀은 AI ​기술을 활용해 실제 유저들이 ​사용하는 ​제품 기능을 ​만들고 발전시키는 팀이에요.
• PO, ​AI Research ​Engineer, ​Full-stack Engineer가 ​함께 ​일하며, ​AI 기술을 실제 ​제품에 ​적용하고 유저에게 새로운 ​가치를 ​전달하는 ​데 집중해요.
• 단순히 AI ​기술을 연구하거나 ​실험하는 ​것을 넘어, ​아이디어를 실제 ​서비스 ​기능으로 구현하고 유저가 ​경험할 수 ​있도록 제품화해요.
• 빠르게 발전하는 AI 기술을 적극적으로 탐색하고, 이를 제품에 적용할 수 있는 방법을 고민하며 새로운 유저 경험을 만들어가고 있어요.

앞으로 이런 일들을 하게 될 거예요

• 팀과 함께 언니 AI의 정확성, 안전성, 근거의 적절성, 사용자 맥락 반영 등 평가 기준을 구체화해요.
• 언니 AI의 실제 사용자 질문과 실패 사례를 바탕으로 평가 데이터셋을 만들고 관리해요.
• 언니 AI 에이전트의 답변과 실행 기록(trace)을 분석해 검색, 도구 호출, 맥락 활용 등에서 발생하는 실패 유형을 분류해요.
• Python으로 평가 실행과 결과 분석을 자동화하고, 변경 전후의 성능을 비교해요.
• LLM-as-a-judge의 평가를 사람의 판단과 비교하고, 불일치 원인과 편향을 분석해 평가 방식을 개선해요.
• 평가 결과와 대표 실패 사례를 정리해 개선 우선순위를 제안하고, 오프라인 평가와 실제 유저 행동 지표의 관계를 검증해요.

이런 분을 모시고 싶어요

• 컴퓨터공학, 인공지능, 통계 등 관련 분야를 공부했거나 이에 준하는 학습·프로젝트 경험이 있는 분
• 모호한 AI 품질 문제를 구체적인 평가 기준으로 바꾸고, 판단이 어려운 사례를 팀과 논의할 수 있는 분
• 집계 지표뿐 아니라 원본 대화와 개별 결과를 꼼꼼히 살펴보는 분
• LLM의 기본적인 동작과 한계를 이해하고, 답변의 오류를 근거와 함께 설명할 수 있는 분
• Python으로 데이터를 가공하고 API를 활용한 실험·평가 코드를 작성할 수 있는 분

이런 점이 있다면 더욱 좋아요

• ACL, EMNLP, NeurIPS 등 주요 학회에 벤치마크·평가 관련 논문을 저자로 게재하신 분
• 벤치마크 또는 평가 데이터셋을 직접 구성해 본 경험이 있는 분
• LLM-as-a-judge를 사람의 평가와 비교하거나 평가 오류를 분석해 본 경험이 있는 분
• AI 라벨링 가이드를 만들거나 여러 평가자 간 판단 차이를 분석해 보신 분
• 미용의료·헬스케어 서비스에 대한 관심이 있거나 관련 분야에 대한 이해가 있는 분

이런 경험과 성장을 할 수 있어요

• 실제 유저가 사용하는 AI 에이전트의 평가 체계를 초기부터 함께 만들 수 있어요.
• 평가 기준 수립부터 데이터셋 구축, 자동 평가, 실패 분석, 개선 후 재평가까지 경험할 수 있어요.
• 답변의 품질과 에이전트 실행 과정의 문제를 연결해 분석하는 역량을 키울 수 있어요.
• 평가 결과가 제품의 개선 방향과 우선순위 결정에 어떻게 쓰이는지 경험할 수 있어요.
• AI 리서치 엔지니어·풀스택 엔지니어와 협업하며 평가 코드를 실제 개발 과정에 연결할 수 있어요.

이런 과정으로 합류해요

• 서류 지원 > 1차 인터뷰(오프라인) > 2차 인터뷰(오프라인) > 최종합격

참고해 주세요

• 체험형 인턴으로 근무 기간은 6개월이에요.

힐링페이퍼 서포팅 패키지

• 최신 고사양 업무 장비 지원
• 동료들과의 점심/저녁 식사비용 지원
• 커피 타임 지원
• 사내 길드(동호회) 활동 지원