LLM Research Engineer (신입/경력)

◆ 직원 유형

정규직

◆ 영입인원

0 명

◆ 조직소개

우리 조직은 카카오의 자체 언어모델인 Kanana 시리즈를 연구 및 개발합니다. 특히 언어모델을 개발함에 있어서, pre-training 단계에서 데이터의 처리부터 모델 구조 선정 및 학습까지 전과정을 주도적으로 개발하고 있습니다. 국내에서 몇 안되는 언어모델을 자체개발하는 경험을 하고싶은 다양한 연구 경험과 리더십 역량을 보유한 우수한 인재들의 지원을 기다립니다.

✳︎ 참고) 연구 결과

• Kanana LLM 1.5 개발기 (link)
• Kanana: Compute-efficient Bilingual Language Models (link)
• 작지만 강한 Kanana Nano 효율적으로 개발하기 (link)
• 밑바닥부터 Kanana LLM 개발하기: Pre-training (link)

◆ 업무내용

• 추론 및 학습 효율을 높이기 위한 Large Language Model(LLM) 구조 탐색 및 최적화 (Mixture of Experts, Multi-head latent attention 등)
• 비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (Pruning & Distillation, Hyperparameter transfer, Scaling law 등)
• 비용 효율화를 위한 학습 및 데이터 최적화 연구 (fp-8 training, dataset mixture search 등)
• LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착 기술 연구 및 개발 (Synthetic dataset generation, RegMix 등)

◆ 지원자격

• CS∙AI∙ML 등 관련 전공 석사 이상 또는 이에 준하는 프로젝트 경험이 있는 분
• Python 및 딥러닝 프레임워크를 능숙하게 활용할 수 있는 개발 역량을 가진 분
• 연구 및 개발에 대한 지속적인 관심이 있으며, 새로운 기술과 업무에 도전하는 자세를 가진 분

◆ 우대사항

• LLM 관련 CUDA kernel 개발 경험이 있는 분
• 대규모 GPU/TPU 클러스터 환경에서 초거대 모델 학습 최적화 경험이 있는 분
• Model parallel 관련 기술(Data/Model/Pipeline/Context/Expert Parallel 등) 연구 및 개발 경험이 있는 분
• 사전학습을 위한 페타바이트 수준의 텍스트 데이터 수집 및 분산 처리 경험이 있는 분
• LLM 학습 데이터의 품질 향상과 평가를 위한 연구 및 개발 경험이 있는 분
• CVPR, NeurIPS, ICLR, ICCV, ICML 등 AI 분야 최상위 학회 논문 발표 또는 공동 연구 경험이 있는 분
• ACM ICPC 등 주요 프로그래밍 대회 수상 경력 또는 이에 준하는 알고리즘 문제 해결 역량을 보유한 분

◆ 지원프로세스

서류전형(CV 또는 프로젝트 경력 pdf파일 또는 url 첨부 필수) > 코딩테스트 > 사전인터뷰 > 1차 인터뷰 > 2차 인터뷰 > 처우 협의 > 최종 합격 및 입사

※ 영입 진행 상황에 따라 전형이 추가/변경될 수 있습니다.

◆ 근로제도

• 완전선택근무제

해당 포지션은 월 총 근무시간 범위 내에서 크루 스스로 하루의 업무 시작 및 종료 시간을 설정하여 자율적으로 몰입하여 근무할 수 있는 <완전선택근무제>를 적용받습니다.

• 월 1일 리커버리데이

매월 마지막 주 금요일은 크루의 휴식과 충전을 위한 <리커버리데이>로 운영됩니다.

• 주 1일 원격근무

업무와 협업의 효율성을 우선으로 하여, 리커버리데이가 없는 주에는 <주 1일 원격근무>가 가능합니다.