[에스투더블유(S2W)] Data Engineer (Knowledge Engineering 팀) | 오퍼센트
에스투더블유(S2W)
Data Engineer (Knowledge Engineering 팀)
1. 부서 소개
합류하실 팀과 함께 일하실 동료들을 소개합니다.
Knowledge Engineering 팀은 기술 혁신 센터 산하 조직으로 사내 핵심 기술에 관한 연구, 적용, 나아가 초기 제품 프로토타이핑을 수행하고 있습니다.
사내 컴퓨팅 시스템에 대한 최적화와 근본적인 개선을 위한 다양한 업무를 수행하고 있습니다.
팀 구성원은 열정이 넘치는 주니어부터 각종 프로젝트를 주도적으로 수행하는 시니어 멤버까지 다양하게 구성되어 있습니다. 컴퓨터공학 분야에서 석/박사 학위를 받은 구성원도 있어 개발과 연구 모두 가능한 멤버 구성입니다. 각 구성원은 데이터베이스, ETL 파이프라인, 소프트웨어 설계, 백엔드, 프론트, devOps 등 다양한 파트의 업무를 수행할 수 있는 역량을 갖추고 있습니다.
우리 팀은 사내 핵심 기술에 관한 연구와 실제 적용에 대한 업무를 수행하기 때문에, 제품 개발 조직, 센터 내 AI팀 등 다양한 팀과 협업하여 업무를 수행하고 있습니다.
현재 팀의 기술적인 목표는 각종 AI 서비스들 (LLM, embedding, etc)이 적용된 대규모 지식 분석 플랫폼을 구축하기 위한 시스템 설계입니다. 대규모 데이터를 저장하고 관리하며, 데이터 전/후처리를 위한 파이프라인, 데이터로부터 인사이트를 얻을 수 있게 도와주는 백엔드/프론트까지 다룹니다.
2. 주요 업무
합류하시면 이런 일들을 함께 하시게 됩니다.
데이터 파이프라인의 전반적인 구조와 코어 서비스에 대한 개발 업무를 수행합니다.
ETL 파이프라인 (데이터 수집, 추출, 정제 및 제품 데이터 빌드)을 효율적으로 구성하기 위한 데이터 인프라 시스템을 구축합니다.
대규모 데이터를 안정적으로 처리할 수 있는 데이터 인프라 시스템을 구성합니다.
고성능 데이터 처리 및 실시간 데이터 스트리밍 처리 환경을 구현합니다.
DevOps / MLOps를 적용합니다.
데이터 분석 플랫폼의 설계와 통합 지식 플랫폼을 설계하고 개발합니다.
지식 분석 플랫폼: 이기종 데이터 간의 연관성을 파악할 수 있도록 데이터의 연관관계와 숨은 의미를 찾아냅니다. (c.f., Knowledge Base, AI models [LLM, DL])
3. 필수 역량
이런 경험과 역량을 갖고 계신 분을 모시고 있습니다.
컴퓨터공학 전공 또는 관련 학과 전공한 분 (전공지식 필수)
3년 이상의 Python 또는 Java 개발 경험 (한 개 이상 원활한 프로그래밍 가능)
리눅스 환경에서 개발/운영에 대해 익숙하신 분
Docker, Kubernetes 등 컨테이너 및 배포 자동화 도구에 대한 실무 경험이 있으신 분
다양한 형태의 데이터를 정제하고 통합하여 분석 가능한 구조로 가공한 경험이 있으신 분
4. 우대 사항
이런 것도 있으시면 금상첨화 입니다!
새로운 기술을 빠르게 학습하고 적용해본 경험
복잡한 문제를 논리적으로 해석하고 해결하는 데에 강점을 가진 분
팀과의 원활한 커뮤니케이션 및 피드백을 수용하고 반영할 수 있는 태도를 가진 분
데이터 파이프라인 기술 스택 사용 경험
5. 현직자의 한마디
저희 팀과 함께 하시면 이런 점들이 좋습니다!
우리 팀은 문제 해결을 위해 다방면으로 고민하고, 공부하고, 적용하고 있습니다. 새로운 유형의 일과 풀기 어려운 문제가 많지만, 문제를 해결하는 과정에서 다양한 경험을 하고 있습니다. 또한, 팀원들 간의 커뮤니케이션이 활발하며 서로에 대한 존중과 업무 지원이 잘 되어 즐겁고 재미있게 일할 수 있습니다.
빠르게 발전하는 컴퓨터 분야에선 모르는 파트가 존재하기 마련입니다. 우리 팀은 아는 것과 모르는 것에 대해 가감 없이 공유하고, 서로의 역량을 채워주기 위한 협업을 하고 있습니다.
우리 팀의 킥 오프 세션에서 공유한 NABC가 인상적이었습니다. 목적을 분명하게 설정하고, 우리가 나아가고자 하는 방향이 경쟁력이 있는지 검토하는 문화가 좋습니다. 이런 논의에 수평적인 소통 방식이 좋습니다.