[에스투더블유(S2W)] Data Engineer (비웹수집 파이프라인/Data 팀) | 오퍼센트
에스투더블유(S2W)
Data Engineer (비웹수집 파이프라인/Data 팀)
1. 부서 소개
합류하실 팀과 함께 일하실 동료들을 소개합니다.
S2W의 Data 팀은 서피스 웹, 딥 웹, 다크 웹, SNS 및 자산 스캔 결과를 수집하여 데이터 레이크에 저장하고, 이를 처리하는 고도화된 데이터 분석기를 개발 및 운영하는 조직입니다. 웹 파트, 비웹 파트, 시스템 운영 및 자동화 파트로 구성되어 있으며, 2~13년 이상의 경력을 가진 열정적인 개발자들이 협업하고 있습니다.
팀은 지난 5년 간 데이터 수집, 분석, 파이프라인을 고도화 해왔으며, 수집된 데이터는 양적·질적으로 업계 최고 수준입니다. 또한 운영 효율성을 극대화하기 위해 자동화 및 프레임워크화를 지속적으로 추진하고 있습니다.
웹 파트는 대규모 데이터를 안정적이고 빠르게 탐색 및 저장할 수 있는 수집기를 개발·운영하며, 봇 탐지 및 차단 우회 기술을 연구하고 적용합니다. 또한, 수집된 데이터의 품질을 보장하기 위한 QA 시스템과 의미 있는 데이터를 추출하는 분석기를 개발·운영합니다.
비웹 파트는 SNS, 파일 형태의 데이터, 고객사 자산 분석 결과 등을 수집하며, 이를 기반으로 인사이트를 도출하는 분석기를 개발·운영합니다. 필요 시 사내·외 데이터 제공 요청을 자동화하는 파이프라인 연구도 수행합니다.
시스템 운영 및 자동화 파트는 팀 내 쿠버네티스 환경, CI/CD, 제품 파이프라인 관리·자동화를 담당하며, 효율적인 시스템 운영을 위한 연구를 진행합니다.
2. 주요 업무
합류하시면 이런 일들을 함께 하시게 됩니다.
민감성 유출 정보 제품화 파이프라인 개발
민감성 유출 정보 수집기 개발
민감성 유출 정보 정형화 시스템 개발
데이터 제공 API 개발 및 제품 데이터 모니터링
3. 필수 역량
이런 경험과 역량을 갖고 계신 분을 모시고 있습니다.
Java, Python 프로그래밍 스킬
빅데이터 시스템을 이용한 데이터 분석 경험
빅데이터 프로파일링 경험
데이터 파이프라인에 대한 이해
DBMS(RDB 또는 NoSQL)활용 개발 경험
다양한 종류의 파일 처리 경험
4. 우대 사항
이런 것도 있으시면 금상첨화 입니다!
컴퓨터공학 전공 또는 이에 준하는 지식 보유
Linux, Unix 기반 상용 시스템 개발 및 운영 경험
메시지 큐(Kafka, RabbitMQ) 및 분산 시스템 개발 경험
컨테이너 기반 가상화 개발 경험(Docker, Kubernetes)
오픈소스를 이용한 서비스 개발/운영 경험
신규 기술에 대한 관심과 흥미가 있으신 분
데이터 파이프라인 설계 및 구축에 대한 깊은 이해
데이터베이스를 활용한 애플리케이션 앱 데이터 설계 경험
비정형 데이터(텍스트, 로그, 이미지 등)를 정형 데이터로 변환 및 최적화한 경험
데이터 모델링 및 스키마 설계 경험
데이터 파이프라인 성능 최적화 및 운영 자동화 경험
MinIO 및 분산 저장 시스템 활용 경험
5. 현직자의 한마디
저희 팀과 함께 하시면 이런 점들이 좋습니다!
회사는 판교역과 매우 가까운 위치에 있으며, 최고 사양의 장비를 제공 받아 장소와 시간에 구애 받지 않는 유연한 근무 환경에서 몰입하여 일 할 수 있습니다.
사내 개발직 구성원 분들은 새로운 기술 스택에 대한 관심이 높으며, 연구 결과를 공유하는 자리를 종종 마련하고 있습니다. 따라서, 이곳에서 근무하시면 최신 기술을 접하고 실무에 적용할 기회가 많습니다.
저희 팀은 다양한 소스로부터 대량의 데이터를 수집하고 가공하는 파이프라인 업무를 주로 하는 팀이며, 지원자께서는 그중 민감성 유출 데이터 수집 및 분석 업무를 주로 수행하게 될 것입니다.