[구인직무]

• 데이터 파이프라인 및 워크플로우 자동화 시스템 개발

• 대용량 데이터 처리 및 ETL(Extract, Transform, Load) 파이프라인 구축

• 데이터 품질 및 무결성 검증을 위한 로깅 및 모니터링 시스템 설계

• AI/머신러닝 모델 학습을 위한 데이터 전처리 및 배치 처리 환경 최적화

[담당업무]

• Python 기반 데이터 파이프라인 설계 및 구축
• Apache Airflow, Prefect 등의 워크플로우 자동화 도구 활용
• 데이터 수집, 정제 및 전처리 파이프라인 개발
• API 및 데이터베이스 연동을 통한 데이터 파이프라인 구축
• 클라우드 환경(GCP, AWS, Azure)에서 대규모 데이터 파이프라인 배포 및 운영
• 데이터 처리 성능 최적화 및 스케일링 전략 수립

[근무부서 및 직급/직책]

근무부서: 개발팀

[자격요건]

경력: 경력무관(신입포함)
학력: 학력무관
직무기술: ETL, 데이터마이닝, 빅데이터수집, 데이터베이스관리, 데이터 분석

[우대사항]

우대사항: 해외여행에 결격사유가 없는자, 석박사

• 대규모 트래픽 데이터 처리 경험

• DevOps 및 CI/CD 환경에서의 데이터 파이프라인 운영 경험

• 데이터 스트리밍 기술 활용 경험 (예: Kafka, Flink, Pulsar 등)

• 데이터 품질 관리 및 모니터링 시스템 구축 경험

• AI/ML 모델 학습을 위한 데이터 처리 및 최적화 경험

[요구 역량 (각각 개별)]

• Python 및 SQL을 활용한 데이터 처리 경험

• ETL 및 데이터 파이프라인 구축 경험 (예: Apache Airflow, Luigi, Prefect 등)

• 대규모 데이터 처리 및 최적화 경험 (예: Spark, Dask, Pandas 등)

• RESTful API 및 데이터베이스(MySQL, PostgreSQL, NoSQL) 활용 경험

• 클라우드 환경(GCP, AWS, Azure)에서의 데이터 파이프라인 구축 경험 우대

• 버전 관리 및 협업 도구(Git, Jira) 사용 경험

• 문제 해결 능력 및 새로운 기술 학습에 대한 적극적인 자세

• 새로운 분야에 대한 호기심과 도전 정신이 중요하며, 신입 지원자의 경우 기술 스택보다는 성장 가능성과 열정을 중점적으로 평가합니다.