Middle Data Engineer (Communication Management Solution)
Sigma Software is looking for a Middle Data Engineer with expertise in cloud technologies and Big Data.

**Деталі**

Прагнеш стати частиною успішної команди, що цінує свою продукцію і намагається зробити її найкращою на ринку? Якщо так, читай далі!

Компанія Sigma Software шукає амбіційного Middle Data Engineer. Наша спеціалізація — хмарні технології і ми любимо створювати чудові продукти, які покращують можливості наших користувачів та партнерів у комунікації з клієнтами та залученні їх до співпраці.

Звучить захоплююче? Приєднуйся!

**Клієнт**

Наш клієнт надає SaaS-рішення для Customer Communication Management (CCM) для телекомунікаційного, фінансового та енергетичного секторів.

**Проєкт**

Проєкт являє собою хмарну багатокористувацьку платформу, яка надає наскрізні можливості для розробки, створення, зберігання та доступу до дуже великих обсягів документів (рахунків, рахунків-фактур, рекламних пропозицій тощо).

**Обов’язки**

Управління даними, наприклад їх перевірка та обробка
Впровадження конвеєрів на базі хмарних платформ AWS Cloud (Glue, Lambda, S3, Redshift тощо)
Виявлення, розуміння та впорядкування різних джерел даних і структурування їх у чисті моделі даних з чіткими та зрозумілими схемами
Створення конвеєра для збору даних в реальному часі та пакетних даних в озеро даних
Пропонування рішень для обробки даних в реальному часі та пакетної обробки даних

**Вимоги**

Щонайменьше 1 рік досвіду роботи з інструментами AWS, такими як Glue, Athena, Redshift, S3, Lambda, CloudFormation
3+ роки досвіду роботи з Python та SQL
Досвід роботи з Kafka
Досвід роботи з трансформацією та обробкою PySpark
Досвід запуску та оптимізації AWS Redshift DB
Досвід роботи з BI-інструментами (перевага надається Tableau)
Знання інженерії даних, наприклад, розмірного моделювання, ETL, інструментів звітності, регулювання даних, зберігання даних на основі інфраструктури AWS
Володіння розмовною та письмовою англійською мовою на рівні Upper-Intermediate

**Корисно мати:**

Досвід розробки та моделювання баз даних
Знання або бажання отримати досвід у сферах машинного навчання та науки про дані: Неконтрольоване та контрольоване навчання, виявлення викидів

**Details**

Do you want to be a part of a talented team caring about their products and striving to make them the best on the market? If so, keep reading! 

Sigma Software is looking for a passionate Middle Data Engineer. We specialize in Cloud Technologies and love to make great products that improve our clients’ and partners’ communication and engagement capabilities. 

Feeling thrilled? You are welcome to join! 

**Customer**

Our client delivers a SaaS solution for Customer Communication Management (CCM) for Telecommunications, Financial, and Energy sectors.

**Project**

This solution is a cloud-based multi-tenant platform that enables end-to-end capabilities to design, produce, store, and access very high volumes of documents (invoices, bills, promotions, etc.).

**Responsibilities**

Performing data management, such as data validation and processing Implementing pipelines based on AWS Cloud platforms (Glue, Lambda, S3, Redshift, etc.)
Identifying, understanding, and organizing different data sources and structuring them into clean data models with clear and understandable schemas
Creating a pipeline to collect real-time and batch data into a Data Lake
Proposing solutions for real-time and batch data processing

**Requirements**

At least 1 year of experience with AWS tools such as Glue, Athena, Redshift, S3, Lambda, CloudFormation
3+ years experience with Python and SQL
Experience working with Kafka
Experience with PySpark transformation and processing
Experience in running and optimizing AWS Redshift DB
Experience with BI tools (Tableau is preferred one)
Strong knowledge of data engineering, e.g. dimensional modeling, ETL, reporting tools, data governance, and data warehousing based on AWS infrastructure
Upper-Intermediate level of spoken and written English

**Nice to have**

Experience in database development and modeling
Knowledge or desire to get experience in Machine Learning and Data Science: Unsupervised and Supervised Learnings, outlier detection
Sigma Software