Senior Data Engineer
Команда департамента разработки создает аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред. Задачи:  Реализация компонентов платформы, связанных с обработкой больших данных Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения Формирование и обработка больших наборов данных Участие в разработке архитектуры платформы  Технологический стек:  Языки программирования: Scala, Python Обработка данных: Spark, Nifi, Airflow Хранение данных: Kafka, S3, ClickHouse, Scylla, ElasticSearch, Opensearch, Milvus Мониторинг: Grafana, Prometheus Прочие технологии и фреймворки: Docker, Kubernetes (Openshift), Typelevel (Cats Effect,Circe, Doobie, Weaver), Finagle, Jackson, ScalaTest  Наши ожидания:  Профильное образование: информационные технологии, статистика, математика Опыт разработки на Scala или Java от от 3-х лет Опыт работы по специальности от 5-ти лет Знание особенностей реализации различных алгоритмов и структур данных Опыт работы в команде  Будет плюсом:  Опыт работы с Apache Spark, Kafka, Nifi, Airflow Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д. Глубокое понимание особенностей архитектуры JVM Интерес к технологиям Data Science, участие в конкурсах по машинному обучению  Что мы предлагаем:Здоровье и спорт:  ДМС + стоматология Корпоративные скидки в фитнес-клуб World Class Корпоративный тариф на абонементы FITMOST Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)  Обучение и развитие:  Курсы английского языка, в том числе с носителем языка Внешние курсы, сертифицированное обучение, которые вы выбираете сами Возможность участия в конференциях в России и за рубежом Экскурсии в Музей криптографии для сотрудников и их семей  Работа в удобном формате:  Дистанционная работа, в офисе или комбинированный формат  Программа релокации:  Оплата переезда в Москву или Санкт-Петербург для будущих сотрудников и их семей Релокационный бонус для аренды жилья 
airflow apache spark cassandra data engineer data science docker elasticsearch grafana hbase iaas java jvm kubernetes nifi opensearch openshift prometheus python scala scalatest senior engineer