DevOps (Python/Bash, AWS, Spark and ETL)
Основні вимоги:
- AWS services (administration and provision)
- Spark services (administration and provision)
- at least one CI/CD tool (Jenkins as widely used but not single option)
- scripting skills with Bash and/or Python
- Unix/Linux system administration skills
-  English —Upper Intermediate and higher.

Усі джоби написані на Python та крутяться на Spark тому готові розглядати хороших дата інженерів із досвідом у BigData та побудовою ETL процесів.

Ось невеличке роз’яснення від клієнта стосовно пайтона та спарку (так, куди ж без купи англійських слів?!!?)))

Spark (PySpark) is mandatory as it is our processing engine running on top of AWS EMR. All of our ETL is done through PySpark jobs that are automated by Airflow. The expectation would be for data engineers to build additional data pipelines leveraging this stack.

Python is used for many functions in our environment. A few are below:

· Interfacing with APIs to ingest data into our lake
· Automating jobs via Airflow
· Building logging and monitoring functions
· Building audit frameworks for pipelines
· Basic transformations on lambda functions

Питай питання — розкажу все що знаю!!))))

п.с. маю надію що хоч трохи зацікавив!!))))
RexSoft