ПОСТРОЕНИЕ И АНАЛИЗ АЛГОРИТМОВ РАСПАРАЛЛЕЛИВАНИЯ ТЕНЗОРНЫХ ОПЕРАЦИЙ
В данной статье алгоритмы сложения, умножения и свертки тензоров рассмотрены с точки зрения возможности их распараллеливания. Разработаны графы этих алгоритмов и проведен их анализ с точки зрения прогнозируемых величин ускорения и эффективности. Предполагается, что время выполнения любых вычислительных операций является одинаковым и равно некоторой единице времени, а передача данных между вычислительными устройствами выполняется мгновенно без каких-либо затрат времени (что допустимо, например, для параллельной вычислительной системы с общей разделяемой памятью). В частности, показано, что для операции сложения тензоров время наиболее быстрого исполнения алгоритма при неограниченном числе процессоров будет равно длине максимального пути графа, то есть минимальное время выполнения алгоритма будет достигнуто при количестве процессоров, равном количеству компонент тензора. Аналогичный анализ проведен для алгоритмов выполнения операций умножения и свертки тензоров. Все результаты исследований подтверждены соответствующими математическими выкладками и наглядно проиллюстрированы на соответствующих графах.