ГЛАВА 3. MPI - ИНТЕРФЕЙС ПЕРЕДАЧИ СООБЩЕНИЙ

Данная глава посвящена описанию интерфейса передачи сообщений MPI (Message Passing Interface) для организации параллельных вычислений. MPI является одним из основных средств параллельного программирования таких современных высокопроизводительных мультикомпьютеров, как Silicon Graphics Origin 2000, Cray T3D, Cray T3E, IBM SP2, МВС-1000 и многих других.

MPI – это один из наиболее развитых систем передачи сообщений высокой эффективности, переносимости и надежности параллельных программ. 

Цель данной главы – познакомить читателя с основными функциями MPI и привести примеры их использования. Всего в библиотеке MPI около 200 функций, но для того, чтобы создавать сравнительно эффективные параллельные программы, необязательно знать все функции MPI.

В основу главы были положены материалы учебного пособия [30] и MPI -  Complete Reference [60]. Все приведенные примеры параллельных программ написаны для компилятора Фортран 77. Программы для компилятора Си будут отличаться лишь синтаксисом самого языка, при этом логика создания параллельных программ останется прежней.

MPI-программа представляет собой набор независимых процессов, каждый из которых выполняет свою собственную программу (не обязательно одну и ту же), написанную на языке Cи или FORTRAN. Появились реализации MPI для C++, однако разработчики стандарта MPI за них ответственности не несут. Процессы MPI-программы взаимодействуют друг с другом посредством вызова коммуникационных процедур. Как правило, каждый процесс выполняется в своем собственном адресном пространстве, однако допускается и режим разделения памяти. MPI не специфицирует модель выполнения процесса - это может быть как последовательный процесс, так и многопоточный. MPI не предоставляет никаких средств для распределения процессов по вычислительным узлам. В предыдущей главе описывается технология распределения исполняемого кода параллельного приложения с использованием сервиса NFS операционной системы Redhat Linux. Описываемый в данном методическом пособии стандарт MPI 1.1 не содержит механизмов динамического создания и уничтожения процессов во время выполнения программы. MPI не накладывает каких-либо ограничений на то, как процессы будут распределены по процессорам, в частности, возможен запуск MPI программы с несколькими процессами на обычной однопроцессорной системе.

Для идентификации наборов процессов вводится понятие группы, объединяющей все или какую-то часть процессов. Каждая группа образует область связи, с которой связывается специальный объект - коммуникатор области связи. Процессы внутри группы нумеруются целым числом в диапазоне 0..groupsize-1. Все коммуникационные операции с некоторым коммуникатором будут выполняться только внутри области связи, описываемой этим коммуникатором. При инициализации MPI создается предопределенная область связи, содержащая все процессы MPI-программы, с которой связывается предопределенный коммуникатор MPI_COMM_WORLD. В большинстве случаев на каждом процессоре запускается один отдельный процесс, и тогда термины процесс и процессор становятся синонимами, а величина groupsize становится равной NPROCS - числу процессоров, выделенных задаче. В дальнейшем обсуждении мы будем понимать именно такую ситуацию и не будем очень уж строго следить за терминологией.

Итак, если сформулировать коротко, MPI - это библиотека функций, обеспечивающая взаимодействие параллельных процессов с помощью механизма передачи сообщений. Это достаточно объемная и сложная библиотека, состоящая примерно из 130 функций, в число которых входят:

·     функции инициализации и закрытия MPI процессов;

·     функции, реализующие коммуникационные операции типа точка-точка;

·     функции, реализующие коллективные операции;

·     функции для работы с группами процессов и коммуникаторами;

·     функции для работы со структурами данных;

·     функции формирования топологии процессов.

Набор функций библиотеки MPI далеко выходит за рамки набора функций, минимально необходимого для поддержки механизма передачи сообщений. Однако сложность этой библиотеки не должна пугать пользователей, поскольку, в конечном итоге, все это множество функций предназначено для облегчения разработки эффективных параллельных программ. В конце концов, пользователю принадлежит право самому решать, какие средства из предоставляемого арсенала использовать, а какие нет. В принципе, любая параллельная программа может быть написана с использованием всего 6 MPI функций, а достаточно полную и удобную среду программирования составляет набор из 24 функций.

Каждая из MPI функций характеризуется способом выполнения:

1.     Локальная функция - выполняется внутри вызывающего процесса. Ее завершение не требует коммуникаций.

2.     Нелокальная функция - для ее завершения требуется выполнение MPI процедуры другим процессом.

3.     Глобальная функция - процедуру должны выполнять все процессы группы. Несоблюдение этого условия может приводить к зависанию задачи.

4.     Блокирующая функция - возврат управления из процедуры гарантирует возможность повторного использования параметров, участвующих в вызове. Никаких изменений в состоянии процесса, вызвавшего блокирующий запрос, до выхода из процедуры не может происходить.

5.     Неблокирующая функция - возврат из процедуры происходит немедленно, без ожидания окончания операции и до того, как будет разрешено повторное использование параметров, участвующих в запросе. Завершение неблокирующих операций осуществляется специальными функциями.

Использование библиотеки MPI имеет некоторые отличия в языках C и FORTRAN.

В языке C все процедуры являются функциями, и большинство из них возвращает код ошибки. При использовании имен подпрограмм и именованных констант необходимо строго соблюдать регистр символов. Массивы индексируются с 0. Логические переменные представляются типом int (true соответствует 1, а false - 0). Определение всех именованных констант, прототипов функций и определение типов выполняется подключением файла mpi.h. Введение собственных типов в MPI было продиктовано тем обстоятельством, что стандартные типы языков на разных платформах имеют различное представление. MPI допускает возможность запуска процессов параллельной программы на компьютерах различных платформ, обеспечивая при этом автоматическое преобразование данных при пересылках. В таблице 8 приведено соответствие предопределенных в MPI типов стандартным типам языка С.

Таблица 8

Соответствие между MPI-типами и типами языка C

В языке FORTRAN большинство MPI процедур являются подпрограммами (вызываются с помощью оператора CALL), а код ошибки возвращают через дополнительный последний параметр процедуры. Несколько процедур, оформленных в виде функций, код ошибки не возвращают. Не требуется строгого соблюдения регистра символов в именах подпрограмм и именованных констант. Массивы индексируются с 1. Объекты MPI, которые в языке C являются структурами, в языке FORTRAN представляются массивами целого типа. Определение всех именованных констант и определение типов выполняется подключением файла mpif.h. В таблице 9 приведено соответствие предопределенных в MPI типов стандартным типам языка FORTRAN.

Таблица 9

Соответствие между MPI-типами и типами языка FORTRAN

В таблицах 8 и 9 перечислен обязательный минимум поддерживаемых стандартных типов, однако, если в базовой системе представлены и другие типы, то их поддержку будет осуществлять и MPI, например, если в системе есть поддержка комплексных переменных двойной точности DOUBLE COMPLEX, то будет присутствовать тип MPI_DOUBLE_COMPLEX. Типы MPI_BYTE и MPI_PACKED используются для передачи двоичной информации без какого-либо преобразования. Кроме того, программисту предоставляются средства создания собственных типов на базе стандартных.

Изучение MPI начнем с рассмотрения базового набора из 6 функций, образующих минимально полный набор, достаточный для написания простейших программ.