Comunicacion grupal o colectiva
Comunicación colectiva mpi
Hasta ahora en los tutoriales de MPI, hemos examinado la comunicación punto a punto, que es la comunicación entre dos procesos. Esta lección es el comienzo de la sección de comunicación colectiva. La comunicación colectiva es un método de comunicación que implica la participación de todos los procesos de un comunicador. En esta lección, discutiremos las implicaciones de la comunicación colectiva y repasaremos una rutina colectiva estándar: la difusión.
Una de las cosas que hay que recordar sobre la comunicación colectiva es que implica un punto de sincronización entre los procesos. Esto significa que todos los procesos deben alcanzar un punto en su código antes de que todos puedan comenzar a ejecutarse de nuevo.
Antes de entrar en detalle sobre las rutinas de comunicación colectiva, vamos a examinar la sincronización con más detalle. Resulta que MPI tiene una función especial que se dedica a sincronizar procesos:
El nombre de la función es bastante descriptivo – la función forma una barrera, y ningún proceso en el comunicador puede pasar la barrera hasta que todos ellos llamen a la función. He aquí una ilustración. Imagina que el eje horizontal representa la ejecución del programa y los círculos representan diferentes procesos:
Funciones de comunicación colectiva de mpi
import ray.util.collective as colDentro del espacio de nombres col, hemos proporcionado una serie de primitivas colectivas que pueden utilizarse en las implementaciones de tareas y actores de Ray para especificar la comunicación colectiva. Supongamos que queremos lanzar una tarea de entrenamiento ML distribuida en 16 GPUs repartidas en un cluster de 16 nodos, cada uno con una GPU. La API de actores de ray permite definir un actor de GPU de la siguiente manera:1
workers = [GPUWorker.remote() for i in range(num_workers)]Observa que en cada uno de los actores de la GPU, hemos creado un array CuPy self.gradients en su GPU designada en la inicialización. A efectos de este recorrido, piensa en esta matriz self.gradients como los gradientes de los parámetros del modelo generados en cada iteración del entrenamiento, que deben sincronizarse repetidamente en todos los actores de la GPU. A continuación ofrecemos un fragmento de código de ejemplo para conseguirlo utilizando las APIs originales ray.get y ray.put.1
Difference between point-to-point and collective communication
Collective Communication Group S.l. – CIF and address | EmpresiteCollective Communication Group S.l. in Barcelona BARCELONA. Find out the contact telephone number, address, NIF and more information of Collective Communication Group S.l.Is this your company?
Access all the information about Collective Communication Group S.l.Geographical location of Collective Communication Group S.l.Do you want to know how to get to Collective Communication Group S.l.?Get routeSee the extended report of Collective Communication Group S.l.. It’s free! Register in eInforma and we will give you the Extended Report of this companySee the Extended Report of Collective Communication Group S.l.See the Extended Report. It’s free! Register in eInforma and we will give you the Extended Report of this companySee the Extended Report of Collective Communication Group S.l.Information about Collective Communication Group S.l.Information about Collective Communication Group S.l.
Dispersión de mpi
En todos los tutoriales anteriores, hemos utilizado el comunicador MPI_COMM_WORLD. Para aplicaciones simples, esto es suficiente ya que tenemos un número relativamente pequeño de procesos y normalmente queremos hablar con uno de ellos a la vez o con todos a la vez. Cuando las aplicaciones empiezan a ser más grandes, esto se vuelve menos práctico y puede que sólo queramos hablar con unos pocos procesos a la vez. En esta lección, mostramos cómo crear nuevos comunicadores para comunicarse con un subconjunto del grupo original de procesos a la vez.
Como hemos visto al aprender sobre las rutinas colectivas, MPI permite hablar con todos los procesos de un comunicador a la vez para hacer cosas como distribuir datos de un proceso a muchos procesos usando MPI_Scatter o realizar una reducción de datos usando MPI_Reduce. Sin embargo, hasta ahora, sólo hemos utilizado el comunicador por defecto, MPI_COMM_WORLD.
Para aplicaciones simples, no es inusual hacer todo usando MPI_COMM_WORLD, pero para casos de uso más complejos, podría ser útil tener más comunicadores. Un ejemplo podría ser si quisieras realizar cálculos en un subconjunto de los procesos de una cuadrícula. Por ejemplo, todos los procesos de cada fila podrían querer sumar un valor. Esto nos lleva a la primera y más común función utilizada para crear nuevos comunicadores:
