====== MPI ======


==== Multirail ====

Sur de l'OmniPath : 
  * pour le désactiver : <code bash>export PSM2_MULTIRAIL=0</code>
  * pour l'activer : <code bash>export PSM2_MULTIRAIL=1</code> On trouve aussi <code bash>PSM2_MULTIRAIL_MAP=0:1,1:1</code> mais ça ne semble pas être nécessaire.

Sources :
  * [[https://www.open-mpi.org/faq/?category=opa]]
  * [[https://www.intel.com/content/www/us/en/developer/articles/technical/tuning-the-intel-mpi-library-basic-techniques.html]]


==== Mutlicartes ====

Pour savoir quelles sont les cartes utilisées :
<code bash>
export PSM2_TRACEMASK=0x2
</code>

Pour indiquer quelle(s) carte(s) utiliser (sans qu'il soit question de multirail) :
<code bash>
export HFI_UNIT=0
export HFI_UNIT=1 
export HFI_UNIT=0,1
</code>



==== Préciser des paramètres MCA ====

Pour connaître tous les paramètres possibles :
<code bash>
ompi_info -a | less
</code>

Pour définir les paramètres :
<code bash>
mpirun --mca coll_tuned_use_dynamic_rules 1 --mca coll_tuned_alltoallv_algorithm 1 ...
</code>
Ou bien avec une variable d'environnement :
<code bash>
export OMPI_MCA_coll_tuned_use_dynamic_rules=1
</code>

Sources :
  * [[https://medium.com/@esaliya/choosing-a-specific-collective-algorithm-implementation-in-openmpi-d96ccc8aa9e7|Choosing a Specific Collective Algorithm Implementation in OpenMPI]]
  * [[https://www.open-mpi.org/faq/?category=tuning#setting-mca-params|OpenMPI FAQ: General run-time tuning - How do I set the value of MCA parameters?]]



==== Problèmes PSM2 ====

Si PSM2 râle en disant ''Exhausted 1048576 MQ irecv request descriptors, which usually indicates a user program error or insufficient request descriptors (PSM2_MQ_RECVREQS_MAX=1048576)'', il faut positionner une variable d'environnement ([[https://github.com/nwchemgit/nwchem/issues/284|source]]) :
<code bash>
export PSM2_MEMORY=large
</code>