Abstracts Category : Other

Scheduling of Dense Linear Algebra Kernels on Heterogeneous Resources : Ordonnancement de noyaux d'algbre linaire dense sur ressources htrognes

by Suraj Kumar

Du fait des normes capacits de calculs des acclrateurs tels que les GPUs et les Xeon Phi, lutilisation de machines multicoques pourvues dacclrateurs est devenue commune dans le domaine du calcul haute performance (HPC). La complexit induite par ces acclrateurs a suscit le dveloppement de systmes dexcution base de tches, dans lesquels les dpendances entre les applications sont exprimes sous la forme de graphe de tches et o les tches sont ordonnances dynamiquement sur les ressources de calcul. La difficult est alors de concevoir des stratgies dordonnancement qui font une utilisation efficace des ressources de calculs et le dveloppement de telles stratgies, mme pour un unique noeud hybride, est un enjeu essentiel de la performance des systmes HPC. Nous considrons dans cette thse lordonnancement de noyaux dalgbre linaire dense sur des noeuds compltement htrognes et constitus de CPUs et de GPUs. Les performances relatives des acclrateurs par rapport aux coeurs classique dpend trs fortement du noyau considr. Par exemple, les acclrateurs sont beaucoup plus efficaces pour les produits de matrices, par exemple, que pour les factorisations. Dans cette thse, nous analysons les performances de stratgies statiques et dynamiques dordonnancement et nous proposons un ensemble de stratgies intermdiaires, en ajoutant des composantes statiques (respectivement dynamiques) des stratgies dordonnancements dynamique (respectivement statiques). Rcemment, une stratgie appele HeteroPrio a t propose, qui sappuie sur les affinits entre les tches et les ressources pour un petit ensemble de tches diffrentes sexcutant sur deux types de ressources. Nous avons tendu cette stratgie dordonnancement pour des graphes de tches gnraux pour deux types de ressources puis pour plus de deux types. De manire complmentaire, nous avons galement dmontr des facteurs dapproximation et des pires cas pour HeteroPrio dans le cas dun ensemble de tches indpendantes sur diffrents types de plates-formes. Due to massive computation power of accelerators such as GPU, Xeon phi, multicore machines equipped with accelerators are becoming popular in High Performance Computing (HPC). The added complexity led to the development of different task-based runtime systems, which allow computations to be expressed as graphs of tasks and rely on runtime systems to schedule those tasks among all resources of the platform. The real challenge is to design efficient schedulers for such runtimes to make effective utilization of all resources. Developing good schedulers, even for a single hybrid node, and analyzing them can thus have a strong impact on the performance of current HPC systems. We consider the problem of scheduling dense linear algebra applications on fully hybrid platforms made of CPUs and GPUs. The relative performance of CPU and GPU highly depends on the sub-routine. For instance, GPUs are much more efficient to process matrix-matrix multiplications than matrix factorizations. In thisAdvisors/Committee Members: Beaumont, Olivier (thesis director), Thibault, Samuel (thesis director).