Nuevas técnicas escalables de E/S para cargas de trabajo híbridas de HPC e intensivas en datos. - SCIOT Projects uri icon

type

  • National Research Project

reference

  • PID2022-138050NB-I00

date/time interval

  • September 1, 2023 - August 31, 2026

abstract

  • El ecosistema mundial de las tecnologías de la información se encuentra actualmente en transición hacia una nueva generación de
    aplicaciones, que requieren sistemas intensivos de adquisición, procesamiento y almacenamiento de datos. Las nuevas aplicaciones de
    uso intensivo de datos en ámbitos diversos como el clima, energía, biomedicina, seguridad, tráfico, etc., y la creciente necesidad de
    procesar conjuntos de datos extremadamente grandes es uno de los principales impulsores de la construcción de sistemas HPC Exascale
    en la actualidad. Sin embargo, las jerarquías de almacenamiento de las arquitecturas HPC clásicas ya no satisfacen los requisitos de
    rendimiento de las aplicaciones intensivas en datos. El acceso descoordinado a los archivos, combinado con un ancho de banda limitado,
    convierte al sistema de archivos paralelo centralizado en cuello de botella. Las nuevas jerarquías de almacenamiento multinivel ofrecen la
    posibilidad de eliminar este obstáculo, pero maximizar el rendimiento sigue requiriendo un control cuidadoso para evitar la congestión y
    equilibrar el rendimiento de cómputo y de almacenamiento. El paradigma cloud es un modelo importante para Big Data, pero debido al
    volumen y la velocidad de los datos, transferir esta información desde/hacia sistemas cloud a plataformas HPC podría no ser factible. Es
    necesario desarrollar modelos de almacenamiento híbridos para sistemas HPC y cloud. Por otra parte, aún faltan interfaces y políticas
    adecuadas para gestionar esta pila de E/S mejorada.
    El objetivo del proyecto es crear una pila de E/S activa que ajuste dinámicamente los requisitos de cómputo y almacenamiento mediante
    el uso de sistemas de archivos ad-hoc, nuevas metodologías de monitorización y programación de recursos de almacenamiento a lo largo
    de todos los niveles de las jerarquías de almacenamiento híbrido y técnicas de maleabilidad del almacenamiento de E/S para hacer frente
    a los cambios en tiempo de ejecución de las aplicaciones i

keywords

  • almacenamiento de altas prestaciones, sistemas de ficheros, hpc, maleabilidad, cloud, planificación, monitorización.; high performance storage, file systems, hpc, malleability, cloud, scheduling, monitoring