Proyecto SHIWA

This article contains promotional content. Please help improve it by removing promotional language and inappropriate external links, and by adding encyclopedic text written from a neutral point of view. (September 2011) (Learn how and when to remove this message)

El proyecto SHIWA (Sharing Interoperable Workflows for large-scale scientific simulations on Available DCIs) en el marco de la computación en red fue un proyecto dirigido por el LPDS (Laboratory of Parallel and Distributed Systems) del MTA Computer and Automation Research Institute. El coordinador del proyecto fue el Prof. Dr. Peter Kacsuk . Comenzó el 1 de julio de 2010 y duró dos años. SHIWA (proyecto número 261585) recibió una subvención de la convocatoria FP7 INFRASTRUCTURES-2010-2 de la Comisión Europea en virtud del acuerdo de subvención n°261585.

El proyecto SHIWA desarrolló e implementó la Plataforma de Simulación SHIWA (SSP) para permitir la interoperabilidad de la infraestructura y el flujo de trabajo en dos niveles:

• Interoperabilidad de grano grueso, que se refiere a la anidación de diferentes sistemas de flujo de trabajo para lograr la interoperabilidad de los marcos de ejecución.
• interoperabilidad de grano fino, que se refiere a las representaciones del flujo de trabajo de transformación para lograr la migración de flujos de trabajo de un sistema a otro.

Una vez finalizado el proyecto, la tecnología SHIWA fue reemplazada por el proyecto de acción de soporte de ER-flow para brindar sostenibilidad y ampliar la base de la comunidad de usuarios.

Los científicos de todas las disciplinas han invertido un enorme esfuerzo en la explotación de las Infraestructuras de Computación Distribuida (DCIs) por su capacidad de soportar experimentos in silico de computación intensiva y organizaciones virtuales. Muchas DCIs con grandes comunidades de usuarios han surgido durante la última década, como la Infraestructura Europea Distribuida para Aplicaciones de Supercomputación (DEISA), ^[1] EGEE Grid (Enabling Grids for e-Science), ^[2] la iniciativa alemana D-Grid (D-Grid), ^[3] el Servicio Nacional de Redes del Reino Unido (NGS), ^[4] y el norteamericano TeraGrid (TG). ^[5] Se basan en diferentes pilas de middleware que proporcionan una capa de abstracción entre los recursos informáticos y las aplicaciones. Por ejemplo, NGS y TeraGrid se construyen sobre el kit de herramientas Globus, ^[6] EGEE sobre gLite, ^[7] DEISA se basa tanto en el kit de herramientas Globus como en Unicore , ^[8] mientras que D-Grid se ejecuta bajo gLite, el kit de herramientas Globus y Unicore . En Europa , este impulso llegará a su clímax en 2010 con la aparición de la Iniciativa Grid Europea (EGI, por sus siglas en inglés), que federará a todas las principales organizaciones europeas relacionadas con la computación distribuida y las Iniciativas Grid Nacionales (NGI, por sus siglas en inglés). En su esfuerzo por crear la próxima generación de DCI paneuropeas, la EGI se enfrentará a desafíos sin precedentes relacionados con la heterogeneidad de las infraestructuras de red nacionales, los recursos y el middleware operativo. Las DCI de producción se construyen comúnmente sobre una gran cantidad de componentes, como recursos de datos, metadatos y otros.catálogos, métodos de autenticación y autorización y repositorios de software. Gestionar la ejecución de aplicaciones en DCIs es, por tanto, una tarea compleja. Además, las soluciones desarrolladas para una Grid en particular son difíciles de trasladar a otras infraestructuras. Para proteger esta complejidad de los investigadores y facilitar el diseño de experimentos in silico, los sistemas de flujo de trabajo se utilizan ampliamente como una capa de virtualización sobre las infraestructuras subyacentes. Se han vuelto esenciales para integrar la experiencia tanto sobre la aplicación (dominio del usuario) como sobre el DCI (dominio de la infraestructura) con el fin de optimizar y apoyar la investigación de la comunidad informática científica. En el panorama multi-DCI actual, los usuarios necesitan acceder a diferentes infraestructuras para ampliar y extender la variedad de recursos utilizables, así como compartir y reutilizar recursos específicos del dominio. Sin embargo, la interoperabilidad entre DCIs apenas se logra a nivel de middleware. SHIWA considera que la infraestructura de producción EGI es una DCI importante de gran interés para los científicos europeos para diseñar y simular experimentos in silico. Aborda directamente los desafíos relacionados con (i) el diseño de experimentos científicos a través de la descripción de flujos de trabajo de simulación y (ii) las heterogeneidades del middleware encontradas entre los muchos DCI existentes a través de técnicas de interoperabilidad de flujo de trabajo. ^{[ cita requerida ]}

SHIWA se propuso mejorar la experiencia de las comunidades de investigación virtual que utilizan en gran medida las DCI para su experimentación científica. Con la reciente multiplicación de esfuerzos dedicados a las e-infraestructuras , la simulación científica ahora puede beneficiarse de la disponibilidad de instalaciones de computación y almacenamiento de datos masivos para sustentar desafíos científicos multidisciplinarios. Como efecto secundario, coexisten una variedad de tecnologías no interoperables para permitir la explotación de infraestructuras informáticas para experimentos in silico. En Europa, este impulso está culminando con el surgimiento de la EGI que federará a todas las principales organizaciones europeas relacionadas con la computación distribuida y las NGI. En consecuencia, la investigación europea sobre simulación se ve obstaculizada actualmente por varios problemas de interoperabilidad que reducen su eficiencia al limitar el intercambio de conocimientos y experiencia entre las comunidades científicas. SHIWA fue diseñado como un proyecto centrado en el usuario que apunta a reducir las barreras entre las comunidades científicas al brindar servicios que aborden problemas de interoperabilidad. En particular, el programa de trabajo de SHIWA se centra en mejorar la eficiencia de los experimentos in silico basados ​​en flujo de trabajo al apuntar a los siguientes tres objetivos: ^{[ cita requerida ]}

• Objetivo 1: desarrollar flujos de trabajo e intercambio de experiencia entre comunidades de investigación virtuales.
• Objetivo 2: permitir la gestión entre sistemas de flujos de trabajo de simulación en Scientific Gateways.
• Objetivo 3: apoyar a las comunidades virtuales de investigación en el diseño y realización de experimentos in silico.
• Objetivo 4: mejorar la interoperabilidad entre las ICD.
• Objetivo 5: simplificar el acceso a múltiples DCI para comunidades virtuales de investigación.
• Objetivo 6: promover el uso de la e-Infraestructura Europea entre usuarios de simulación de diversas disciplinas.

La interoperabilidad de los flujos de trabajo permite la ejecución de flujos de trabajo de diferentes sistemas de flujo de trabajo que pueden abarcar múltiples infraestructuras heterogéneas (DCI). Puede facilitar la migración de aplicaciones debido a la evolución de la infraestructura, los servicios y el sistema de flujo de trabajo. La interoperabilidad de los flujos de trabajo permite compartir flujos de trabajo para respaldar y fomentar la adopción de metodologías de investigación comunes, mejorar la eficiencia y la confiabilidad de la investigación mediante la reutilización de estas metodologías comunes, aumentar la vida útil de los flujos de trabajo y reducir el tiempo de desarrollo de nuevos flujos de trabajo. La interoperabilidad entre sistemas de flujo de trabajo no solo permite el desarrollo y la implementación de flujos de trabajo integrales y a gran escala, sino que también reduce la brecha existente entre diferentes DCI y, en consecuencia, promueve la cooperación entre las comunidades de investigación que explotan estas DCI. Como los sistemas de flujo de trabajo permiten a los investigadores crear aplicaciones de flujo de trabajo integrales para DCI, el consorcio del proyecto identificó la interoperabilidad de flujos de trabajo como el enfoque más prometedor para cerrar las brechas existentes entre las DCI. La interoperabilidad de los flujos de trabajo y las DCI es de suma importancia para mejorar la calidad y el impacto de las aplicaciones científicas que apuntan a las DCI, lo que permite características avanzadas que anteriormente no estaban disponibles: ^{[ cita requerida ]}

• Permitir la explotación de características específicas de los sistemas de flujo de trabajo considerando los requisitos de las aplicaciones y las capacidades de los DCI.
• Compartir flujos de trabajo publicados por comunidades de investigación para apoyar la colaboración, la reutilización de metodologías validadas y la transferencia de conocimientos.
• Ejecución de aplicaciones de flujo de trabajo en múltiples DCI heterogéneos.
• Facilitar el mantenimiento de la migración de aplicaciones basada en flujo de trabajo.
• Optimizar experimentos mediante el uso del sistema de flujo de trabajo y/o DCI más adecuados.

SHIWA desarrolló soluciones de interoperabilidad de flujo de trabajo para varios sistemas de flujo de trabajo, a saber, ASKALON, ^[9] MOTEUR ^[10] Pegasus , ^[11] PGRADE, ^[12] Galaxy, GWES, Kepler, LONI Pipeline, Taverna, ProActive y Triana. ^[13] Al hacerlo, proporcionará acceso a Grids construidas sobre middleware gLite y Globus para crear servicios de nivel de producción para ejecutar simulaciones a gran escala basadas en flujo de trabajo. Los sistemas de flujo de trabajo y middleware objetivo se representan mediante componentes con bordes en negrita en la Figura 1.1.1. El proyecto utilizará soluciones de interoperabilidad de middleware Grid existentes que permitan el acceso a Grids basadas en gLite y Globus como Austrian Grid, D-Grid, EGEE y NGS. El consorcio del proyecto también considerará el soporte para el Conector de recursos avanzados (ARC) Nordugrid compatible con EMI ^[14] y Unicore.

• Instituto de Informática y Control (SZTAKI) de la Academia Húngara de Ciencias
• Universidad de Innsbruck
• Charité - Universitätsmedizin Berlín
• Centro Nacional de Investigaciones Científicas de Francia
• Universidad de Westminster
• Universidad de Cardiff
• Centro Médico Académico de la Universidad de Ámsterdam
• Universidad del Sur de California

• ActiveEon SAS
• MAAT Francia
• Sistemas de correlación Ltd.
• Instituto de Biología de Sistemas Moleculares, ETH Zurich
• Consejo Nacional de Investigaciones, Instituto de Tecnologías Biomédicas

• http://www.erflow.eu/

• Laboratorio de Sistemas Paralelos y Distribuidos MTA SZTAKI