Ha pasado mucho tiempo desde mi última entrada en el blog, pero han sido muchas las actividades que me han mantenido ocupado desde entonces. Las más importantes son dos tareas de 5 y 2 años respectivamente que ocupan gran parte de mi CPU (y la de mi mujer), demandando además una cantidad ingente de E/S en forma de reprimendas. Aparte del tema familiar, la Universidad también me absorbió bastante tiempo, dejándome muy poco para mis actividades de I+D dentro de mi compañía. He decidido dejar la docencia (espero que temporalmente) para poder centrarme en dichas actividades de donde espero sacar algo de provecho.
EGEE09
Pero yo había venido a hablar de EGEE User Forum 09 que se organizó en Barcelona la semana pasada. Tuve la oportunidad de acudir en representación de mi cliente y me resultó interesante desde el punto de vista de la "filosofía de la computación", y no tanto desde la vertiente tecnológica.
Organizativamente, el evento, bajo mí punto de vista, fue impecable. Si hubo fallos, yo no los percibí ni los sufrí. La cena de gala en el Mare Magnum fue espléndida aunque yo hubiese preferido Rumba Catalana en vez de Habaneras (no se puede tener todo). Barcelona está preciosa. Hacía 30 años que no iba.
Tecnologías Grid
Tecnológicamente hablando la conferencia no aportó nada significativo. De la primera jornada, dedicada a la integración Grid-Cloud, volví a constatar (al igual que hace unos meses en Santander) que el futuro está en el Cloud y que el Grid se acabará convirtiendo en una federación de Clouds. Eso sí, nos ha costado (y nos seguirá costando) una pasta gansa al contribuyente europeo llegar a esa conclusión
Otra sesión a la que asistí por interés profesional fue la del uso de MPI en el Grid. Desde un principio me ha parecido un poco estéril el pretender correr trabajos MPI en el Grid (no expondré mis objeciones, que son las obvias y las que todo el mundo argumenta), pero si encima añadimos el precario soporte que existe en EGEE para ello, la cuestión pierde todo el sentido. Durante la sesión, diferentes usuarios expusieron sus problemas (los mismos que los mios) y otro presentó un estudio de los fallos obtenidos al enviar trabajos MPI en su VO: ilustrativo y descorazonador. El 50% de los trabajos que pretendian usar 8 CPU fallaron sin más. Si prentendian usar 16 CPU el porcentaje subía hasta el 70%. Lo peor era la falta de mensajes explicando la razón del fallo. Además, por razones obvias, el tiempo medio de espera en la cola de los trabajos MPI era altísimo.
A los señores que reciben dinero de la UE, no malgasteis el dinero del contribuyente europeo, por favor. MPI en un cluster dedicado.
EDGeS
Este es un proyecto que me resulta atrayente porque siempre me interesó el tema del Desktop Computing (o Volunteer computing), tanto por sus implicaciones sociales como por su aspectos tecnológicos. EDGeS ha construido (sí, tienen cosas que funcionan) puentes que conectan las plataformas para computación voluntaria con Grid y viceversa. Fueron varias las presentaciones sobre casos de éxito y estuvo bastante bien. De lo mejor de la conferencia.
Reflexión final
¿A qué va la gente a una conferencia? El 95% de los presentes en los plenarios estaba leyendo el correo, hablando por Skype, conectado al Facebook, buscando restaurantes... Quitemos a los que van a presentar algo (un poster, una comunicación) en el congreso. El resto acude con interés, como mucho, por un 5% de los contenidos ofrecidos. Yo mismo me pongo como ejemplo. Profesionalmente solo me interesaba la sesión de Cloud y la de MPI. Tuve suerte de que estuviese la de EDGeS y, desafortunadamente, no pude asistir a la de algoritmos bio-inspirados.
Estuve 4 dias para dos sesiones que habrían cabido en uno solo.
Si sólo interesa un 5-10% de los contenidos ¿por qué va tanta gente y tanto tiempo? Por dos razones fundamentales, para "hacer amigos" y por turismo. Seguro que hay otros que van para buscar partners para nuevos proyectos, pero cuántos son: ¿10? ¿20? En esta conferencia había 680 asistentes registrados. Calculad el porcentaje.
Está claro que el beneficio de estas conferencias multitudinarias está más en las relaciones personales que se establecen y no tanto en los contenidos científicos. Seguro que hay eventos en los que los contenidos técnicos son más profundos y se establecen discusiones interesantísimas. Esta no fue el caso. Tampoco creo que lo pretendieran
Un saludo
Fernando
sábado 3 de octubre de 2009
lunes 22 de junio de 2009
Grids & eScience en la UIMP (II)
Resumiré en este segundo "post" las tres jornadas siguientes por falta de tiempo.
De nuevo he de decirlo, Santander me gusta. Las ciudades con playa son otra cosa, y la de Santander es espectacular
Miércoles
Volviendo al asunto, la tercera jornada del curso empezó con David Coster hablando sobre el proyecto Euforia, EFDA, Tokamaks, etc. que son temas de Fusión Nuclear. Es decir, cosas trascendentes. Una fuente de energía inagotable, limpia, etc. y no divagaciones sobre planetas extrasolares, nubes protoplanetarias y otras especulaciones científicas, sin duda interesantes para los que están metidos en el mundillo, no lo niego.
Mr Coster incidió en la necesidad de que el Grid sea más fiable, mejore su rendimiento y se reduzca la latencia general del sistema. Es decir, que ha sufrido en sus carnes lo que yo veo que sufren mis usuarios a más pequeña escala. Me descubrió, por cierto, una herramienta para hacer workflows científicos denominado Kepler que tiene buena pinta.
Francisco Castejón, del CIEMAT, se declarón como un firme defensor del GRID y presentó algunas de las aplicaciones desarrolladas en este mismo ámbito que resultaron interesantes. De nuevo me maravillan las cosas tan chulas que hace la gente en el ámbito de EGEE. Encomiable esfuerzo.
A continuación Miguel A. Senar, de la UAB, estuvo presentando de nuevo parte de los resultados del proyecto int.eu.grid, tal y como hizo Gonçalo Borges el dia anterior. En este caso Miguel A. contó otras características de CrossBroker como la posibilidad de enviar máquinas virtuales (VM) a ejecutarse en los Worker Nodes para solventar el problema del entorno de ejecución de las aplicaciones (librerias, software auxiliar, etc), es decir, la solución que Antonio de la Fuente y yo propusimos en el primer ESAC Grid Workshop hace 4 años. Bueno, pues se hizo un proyecto europeo con esa idea y alguien ha intentado llevarlo a cabo usando gLite. Qué cosas!
Por la tarde, una persona del BIFI hizo una interesante introducción a la computación voluntaria, contando qué es BOINC y el proyecto Ibercivis. A mi modo de entender, debería haber incidido más en los aspectos divulgativos que la computación voluntaria lleva asociados y no tanto en la parte técnica, pero en general estuvo bien.
Jueves
Por la mañana me salté la parte de instrumentación puesto que no me interesaba en absoluto (espero no arrepentirme nunca) y llegué a la hora del café. La reanudación fue una sesión aplastante de la gente de física de altas energías (HEP) en la que participaron Francisco Matorras y José Salt. Nos soltaron un rollo sobre lo "interesante" qué es el LHC, recordaron otra vez que el CERN "inventó" la Web (bueno, sobre esto deberíamos hablar otro dia), lo importante que es, bla, bla, bla, el Grid, bla, bla, bla.
Después Carlos Fernandez, del CESGA, contó como funciona la monitorización y la contabilidad en EGEE. Es un tema que nos interesó bastante para la correcta administración de nuestro sitio. Nada que comentar. Por la noche, en la cena del curso, resultó ser un comensal muy simpático
y "polemista", con lo que la sobremesa fue ciertamente entretenida.
Ya por la tarde, Rubén Santiago hizo una demo de OpenNebula y describió algunos escenarios donde el cloud puede ser bastante útil. Muy interesante, aunque la demo que hizo en nuestro workshop en Diciembre le salió mucho mejor.
Viernes
El último dia lo abrió D. Tomás de Miguel contando cosas de la red española gestionada por RedIRIS. Me ahorro los comentarios.
Luego D. Javier García, director del CESGA, hizo lo mismo sobre la red gallega. Esta última resultó ligeramente más interesante gracias, sobretodo,
a la perspectiva histórica que siempre resulta muy interesante.
Mr. Patrick Aerts habló sobre EGI, lo que se supone será el organismo heredero de EGEE, y dejó algunas ideas interesantes para la reflexión. Justo a continuación tomó la palabra Isabel Campos, responsable de la red española de eCiencia que debería desembocar en la NGI española. Me dejó en un mar de dudas sobre qué pasará en España en este sentido; no por ella en sí misma, ni por el trabajo realizado poniéndola en marcha, que habrá sido ímprobo, sino por el hecho de que no parece que el Gobierno haya dado señales o pistas de si piensa dotar la NGI con dinero,
o como será gestionada,... A lo mejor ya está el tema resuelto, y hay una hoja de ruta clara, pero yo no fui capaz de deducirlo de sus palabras.
Conclusión
En fin, el curso tiene un balance positivo para mí, no tanto por lo que ma hayan podido enseñar a nivel técnico (no creo que sea el objetivo aunque algo sí hemos sacado), sino por las sensaciones generales que me han producido las ideas expuestas y las conversaciones con otros asistentes,
que me han ayudado a hacerme una opinión sobre dónde se dirige el grid tal y como está implantado en Europa, sus posibilidades futuras, evolución, etc.
Ya lo dije en mi anterior entrada, para mí el grid, tal como lo concibió EGEE, va derecho a la extinción.
Fernando
De nuevo he de decirlo, Santander me gusta. Las ciudades con playa son otra cosa, y la de Santander es espectacular
Miércoles
Volviendo al asunto, la tercera jornada del curso empezó con David Coster hablando sobre el proyecto Euforia, EFDA, Tokamaks, etc. que son temas de Fusión Nuclear. Es decir, cosas trascendentes. Una fuente de energía inagotable, limpia, etc. y no divagaciones sobre planetas extrasolares, nubes protoplanetarias y otras especulaciones científicas, sin duda interesantes para los que están metidos en el mundillo, no lo niego.
Mr Coster incidió en la necesidad de que el Grid sea más fiable, mejore su rendimiento y se reduzca la latencia general del sistema. Es decir, que ha sufrido en sus carnes lo que yo veo que sufren mis usuarios a más pequeña escala. Me descubrió, por cierto, una herramienta para hacer workflows científicos denominado Kepler que tiene buena pinta.
Francisco Castejón, del CIEMAT, se declarón como un firme defensor del GRID y presentó algunas de las aplicaciones desarrolladas en este mismo ámbito que resultaron interesantes. De nuevo me maravillan las cosas tan chulas que hace la gente en el ámbito de EGEE. Encomiable esfuerzo.
A continuación Miguel A. Senar, de la UAB, estuvo presentando de nuevo parte de los resultados del proyecto int.eu.grid, tal y como hizo Gonçalo Borges el dia anterior. En este caso Miguel A. contó otras características de CrossBroker como la posibilidad de enviar máquinas virtuales (VM) a ejecutarse en los Worker Nodes para solventar el problema del entorno de ejecución de las aplicaciones (librerias, software auxiliar, etc), es decir, la solución que Antonio de la Fuente y yo propusimos en el primer ESAC Grid Workshop hace 4 años. Bueno, pues se hizo un proyecto europeo con esa idea y alguien ha intentado llevarlo a cabo usando gLite. Qué cosas!
Por la tarde, una persona del BIFI hizo una interesante introducción a la computación voluntaria, contando qué es BOINC y el proyecto Ibercivis. A mi modo de entender, debería haber incidido más en los aspectos divulgativos que la computación voluntaria lleva asociados y no tanto en la parte técnica, pero en general estuvo bien.
Jueves
Por la mañana me salté la parte de instrumentación puesto que no me interesaba en absoluto (espero no arrepentirme nunca) y llegué a la hora del café. La reanudación fue una sesión aplastante de la gente de física de altas energías (HEP) en la que participaron Francisco Matorras y José Salt. Nos soltaron un rollo sobre lo "interesante" qué es el LHC, recordaron otra vez que el CERN "inventó" la Web (bueno, sobre esto deberíamos hablar otro dia), lo importante que es, bla, bla, bla, el Grid, bla, bla, bla.
Después Carlos Fernandez, del CESGA, contó como funciona la monitorización y la contabilidad en EGEE. Es un tema que nos interesó bastante para la correcta administración de nuestro sitio. Nada que comentar. Por la noche, en la cena del curso, resultó ser un comensal muy simpático
y "polemista", con lo que la sobremesa fue ciertamente entretenida.
Ya por la tarde, Rubén Santiago hizo una demo de OpenNebula y describió algunos escenarios donde el cloud puede ser bastante útil. Muy interesante, aunque la demo que hizo en nuestro workshop en Diciembre le salió mucho mejor.
Viernes
El último dia lo abrió D. Tomás de Miguel contando cosas de la red española gestionada por RedIRIS. Me ahorro los comentarios.
Luego D. Javier García, director del CESGA, hizo lo mismo sobre la red gallega. Esta última resultó ligeramente más interesante gracias, sobretodo,
a la perspectiva histórica que siempre resulta muy interesante.
Mr. Patrick Aerts habló sobre EGI, lo que se supone será el organismo heredero de EGEE, y dejó algunas ideas interesantes para la reflexión. Justo a continuación tomó la palabra Isabel Campos, responsable de la red española de eCiencia que debería desembocar en la NGI española. Me dejó en un mar de dudas sobre qué pasará en España en este sentido; no por ella en sí misma, ni por el trabajo realizado poniéndola en marcha, que habrá sido ímprobo, sino por el hecho de que no parece que el Gobierno haya dado señales o pistas de si piensa dotar la NGI con dinero,
o como será gestionada,... A lo mejor ya está el tema resuelto, y hay una hoja de ruta clara, pero yo no fui capaz de deducirlo de sus palabras.
Conclusión
En fin, el curso tiene un balance positivo para mí, no tanto por lo que ma hayan podido enseñar a nivel técnico (no creo que sea el objetivo aunque algo sí hemos sacado), sino por las sensaciones generales que me han producido las ideas expuestas y las conversaciones con otros asistentes,
que me han ayudado a hacerme una opinión sobre dónde se dirige el grid tal y como está implantado en Europa, sus posibilidades futuras, evolución, etc.
Ya lo dije en mi anterior entrada, para mí el grid, tal como lo concibió EGEE, va derecho a la extinción.
Fernando
miércoles 17 de junio de 2009
Grid & e-Science en la UIMP
Asisto desde ayer a un curso que se imparte en la Universidad Internacional Menéndez Pelayo en Santander titulado "Grid y e-Ciencia". El curso empezó el lunes realmente aunque yo me he incorporado el martes; no es la primera vez que asisto a un curso como éste y, sinceramente, hay temas que ya me empiezan a sonar.
Antes de comentar la primera jornada, decir que Santander es muy muy bonito y la bahía es preciosa. Además, el enclave del Palacio de la Magdalena es realmente espectacular. Tienen suerte estos santanderinos, sí señor.
Por lo que respecta a mi primera jornada de curso (que repito, en realidad es la segunda), he de decir que he podido constatar, ya de forma fehaciente, y sin ningún genero de dudas (al menos para mí) que el Grid tiene los dias contados. No es nada nuevo, lo sé, pero yo también me uno, a partir de ahora, públicamente a esa idea. Podría desgranar muchas razones para justificarlo, pero ahora no tengo tiempo (probablemente dedique en breve un post exclusivamente a ello). En resumen diré, copiando del título de una canción muy popular en los 80, "Cloud kill the Grid star". El tanden cloud/virtualization soluciona todas las situaciones que el grid resolvía y, también, las que éste no es capaz de abordar (al menos de forma, digamos, "elegante").
Comentando específicamente las presentaciones del día de hoy. La primera corrió a cargo de Claudio Vuerli (INFN) y habló sobre el futuro de la comunidad astronómica y astrofísica tras EGEE III. Bajo mi punto de vista, tengo serias dudas de que permanezcan en esa comunidad más que unos pocos institutos nacionales que siempre pueden sacar dinerillo de aquí y allá para mantener las infrastructuras y a la gente. Después habló Rafael López Caniego y Patrick sobre aplicaciones astrofísicas portadas al Grid. Causa admiración que la gente haga cosas tan interesantes pese a los handicaps del middleware de EGEE.
Tras ellos, Rosa Badía (BSC) e Ignacio Martín Llorente (UCM) hablaron sobre Middleware para procesamiento paralelo y virtualización respectivamente. Sin despreciar a los demás ponentes: esto ya es otro nivel (entiéndanme, yo soy un ingeniero informático de la rama de sistemas). La Dr. Badía explicó los productos que han desarrollado para paralelizar tareas de manera que son capaces de correr en arquitecturas many-core, clusters o grid dándole algunas pistas sobre como paralelizar el código. Por su parte, Ignacio hizo una breve introducción al cloud computing e hizo una presentación comparada de OpenNébula, el software que han desarrollado para montar cloud privados. Cómo sucedió en el último ESAC Grid Workshop, su presentación fue la mejor del dia bajo mi punto de vista.
Por la tarde tuvimos una breve introducción a MPI innecesariamente larga, puesto que nadie aprende MPI en un hora y media y sí consigue aburrir a los que saben y a los que no saben. Después Gonzalo Borges presentó CrossBroker. Un software desarrollado para facilitar el envío de trabajos MPI al grid. Es decir, ocultar en lo posible la incomodidad de usar el middleware de EGEE(entienden ahora por qué EGEE no va a ningún lado). Creo que probaré CrossBroker,
ya que administramos un sitio EGEE y, al menos, mientras lo tengamos operativo habrá que ofrecer los mejores servicios que podamos.
Como conclusión me gustaría compartir con vosotros el corolario que mi compañero Adolfo y yo hemos sacado al final del primer dia:
Grid has died. God save the Cloud!
Mañana más
Fernando
Antes de comentar la primera jornada, decir que Santander es muy muy bonito y la bahía es preciosa. Además, el enclave del Palacio de la Magdalena es realmente espectacular. Tienen suerte estos santanderinos, sí señor.
Por lo que respecta a mi primera jornada de curso (que repito, en realidad es la segunda), he de decir que he podido constatar, ya de forma fehaciente, y sin ningún genero de dudas (al menos para mí) que el Grid tiene los dias contados. No es nada nuevo, lo sé, pero yo también me uno, a partir de ahora, públicamente a esa idea. Podría desgranar muchas razones para justificarlo, pero ahora no tengo tiempo (probablemente dedique en breve un post exclusivamente a ello). En resumen diré, copiando del título de una canción muy popular en los 80, "Cloud kill the Grid star". El tanden cloud/virtualization soluciona todas las situaciones que el grid resolvía y, también, las que éste no es capaz de abordar (al menos de forma, digamos, "elegante").
Comentando específicamente las presentaciones del día de hoy. La primera corrió a cargo de Claudio Vuerli (INFN) y habló sobre el futuro de la comunidad astronómica y astrofísica tras EGEE III. Bajo mi punto de vista, tengo serias dudas de que permanezcan en esa comunidad más que unos pocos institutos nacionales que siempre pueden sacar dinerillo de aquí y allá para mantener las infrastructuras y a la gente. Después habló Rafael López Caniego y Patrick sobre aplicaciones astrofísicas portadas al Grid. Causa admiración que la gente haga cosas tan interesantes pese a los handicaps del middleware de EGEE.
Tras ellos, Rosa Badía (BSC) e Ignacio Martín Llorente (UCM) hablaron sobre Middleware para procesamiento paralelo y virtualización respectivamente. Sin despreciar a los demás ponentes: esto ya es otro nivel (entiéndanme, yo soy un ingeniero informático de la rama de sistemas). La Dr. Badía explicó los productos que han desarrollado para paralelizar tareas de manera que son capaces de correr en arquitecturas many-core, clusters o grid dándole algunas pistas sobre como paralelizar el código. Por su parte, Ignacio hizo una breve introducción al cloud computing e hizo una presentación comparada de OpenNébula, el software que han desarrollado para montar cloud privados. Cómo sucedió en el último ESAC Grid Workshop, su presentación fue la mejor del dia bajo mi punto de vista.
Por la tarde tuvimos una breve introducción a MPI innecesariamente larga, puesto que nadie aprende MPI en un hora y media y sí consigue aburrir a los que saben y a los que no saben. Después Gonzalo Borges presentó CrossBroker. Un software desarrollado para facilitar el envío de trabajos MPI al grid. Es decir, ocultar en lo posible la incomodidad de usar el middleware de EGEE(entienden ahora por qué EGEE no va a ningún lado). Creo que probaré CrossBroker,
ya que administramos un sitio EGEE y, al menos, mientras lo tengamos operativo habrá que ofrecer los mejores servicios que podamos.
Como conclusión me gustaría compartir con vosotros el corolario que mi compañero Adolfo y yo hemos sacado al final del primer dia:
Grid has died. God save the Cloud!
Mañana más
Fernando
Suscribirse a:
Entradas (Atom)
Entradas
