Sistema de colas Condor en CICA

50 %
50 %
Information about Sistema de colas Condor en CICA

Published on February 18, 2008

Author: jcrubio

Source: slideshare.net

Description

Sistema de colas Condor en CICA, por Ana Silva

Sistema de colas CONDOR Juan Antonio Ortega Ana Silva

Contenidos Conceptos previos Cluster CICA ¿Qué es Condor? ¿Qué muestra Condor? Tipos de máquinas Condor Tareas Condor (ClassAd) Universos Condor Comandos básicos

Conceptos previos ✗ UMA : acceso uniforme a memoria. La memoria física se comparte de forma uniforme por todos lo procesadores. ✗ NUMA : acceso no uniforme a memoria. La memoria está distribuida entre los procesadores. Se usa el paso de mensajes para la comunicación entre memorias. ✗ Memoria : Compartida por red (Sistemas de disco, sistema de ficheros compartidos).

Conceptos previos ✗ MPI : Interfaz de paso de mensajes. Librerías estándares entre nodos que ejecutan un programa en un sistema de memoria distribuida. ✗ Pool : colección de procesadores que usa Condor. ✗ Paralelización : optimización de aplicaciones para su ejecución en multiprocesadores.

¿Qué es un cluster? Conjunto de ordenadores que trabajan de forma conjunta, que permite la distribución de una gran carga de trabajo entre ellos. ¿Por qué usamos clusters? Por su bajo coste frente a una sola máquina con gran potencia de cálculo, es decir, con un gran número de procesadores. Tipos de clusters Alta disponibilidad: máquinas que siempre deben estar en servicio. Reparto de carga : máquinas en las cuales hay un acceso másivo. Alto rendimiento : máquinas de cáculo intensivo.

Cluster CICA Cluster - ~200 procesadores - Arquitectura 64 bits - 4 GB RAM por nodo - Herramientas de administración: C3, Ganglia - 200 GB de disco por nodo - Sistema de disco Sata-Ethernet “Coraid” Capacidad ~ 6 Teras - Sistema de ficheros compartidos LUSTRE - Herramientas software: - Compiladores Intel (Fortran, C++) - Bibliotecas matemáticas: Lapack Blas e Intel MKL. - OpenMPI

¿Qué es Condor? ✗ Sistema de gestión de carga para tareas de computación intensivas. ✗ Proporciona un sistema de colas, políticas de planificación de ejecución, esquema de prioridades, monitorización y gestión de recursos.

¿Para qué sirve Condor? Es un sistema que nos permite abordar tareas de cálculo que sobrepasan a la capacidad de cálculo de una máquina individual. Aplicaciones actuales: ✗ Simulaciones de Física Cuántica. ✗ Simulación molecular y de sist. periódicos. ✗ Cálculos de redes neuronales. ✗ Estudios de cambio climático en Andalucía. ...

Máquinas Condor I ✗ Submit : máquinas desde donde los usuarios lanzan sus tareas. ✗ Execute: máquinas donde se ejecutan las tareas. ✗ Central-manager: máquina desde la cual se monitorizan los nodos y las tareas enviadas.

Máquinas Condor II En todas las máquinas la instalación de Condor es “full-install”, sólo se diferenciarán en su fichero de configuración “condor_config”. En nuestro caso... Máquina Central-manager y Submit “condor.cica.es” Resto de máquinas Execute “Cluster CICA” Los usuarios de Condor tendrán acceso a condor.cica.es, desde la cuál lanzarán las tareas.

Definición de trabajos I ✗ El envío de tareas se realiza mediante un fichero de información creado para Condor : CLASSAD ✗ El ClassAd lo debe crear el usuario para cada tarea que se vaya a lanzar. ✗ Debe informar de la tarea en sí, su ejecutable, sus argumentos, los ficheros de datos a procesar, los requerimientos de la máquina que necesite usar... ✗ Condor, se encarga de preparar el entorno, copiando en el nodo donde se envíe la tarea el ejecutable, creando ficheros de salida y un log, previamente definido por el usuario.

Definición de trabajos II ✗ Supongamos lo siguiente: Mi ejecutable es programa.exe Necesita los argumentos arg1 arg2 Debe ejecutarse sobre Linux 64 bits Lo lanzamos a la cola ✗ Crearíamos un fichero con la siguiente información, executable = programa.exe requirements = (Arch == “X86_64” && OpSys == “LINUX”) arguments = arg1 arg2 Queue

Atributos para ClassAd ✗ Al ejecutar condor_q -l , Condor nos mostrará una lista con los atributos que cumple el cluster para las tareas. (Memoria en uso, prioridad...) ✗ Ejecutando condor_status -l Condor mostrará los atributos referidos a las características de los nodos. (Sistema operativo, arquitectura...) ✗ Ambas clases de atributos podrán usarse para la creación del ClassAd, ya sea como requerimiento o valor determinado.

Universos Condor I ✗ ¿Qué es un universo para Condor? Es un entorno de ejecución. Conjunto de recursos que Condor pone a disposición de las tareas que van a ejecutarse en el cluster.

Universos Condor II Condor para definir sus tareas, las agrupa por universo. Contamos con los siguientes : ✗ Universo Standard ✗ Universo Vanilla ✗ Universo Parallel ✗ Universo Java

Universo Standard Se usa para lanzar tareas que han sido especialmente preparadas para su ejecución bajo Condor. Les hace adquirir características, como por ejemplo: migrar de nodo.

Ejemplo Universo Standard Ejemplo: #include <stdio.h> condor_compile gcc hello.o -o hello int main(void) { printf(quot;hello,Condornquot;); return 0; gcc -c hello.c -o hello.o } ############################################# # Submit description file for hello program # ############################################# Executable = hello Universe = standard Output = hello.out Log = hello.log Queue

Universo Vanilla Se usa para lanzar tareas que no han sido “condorizadas”. Es el universo más usado. Si una tarea se puede lanzar bajo cualquiera de los demás universos, se puede lanzar bajo el Universo Vanilla. Devolverá los resultados a un fichero de salida.

Ejemplo de universo Vanilla Ejemplo: ########################################### # # # Example condor submit file for Matlab # # # ########################################### Universe = vanilla Executable = /afs/engr.wisc.edu/apps/bin/matlab Arguments = -nodisplay -nojvm Input = condor.input Output = condor.output Error = condor.error Log = condor.log should_transfer_files = yes when_to_transfer_output = on_exit_or_evict Queue

Universo Parallel El universo Parallel permite la ejecución de tareas MPI. Necesita el atributo machine_count, que indica el número de máquinas que se van a usar para ejecutar esa tarea. ✗ Planificador dedicado: Este universo se basa en que debe existir un elemento (llamado planificador dedicado) definido por el administrador del sistema, que hará una reserva de recursos en el cluster antes de lanzar la tarea.

Ejemplo Universo Parallel Ejemplo: ###################################### ## Example submit description file # ## for LAM MPI # ###################################### universe = parallel executable = lamscript arguments = my_lam_linked_executable arg1 arg2 machine_count = 4 Scheduler = DedidicatedScheduler@nombre.dominio should_transfer_files = yes when_to_transfer_output = on_exit transfer_input_files = my_lam_linked_executable queue

Universo Java Es el universo para la gestión de tareas en java. Se basa en la máquina virtual Java. La cual Condor prepara para la ejecución de la tarea. ✔ Condor dispone del comando condor_status -java que permite ver los nodos que disponen de java y con cuál versión cuentan.

Ejemplo Universo Java Ejemplo public class Hello { public static void main( String [] args ){              System.out.println(quot;Hello, world!nquot;);} } javac Hello.java ##################################### # Example 1                         # # Execute a single Java class,      # # not on a shared file system       # ##################################### universe       = java executable     = Hello.class arguments      = Hello output         = Hello.output error          = Hello.error should_transfer_files = YES when_to_transfer_output = ON_EXIT queue

ClassAd Condor-CICA Dada a la arquitectura y configuración del cluster CICA hay atributos que serán comunes en el ClassAd: ✗ Universe : siempre habrá que indicarlo en el ClassAd. ✗ requirements : indicará las caracteristicas de los nodos executes. En nuestro caso su valor siempre será: requirements = (Arch == “X86_64” && OpSys == “LINUX”) ✗ should_transfer_files : este atributo es necesario cuando no se tiene memoria compartida, como es el caso del cluster CICA. Por lo que su valor será “YES”.

ClassAd Condor-CICA ✗ when_to_transfer_output : este atributo indicará cuando transfiere la ejecución los ficheros de salida. En nuestro caso indicaremos “ON_EXIT”, que nos dará los resultados al término de la tarea. ✗ Scheduler : Tan solo cuando lancemos tareas al universo Parallel indicaremos en este atributo el siguiente valor: Scheduler=“DedicatedScheduler@condor.cica.es” ✗ queue : indica que la tarea será puesta en la cola. Es un parámetro obligatorio.La ejecución de la tarea no será secuencial, sino paralela.

En resumen universe = universe executable = executable arguments = arg1 arg2 ... requirements = (Arch == quot;X86_64quot; && OpSys == quot;LINUXquot;) log = logfile output = outfile.$(NODE) error = errfile.$(NODE) should_transfer_files = yes when_to_transfer_output = on_exit Scheduler = quot;DedicatedScheduler@condor.cica.esquot; queue

Comandos básicos ✗ Comprobación del estado de los nodos condor_status Mostrará una lista con todos los nodos del sistema de colas y su ocupación en ese instante. Se podrá ejecutar en cualquier nodo. ✗ Comprobación de la cola de tareas condor_q Mostrará la lista de tareas pendientes, en ejecución o retenidas que están en cola. Tan solo se podrá ejecutar en el Central-Manager. O bien añadiendo -global desde cualquier otro nodo.

Comandos básicos ✗ Borrado de las tareas lanzadas condor_rm [número de tarea] Eliminará las tareas que el propio usuario ha lanzado. ✗ Lanzado de tareas condor_submit ClassAd Se debe ejecutar desde el directorio donde se encuentren todos los ficheros que usen el ClassAd (ejecutable, argumentos, ficheros transferidos...)

Estado de los nodos Cuando ejecutamos condor_status se muestran los siguientes valores, ✗ State Unclaimed : Sin reclamo, no está reservado. Claimed : reclamado, pasará a Busy. Owner : está siendo usado por el S.O. ✗ Activity Idle : Ocioso, no está ejecutando ninguna tarea. Busy : Ocupado, está ejecutando alguna tarea.

Estado de las tareas Cuando ejecutamos condor_q se muestran los siguientes valores, ✗ State (ST) I : Idle, pendiente de asignación de máquina. H : Held, retenida, ya sea por error en el ClassAd o bien por error en la ejecución. R : running, en ejecución. X : executed, ya ha sido ejecutada y se está eliminando de la cola.

En Desarrollo ✗ Acceso a los recursos de cluster mediante una interfaz Web. ✗ Automatización de la creación de ClassAds mediante una interfaz Web. ✗ Sistema de autentificación global mediante un servidor de LDAP.

Gracias por la atención Preguntas Correo: supercomputacion@cica.es Web: supercomputacion.cica.es

Add a comment

Related presentations

Related pages

Sistema de colas Condor en CICA - Technology

1. Sistema de colas CONDORJuan Antonio OrtegaAna Silva . 2. Contenidos Conceptos previos Cluster CICA ¿Qué es Condor? ¿Qué muestra Condor?
Read more

sistema de colas con 4 canales - Documents

Sistema de colas Condor en CICA Sistema de colas Condor en CICA, por Ana Silva Modelo de colas con distribución no exponencial Modelo de colas (M/G/1 ...
Read more

Sistema de Colas (Modelo de Línea De - Documents

Sistema de colas Condor en CICA Sistema de colas Condor en CICA, por Ana Silva Modelo M/M/s/k Teoria de Colas. Teoría modelo M/M/s/k. ...
Read more

Interfaz web para gestionar los recursos de ...

... (CICA) de la Junta de ... generados por el sistema de colas instalado en la máquina controladora, también existirá un espacio. ... the Condor ...
Read more

Teoría de Colas. Las Colas Actualmente las colas es un ...

En un sistema donde ... Sistema de pérdida de Erlang Un sistema de perdida es un sistema de colas en el cual las ... Sistema de colas Condor en CICA
Read more

⭐Interfaz web para gestionar los recursos de ...

... CICA, recursos de ... además de los informes generados por el sistema de colas instalado en la máquina ... the Condor experience CONCURRENCY AND ...
Read more

ABYA YALA INTERNACIONAL: mapuche-conaie,ec-amazonía-planta ...

... fueron detenidos por carabinero en ... Será porque pese a que le sigue poniendo las colas del cigarrillo en ... “tiene un destacable sistema ...
Read more

Bal des Conscrits de Besse - EventsDiscovery.com

J'espère que vous êtes motiver parce que ça se rapproche et nous on est en grande forme ! ;) #Conscrits 32 0. Emma Beauger. Monday, May 4, 2015 ...
Read more