gLite

Einführung

Die gLite Middleware wurde bzw. wird in den EU-Projekten EGEE bzw. EGEE-II auf der Basis des Large Hadron Collider Computing Grid (LCG) speziell für den Einsatz in verschiedenen wissenschaftlichen Disziplinen entwickelt. Sie integriert Komponenten anderer Middlewares wie z.B. Globus Toolkit und Condor. In gLite werden Ressourcen als Compute Element (CE) bezeichnet. Das zentrale Element in gLite ist der Ressource Broker (RB). Nutzer wenden sich mit Rechenaufträgen an den Ressource Broker, der dann für die Verteilung und überwachung der Rechenaufträge zuständig ist. Rechenaufträge werden durch eine Job Description Language (JDL) plattformunabhängig beschrieben. Weitere Komponenten eines Grids auf der Basis von gLite dienen der Authentifizierung und Autorisierung von Nutzern, dem Erfassen von Aktivitäten und Zuständen von Berechnungen im Grid (Logging) oder dem Steuern von Berechnungen auf einem Computing Element. Die gLite-Grid-Middleware ist open source mittlerweile in Version 3.1 verfügbar und bietet sämtliche Grid-Basisoperationen an. Die gLite-Grid-Middleware hat eine serviceorientierte Architektur mit folgenden Core-Leistungen: (1) Der Resource Broker, auch Workload Management System (WMS) genannt, ist verantwortlich für die Verteilung und das Management von Rechenaufträgen. Jobs werden vom User Interface (UI) in Form einer JDL-Datei an den RB geschickt. Es ist die Aufgabe des Resource Brokers aus der JDL-Beschreibung die Anforderungen an Ressourcen zu ermitteln und anhand der Meldungen von Replica Catalogue (RC) und Information Service (IS) die sinnvollste verfügbare Ressource für den Job im Grid zu ermitteln, um so eine effiziente Jobausführung zu garantieren. Dieses Verfahren wird als Match-making bezeichnet. Der RB leitet den Job mitsamt des Input Sandbox an das ausgewählte Computing Element (CE) weiter. Nach der Anfrage vom User Interface verpackt er den Output in ein Output Sandbox und schickt es an das User Interface zurück. (2) Das Computing Element beinhaltet eine Reihe von Working Nodes (WN), in denen die Arbeitsaufträge verarbeitet werden. Die Hauptaufgabe eines CEs ist die Verwaltung der Jobs-Submission z.B. des Batch-Management. Das CE findet für einen Job passende WNs und leitet den Job via Batchsystem weiter. Außerdem erfolgt dort die übersetzung von Nutzer-Domain Names auf Poolaccount-IDs (grid mapping). Grundsätzlich kann ein CE in zwei verschiedenen Modi funktionieren: entweder im Push-Modus (WMS schiebt die Jobs in die Queue) oder im Pull-Modus (wobei das CE das WMS nach Jobs fragt). (3) Der Working Node besteht aus Pool Accounts, führt die Executables aus und meldet sich mit dem Output oder einer Fehlermeldung bei dem CE. (4) Das Logging: Die Logging- und Bookkeepingfunktionalitäten speichern alle relevanten Ereignisse, die bei der Ausführung der Jobs passieren. Hier melden sich andere gLite-Dienste, so dass der Logging-Service detaillierte Statushistorien für jeden Job nachweisen kann; und zwar von der Ressourcenfindung bis zur Ergebnispräsentation und Ressourcenfreigabe. Die Information ist für den Benutzer z.T. durch die Abfrage glite-wms-job-status vom User Interface (UI) aus sichtbar. (5) Durch das User Interface greift der Nutzer auf das Grid zu. Die bekanntesten Kommandos sind glite-wms-job-submit für die Job-Submission, glite-wms-job-cancel zum Abbrechen von Jobs und glite-wms-job-output zum Abholen des Outputs. Hier wird auch der Credential Delegation Service (CDS) durch voms-proxy-init ausgeführt. Die Grid Security Infrastructure (GSI) ermöglicht die sichere Authentifizierung u.a. durch X.509 Zertifikate und das SSL Protokoll. (6) Das Virtual Organisation Management System (VOMS): Die Benutzerautorisierung über Virtuelle Organisationen beruht auf zentralen Datenbanken (VOMS - eine Datenbank pro VO). Die Information wird von den Komponenten RB, CE und Storage Element (SE) gelesen, um so eine lokale Liste von autorisierten Benutzern zu erzeugen. Dazu existieren Servicegruppen die Zugang zu Datenspeichern ermöglichen, Katalogdienste anbieten (Catalogue Services) und Schnittstellen für das Monitoring (Monitoring System) bereitstellen.

Lernziele

Diese Lerneinheit bietet eine Auswahl an Videovorträgen und Webseiten zu gLite, die in naher Zukunft noch um ein übungssystem nebst Anleitung und ein interaktives online Lernmodul erweitert werden soll. Außerdem enthält das dCache-übungssystem ein gLite-User Interface. Eine große Auswahl weiterer Schulungsmaterialien zu diesen und anderen Themen finden Sie darüber hinaus auf unserem SuGI-Schulungsportal unter der Rubrik 'Schulungsinhalte' oder über die Volltextsuche.

Zusammengestellte Dokumentsammlung

Screenshot

(2 Bewertung(en))

German
Videovortrag  –  IVOM-Workshop  –  IVOM
Erstellt am: 02.09.2008
Aktivität: 
Keywords: Shibboleth, gLite
Abstract: Introduction; Short-Lived Credential Service (SLCS) (Phase 1); VOMS Attributes for SHibboleth (VASH) (Phase 2); Outlook: SAML Support in Grids (Phase 3); Summary
Screenshot

(0 Bewertung(en))

English
The Grid in five minutes?
Videovortrag  –  GridKa-School 2007
Erstellt am: 02.09.2008
Aktivität: 
Keywords: gLite, g-Eclipse
Abstract: The g-Eclipse project aims to build an integrated workbench framework to access the power of existing Grid infrastructures. The framework is built on top of the Eclipse platform. The focus of the framework is the development of reliable and easy-to-use tools to access Grids in a middleware independe...
Screenshot

(1 Bewertung(en))

English
dCacheToGo
Übungs- / Produktivsystem
Erstellt am: 02.09.2008
Aktivität: 
Keywords: dCache, SRM, gLite, Chimera
Abstract: Dieses Übungssystem richtet sich an Administratoren und Benutzer, die große Datenmengen in Grid-Umgebungen speichern und bereitstellen möchten. Das System enthält dCache 1.8, Chimera, 4 Pools, SRM 2.2, ein gLite User Interface und ein eingeschränktes Grid Zertifikat.
Screenshot

(1 Bewertung(en))

German
Videovortrag  –  4. Black Forest Grid Workshop
Erstellt am: 02.09.2008
Aktivität: 
Keywords: gLite, CERN, LHC, LCG
Abstract: The core of a grid production infrastructure for LHC computing is available. In the next two years the focus will be on scaling, monitoring and interoperation.
Screenshot

(0 Bewertung(en))

English
Videovortrag  –  GridKa-School 2007
Erstellt am: 02.09.2008
Aktivität: 
Keywords: gLite, Workflow
Abstract: With the emergence of grids scientists get access to more computing resources. Therefore they can compute much more complex problems which consist of many steps like complex system setups, different simulations and analysis. To organize the computation of the complex problems the need for a comforta...
Screenshot

(0 Bewertung(en))

English
Section 1. Job Submission Sample.
Lehrvideo  –  GridKa School 2008
Erstellt am: 26.03.2009
Aktivität: 
Keywords: gLite
Abstract: This recording was created using documentation for a course of gLite Introduction GridKA08 from Manuel Zeise (IEKP). This video introduces Hello World Application on Grid.
Screenshot

(0 Bewertung(en))

English
Section 2. Extended Job Submission
Lehrvideo  –  GridKa School 2008
Erstellt am: 26.03.2009
Aktivität: 
Keywords: gLite
Abstract: This recording was created using documentation for a course of gLite Introduction GridKa08 from Manuel Zeise (IEKP). This video presents an extended example for job submission in order to get system parameters of a computing resource in gLite Grid.
Screenshot

(0 Bewertung(en))

English
Section 3. Usage of requirements
Lehrvideo  –  GridKa School 2008
Erstellt am: 26.03.2009
Aktivität: 
Keywords: gLite
Abstract: This recording was created using documentation for a course of gLite Introduction GridKa08 from Manuel Zeise (IEKP). In this section an extended JDL file is created to set requirements on the architecture of computing resource.
Screenshot

(0 Bewertung(en))

English
Section 4. Data management
Lehrvideo  –  GridKa School 2008
Erstellt am: 26.03.2009
Aktivität: 
Keywords: gLite
Abstract: This recording was created using documentation for a course of gLite Introduction GridKA08 from Manuel Zeise (IEKP).This part of couse offers LFC (LCG File Catalog) Basics. Several practical examples for data operations on storage elements are given.
Screenshot

(0 Bewertung(en))

English
Section 5. Advanced job submission
Lehrvideo  –  GridKa School 2008
Erstellt am: 26.03.2009
Aktivität: 
Keywords: gLite
Abstract: This recording was created using documentation for a course of gLite Introduction GridKa08 from Manuel Zeise (IEKP). A presented in this part a Real World example combines all the features of gLite presented in previous Sections 1 till 4 and illustrates a rendering procedure on Grid.
Screenshot

(0 Bewertung(en))

English
Sourcecode
Archiv  –  GridKa School 2008
Erstellt am: 26.03.2009
Aktivität: 
Keywords: gLite
Abstract: This package contains code snippets for a course of gLite Introduction GridKA08, presented by Manuel Zeise (IEKP). All examples include some explaining comments.
Screenshot

(1 Bewertung(en))

Keywords: gLite
Abstract: The slides were presented on a course of gLite Introduction GridKA08, by Manuel Zeise (IEKP) and comprise major gLite topics about job submission and data management on Grid.
Screenshot

(0 Bewertung(en))

English
Section 1. Installing Worker Node
Lehrvideo  –  GridKa School 2008
Erstellt am: 21.04.2009
Aktivität: 
Abstract: This recording was created using documentation for a course of gLite Administration GridKa 2008 from Angela Poschlad (KIT) and Christoph Wissing (DESY). These step by step video take you through everything needed to install gLite Service Worker Node. Beginning with a simple setup of repositories, th...
Screenshot

(0 Bewertung(en))

English
Section 2. Installing Computing Element
Lehrvideo  –  GridKa School 2008
Erstellt am: 21.04.2009
Aktivität: 
Abstract: This recording was created using documentation for a course of gLite Administration GridKa 2008 from Angela Poschlad (KIT) and Christoph Wissing (DESY). The CREAM CE stands for Computing Resource Execution and Management. This video provides a detailed example how to install and configure a combinat...
Screenshot

(0 Bewertung(en))

Keywords: gLite, Installation, BDII
Abstract: This recording was created using documentation for a course of gLite Administration GridKa 2008 from Angela Poschlad (KIT) and Christoph Wissing (DESY). The lecture guides you through installation procedure of the Berkeley Database Information Index (BDII) on site. Primary important file locations a...
Screenshot

(0 Bewertung(en))

Keywords: gLite, Installation, WMS, RB
Abstract: This recording was created using documentation for a course of gLite Administration GridKA08 from Angela Poschlad (KIT) and Christoph Wissing (DESY). This lecture carries through an installation procedure for Workload Management System (WMS). The offered material covers complete setup mechanism of W...
Screenshot

(0 Bewertung(en))

Abstract: This recording was created using documentation for a course of gLite Administration GridKa 2008 from Angela Poschlad (KIT) and Christoph Wissing (DESY). The video demonstrates installation and configuration routine of the gLite component MonBox. At the end, exercises to check the proper service oper...
Legende: 
 Grundlagen 
 Fortgeschritten 
 Experten