D-Grid
Die D-Grid-Initiative ist eine Grid-Computing-Initiative in der Bundesrepublik Deutschland.
D-Grid hat das Ziel, eine nachhaltige Grid-Infrastruktur sowohl für Forschung und Entwicklung sowohl im akademischen als auch im industriellen Bereich in Deutschland aufzubauen. Die Aufbauphase wird seit dem 1. September 2005 durch das Bundesministerium für Bildung und Forschung (BMBF) mittels mehrerer Ausschreibungsrunden mit mehr als 70 Millionen Euro gefördert. Im Rahmen dieser Förderung wurden mehr als 20 Projekte initiiert, an denen sich mehr als 100 deutsche Forschungseinrichtungen beteiligen. Weiterhin wurde über Sondermaßnahmen Rechen- und Speicherinfrastruktur zur Verfügung gestellt, um einen reibungslosen Übergang zu einem Gridbetrieb ohne Beeinträchtigung des aktuellen Infrastrukturangebotes zu gewährleisten.
Die D-Grid Projekte lassen sich in Gruppen Basisdienste, Höhere Grid-Dienste, Akademische Disziplinen und Kommerzielle Nutzer unterteilen.
Basisdienste
Unter Basisdiensten versteht man ein Angebot von Diensten, die für die Funktionsfähigkeit eines Grids unverzichtbar sind. Dazu gehören die Bereitstellung von Grid-Middleware und die Einrichtung eines Betriebskonzeptes, das Sicherheitsaspekte und die Bildung von virtuellen Organisationen (VO) abdeckt. Diese Basisdienste werden von dem D-Grid Integrationsprojekt (DGI 1: Sept. 2005 – Aug. 2007; DGI 2: Jan. 2008 – Dez. 2010) zur Verfügung gestellt. Um auf neue Anforderungen von Nutzern zu reagieren, wurden weiterhin sogenannte Gap-Projekte eingerichtet, die spezielle Basisdienste zur Verfügung entwickeln und eng mit dem Integrationsprojekt zusammenarbeiten.
Höhere Dienste
Höhere Grid-Dienste betreffen Anforderungen, die zwar nicht generell für den Betrieb eines Grids notwendig sind, aber auch nicht nur von einer Disziplin genutzt werden können. Beispiele für diese Dienste sind Dienste für das Ressource Management, für die Einrichtung und die Überwachung von Service-Level-Agreements (SLA) oder für die Datenhaltung. Projekte, die diese Dienste entwickeln, stellen sicher, dass die Dienste auf den Basisdiensten aufbauen und leicht von verschiedenen Disziplinen integriert werden können.
Akademische Disziplinen
In vielen wissenschaftlichen Disziplinen werden große Datenmengen verwendet, die allen Wissenschaftlern einer Disziplin zur Verfügung gestellt werden. Aufgrund der räumlichen Verteilung der Wissenschaftler ist die Verwendung einer Grid-Struktur unvermeidlich. Zur Förderung der Grid-Verwendung wurden Projekte in den Gebieten Astronomie, Hochenergiephysik, Klimaforschung, Medizin, Ingenieurwissenschaften und Geisteswissenschaften eingerichtet. Innerhalb dieser Projekte werden disziplinspezifische Grid-Dienste entwickelt. Die jeweiligen Projekte sollen den Grundstock für disziplinorientierte Grid-Strukturen legen, die möglichst alle Wissenschaftler der jeweiligen Disziplin bei der Verwendung des Grids unterstützen.
Kommerzielle Nutzer
Während Großunternehmen mit mehreren oft global verstreuten Standorten vielfach ihr eigenes Enterprise-Grid aufbauen, ist dies für kleinere Unternehmen vielfach nicht möglich. Diese Unternehmen benötigen zwar in steigendem Maße Zugriff auf IT-Ressourcen, aber die Anschaffung und der Betrieb dieser Ressourcen sind für sie mit zu hohen Kosten verbunden, zumal der Bedarf schubweise und nicht kontinuierlich auftritt. Das Grid mit unabhängigen Dienst- und Ressourcenanbietern ist für solche kleineren Unternehmen eine vielversprechende Alternative, wenn die Dienste auf die Bedürfnisse der Unternehmen abgestimmt sind. In den entsprechenden Projekten sollen solche Dienste in Zusammenarbeit mit Unternehmen aufgebaut werden.
Projektbeispiele
Nachstehend sind einige Projekte der D-Grid-Initiative näher beschrieben:
AstroGrid-D
Im AstroGrid-D (auch German Astronomy Community Grid, GACG) arbeiten insgesamt 13 Wissenschaftseinrichtungen aus den Fachgebieten Astronomie und Informatik sowie Hochleistungsrechenzentren zusammen. Hauptziel ist die Einbindung der astronomischen Forschungsinstitute in Deutschland in eine einheitliche Grid-basierte Infrastruktur, um verteiltes, kollaboratives Arbeiten zu fördern. Existierende Hard- und Softwareressourcen, u. a. astronomische Datenarchive und robotische Teleskope in den beteiligten Forschungsinstituten, sollen integriert werden.
AstroGrid-D unterstützt die Standards der International Virtual Observatory Alliance (IVOA) und arbeitet mit internationalen Grid-Projekten zusammen. Die Leitung des AstroGrid-D liegt beim Astrophysikalischen Institut Potsdam (AIP).
C3-Grid
Im Collaborative Climate Community Data and Processing Grid, kurz C3-Grid, gibt es einen Verbund von Klimaforschern. Dieses Projekt beschäftigt sich nicht nur mit der Klimaforschung, sondern auch mit den Wechselwirkungen des Klimasystems mit sozio-ökonomischen Systemen. Bei der Klimaforschung wird mit komplexen Modellen das Verhalten des Erdsystems simuliert. Die dabei anfallenden Modelldaten werden neben den kontinuierlich anfallenden Beobachtungsdaten der Wetterdienste in Archiven an verschiedenen Standorten gesammelt. Für eine umfangreiche (globale und regionale) Analyse dieser Daten ist es notwendig, diese Archive miteinander zu vernetzen und im C3-Grid zu bearbeiten. Auch durch die Auswertung und Speicherung von Satellitendaten existiert in der Klimaforschung ein stetig größer werdender Bedarf nach Speicherplatz und Rechenkapazität. Die Möglichkeit, die anfallenden Daten in einem Grid abzulegen und zu analysieren, soll die Arbeit der Klimaforscher und deren Zusammenarbeit unterstützen. Die Leitung des C3-Grid liegt beim Alfred-Wegener-Institut für Polar- und Meeresforschung (AWI) in Bremerhaven.
D-Grid IaaS
Zu Beginn des Grid Computing wurden für die verschiedenen Grid Middlewares proprietäre Implementierungen u. a. in den Bereichen Autorisation, Monitoring und Scheduling entwickelt. Erst seit wenigen Jahren besteht der Trend zur Standardisierung und Angleichung der Grid Middlewares. Eine ähnliche, allerdings beschleunigte Entwicklung widerfährt dem Cloud Computing. Bei Cloud Computing Angeboten kann es sich sowohl um IaaS handeln, aber auch um SaaS oder PaaS. Allerdings wird der Begriff Cloud Computing oft nur mit Amazons Angebot der EC2 in Verbindung gebracht.
Bisher erfolgt der Zugriff auf D-Grid Ressourcen über die drei im D-Grid etablierten Grid Middlewares gLite, Globus Toolkit und UNICORE. Diese Middlewares wurden ursprünglich für einen akademischen Kundenkreis entwickelt und bringen eine weitgehend nicht-intuitive Nutzbarkeit mit sich. Gerade bei der Gewinnung von kleinen und mittelständischen Unternehmen als Neukunden schreckt die damit verbundene Komplexität ab und wird durch das EC2 Angebot reduziert. Die Ausfüllung der vierten Middlewaresäule des D-Grid soll durch eine Compute Cloud Middleware, den eCloud Manager, erfolgen. Dieser unterstützt bereits in seiner aktuellen Version die Ansteuerung von VMware, Xen und Hyper-V, wodurch D-Grid Ressourcenanbieter frei in der Wahl ihrer Virtualisierungsumgebung bleiben.
An dem D-Grid IaaS Projekt sind das Institut für Roboterforschung der Technischen Universität Dortmund und die fluid Operations AG beteiligt.
GDI-Grid
Das Geodaten-Infrastrukturen-Grid bildet in einem Konsortium aus Hochschulen und Unternehmen ein Projekt zur Hinführung bereits bestehender Geodateninfrastrukturen an Grid-Technologien. Die teilweise sehr rechenaufwändigen Prozesse und Algorithmen, die von Geowissenschaftlern zur Modellierung und Simulation eingesetzt werden, sollen von der nationalen Grid-Infrastruktur profitieren, indem Rechen- und Speicherkapazitäten dezentral genutzt werden. Zunächst sollen sich häufig wiederholende Prozessierungsaufgaben (wie etwa Tesselation) in Grid-Prozesse ausgelagert werden. Weiterhin soll das sehr hohe Datenaufkommen in Geodateninfrastrukturen (z. B. DGM, Karten- und Metadatenkataloge) möglichst dezentral und im Rahmen der jeweils geltenden Lizenzbestimmungen für alle Berechtigten zugänglich gemacht werden.
Die Verkettung verschiedener Prozessierungsschritte zu anschaulichen Anwendungsmodellen wird durch drei Beispielszenarien demonstriert:
- In einem Szenario zur Überflutungssimulation werden Katastrophen wie die Elbeflut durch die Kombination von Grid- und GDI-Technologien simuliert.
- Die Ausbreitung von Verkehrslärm im Straßennetz einer Stadt und dessen Auswirkung auf die umliegenden Wohn- und Gewerbegebiete stellt den Gegenstand einer zweiten Simulation dar.
- Ein drittes Szenario soll Rettungskräfte mit einer Möglichkeit versorgen, im Katastrophenfall eine dynamische Wegeplanung zu erstellen, wobei Mittel der traditionellen Fahrzeugnavigation um eine grid-gestützte Berechnung und die Berücksichtigung von Hindernissen (etwa durch umgestürzte Bäume oder Trümmer) erweitert werden.
Das GDI-Grid-Projekt wird vom Regionalen Rechenzentrum für Niedersachsen (RRZN) der Universität Hannover geleitet.
HEP-Grid
Das HEP-Community-Grid, oder kurz HEP-Grid, ist das deutsche Hochenergiephysik-Grid. Die Leitung dieses Projekts liegt beim Deutschen Elektronen-Synchrotron (DESY) in Hamburg, es arbeiten neun deutsche Institute und Universitäten sowie eine Reihe von assoziierten Partnern mit.
Hauptziel des HEP-Grids ist es, die Datenauswertung in der Hochenergiephysik durch die effiziente Nutzung verteilter und vernetzter Speicher- und Rechnerressourcen zu verbessern. Die geplanten Entwicklungen sind wichtige Ergänzungen zu der benutzten Gridsoftware aus den Projekten Enabling Grids for E-sciencE (EGEE) und LHC Computing Grid (LCG). Sie sind ein bedeutender Beitrag zur Datenanalyse laufender und zukünftiger Großexperimente, etwa am Large Hadron Collider (LHC) bei CERN oder an dem geplanten Internationalen Linearcollider (ILC).
InGrid
Das Community-Projekt InGrid ist ein Zusammenschluss im Bereich der Ingenieurwissenschaften. InGrid ermöglicht grid-basierte Anwendungen und effiziente Nutzung gemeinsamer Rechner- und Software-Ressourcen für ingenieurwissenschaftliche Projekte. Im Rahmen dieses Projektes soll eine Grid-Umgebung für ingenieurwissenschaftliche Anwendungen erstellt werden. Durch den flexiblen Einsatz von Grid-Technologien sollen Modellierungs-, Simulations- und Optimierungskompetenz zusammengeführt, sowie die gemeinsame Nutzung von Ressourcen effizient ermöglicht werden.
Fünf typische Anwendungsgebiete (Gießereitechnik, Umformung, Grundwasserströmung und -transport, Turbinensimulation und Interaktion von Strömungs- und Strukturmechanik) sollen exemplarisch bearbeitet werden, um die drei zentralen Bereiche rechenintensiver ingenieurwissenschaftlicher Anwendungen (gekoppelte Multiskalenprobleme, gekoppelte multidisziplinäre Probleme sowie verteilte simulationsbasierte Optimierung) abzudecken. Insbesondere werden adaptive und skalierbare Prozessmodelle und Grid-basierte Ablaufumgebungen für diese Aufgabenstellungen entwickelt.
Ingenieurwissenschaftliche Forschung ist von Natur aus anwendungs- und industrienah. Die Unterstützung von virtuellem Prototyping und die Optimierung ingenieurwissenschaftlicher Abläufe ist daher ein Schwerpunkt des Projekts. Die Leitung von InGrid liegt beim Höchstleistungsrechenzentrum (HLRS) der Universität Stuttgart.
MediGRID
Im Verbundprojekt MediGRID haben sich renommierte Forschungseinrichtungen in den Bereichen Medizin, Bioinformatik und Gesundheitswissenschaften als Konsortialpartner zusammengeschlossen, um eine Grid-Middleware-Integrationsplattform und darauf aufsetzende eScience-Dienste für die biomedizinische Wissenschaft zu entwickeln. Die weitere Einbeziehung zahlreicher assoziierter Partner aus Industrie, Versorgungs- und Forschungseinrichtungen stellt das Projekt auf eine breite Interessensbasis.
Für das Projekt wurde eine modulare Aufgabenverteilung gewählt: In den vier methodischen Projekt-Modulen (Middleware, Ontologie-Werkzeuge, Ressourcenfusion und eScience) entwickeln die entsprechenden Konsortialpartner schrittweise eine Grid-Infrastruktur. Sie berücksichtigen dabei insbesondere die Anforderungen der Grid-Nutzer aus dem biomedizinischen Umfeld, welche exemplarisch in den drei anwendungsorientierten Projektmodulen (Biomedizinische Informatik, Bildverarbeitung, Klinische Forschung) erarbeitet werden.
SuGI
SuGI – Sustainable Grid Infrastructure – ist ein Gap-Projekt der D-Grid-Initiative mit dem Ziel, Grid-Computing in die Fläche zu tragen und dort nutzbar zu machen. Das Projekt ist auf die Vielzahl kleinerer und mittlerer Rechenzentren an Hochschulen und Unternehmen ausgerichtet, die Grid-Technologien bisher nicht oder nur in geringem Maße nutzen. Sie werden in der Bereitstellung von Grid-Ressourcen und Services unterstützt.
Über den Aufbau einer skalierenden Trainingsinfrastruktur (SuGI-Schulungsportal[1]), technische Hilfestellungen bei der Installation und dem Betrieb der Middleware sowie über die Entwicklung und Evaluierung rechtlicher und organisatorischer Strukturen leistet SuGI einen nachhaltigen Beitrag zur Entstehung einer Grid-Plattform für e-Science in Deutschland.
TextGrid
Obwohl e-Science-Konzepte und Grid-Technologien ursprünglich aus den Naturwissenschaften und der Medizin stammen, gibt es auch breite Einsatzgebiete in den Geisteswissenschaften und der Kunst. TextGrid ist das erste geisteswissenschaftliche Grid-Projekt in Deutschland, und somit gemeinsam mit anderen e-Humanities-Initiativen der ersten Stunde an der "Gridifizierung" der Geisteswissenschaften beteiligt.
TextGrid liefert auf diese Weise einen Beitrag zur textbasierten Forschung. Eine grid-fähige Workbench ermöglicht die gemeinschaftliche philologische Bearbeitung, Analyse, Annotation, Edition und Publikation von wissenschaftlichen Texten. Grid-Technologien verbinden die vorhandenen Textarchive, und – inspiriert von Ansätzen und Entwicklungsmöglichkeiten zum Semantic Grid – deren Ressourcen wie Textkorpora, Wörterbücher und Nachweisinstrumente untereinander verknüpfen. Die für weitere Projekte offenen Schnittstellen ermöglichen Synergien mit anderen Initiativen in der wissenschaftlichen Textdatenverarbeitung sowie eine Rationalisierung des wissenschaftlichen Arbeitens unter anderem durch optimierten Zugriff auf Primärquellen und Werkzeuge.
In TextGrid kooperieren folgende fachwissenschaftliche und technische Partner: die SUB Göttingen (Projektleitung), das Institut für Deutsche Sprache, die Max Planck Digital Library, die Universität Trier, die Hochschule Worms, die Universität Paderborn, die Technische Universität Kaiserslautern, die Ludwig-Maximilians-Universität München, die Universität Würzburg sowie die Firma DAASI International GmbH.
WISENT
WISENT ist das Wissensnetz Energiemeteorologie – ein vom BMBF gefördertes e-Science-Projekt zur informationstechnisch optimierten Zusammenarbeit von Organisationen, die Forschung und Entwicklung im Bereich Energiemeteorologie betreiben. Der Schwerpunkt liegt dabei auf erneuerbaren Energien, die in besonderem Maße vom Wetter abhängen.
Die Partner in WISENT sind das Deutsche Zentrum für Luft- und Raumfahrt (DLR), die Universität Oldenburg, das Oldenburger Forschungs- und Entwicklungsinstitut für Informatik-Werkzeuge und -Systeme (OFFIS) und die meteocontrol GmbH.
Mit der Konstruktion des durch die Helmholtz-Gemeinschaft geförderten virtuellen Instituts für Energiemeteorologie (vIEM) ist eine institutionelle Basis geschaffen, die im IT-Bereich nun eine Ergänzung durch innovative gridbasierte Techniken für den Zugriff auf verteilte und vielfach sehr heterogene Ressourcen und deren verteilte Bearbeitung notwendig macht. Merkmal der Arbeiten im vIEM ist die gemeinsame Nutzung und Bearbeitung großer Datenbestände (in der Größenordnung vieler Terabyte), für die gegenwärtig noch keine ausreichend leistungsfähigen Instrumente und Dienste verfügbar sind. Die parallele Verarbeitung der Daten stellt einen vielversprechenden Lösungsweg für diese Probleme dar.
ValueGrids
ValueGrids konzipiert und entwickelt einen integrierten Ansatz für das Service Level Management in Wertschöpfungsnetzen. Dadurch werden Anbieter von Software-as-a-Service in die Lage versetzt, die D-Grid Infrastruktur nachhaltig zu nutzen.
Die Kooperationspartner von ValueGrids sind: die SAP AG (Koordination), die Conemis AG, die IBM Deutschland Research & Development GmbH, die Albert-Ludwigs-Universität Freiburg und das Karlsruher Institut für Technologie.