Peter Berger
SGI Power Challenge XL R10000 Im Frühjahr 1996 wurde eine EU-weite Ausschreibung für einen Applikationsserver "Freie Progammierung" durchgeführt. Ziel dieser Ausschreibung war die Beschaffung eines Systems, das eine möglichst hohe Durchsatzleistung bei hoher Einzeljob-Performance aufweist.
Als maximaler Finanzrahmen standen öS 15 Mio. (Mietzahlungen, aufgeteilt auf 3 Jahre) zur Verfügung. In diesem Betrag waren die Miete der Hardware, die Wartung der Systeme und die Softwarelizenzen (für 3 Jahre) zu inkludieren, sodaß für das EDV-Zentrum keine weiteren Folgekosten anfallen.
Der Einsatzbereich der Systeme ist für Programme und Applikationen geplant, die von den Benutzern in Fortran oder C selbst geschrieben und entwickelt werden (daher der Name "Freie Programmierung").
Am 25. Juni 1996 wurde nach einer intensiven Evaluierungsphase der Zuschlag der Firma Silicon Graphics Computer Systems für ein Gesamtsystem bestehend aus drei Servern Power Challenge XL R10000 mit insgesamt 56 Prozessoren, 16 GByte Hauptspeicher und 66 GByte Plattenspeicher erteilt. Die Lieferung erfolgte in der ersten Juliwoche, mit der Aufnahme eines Testbetriebes konnte nach extrem kurzer Installationsphase am 8. Juli begonnen werden.
Nachdem die letzten Hardwarekomponenten geliefert und installiert wurden, konnte der Produktionsbetrieb mit allen drei Servern am 30. August 1996 aufgenommen werden. Natürlich gibt es noch eine Reihe offener Fragen und Probleme (Kopplungsfragen, Queue-Verteilung und -Handling, Parallelisierung usw.), entsprechende Tests mit anderen Batch- und Jobverteilungs-Systemen sind im Gange.
Der Hochleistungsserver Power Challenge XL ist ein SMP Shared Memory-System, basierend auf dem R10000 Microprozessor von MIPS Technologies mit einer Taktfrequenz von 195 MHz, skalierbar von 2 bis 36 CPUs (bis zu 4 CPUs auf einem Board). Die maximale Hauptspeichergröße (Shared Memory) beträgt 16 GByte (8 Boards mit je 2 GByte, 8-fach interleaved), der Zugriff zum Memory erfolgt über einen 128 Bit breiten Systembus mit einer Peak-Bandbreite von 1.2 GByte/s. Ein CDROM-Laufwerk und 20 Einschubplätze für SCSI-Platten (aufgeteilt auf 5 SCSI-FWD Controller) sind vorhanden, Ethernet, FDDI- und ATM-Interfaces sind als Kommunikationskomponenten vorgesehen.
Der Microprozessor R10000 von MIPS Technologies verfügt über eine 4-fach Superskalar-Architektur, d. h. es können 4 Instruktionen pro Zyklus dekodiert und abgearbeitet werden. Der Prozessor arbeitet mit einer Taktfrequenz von 195 MHz und ist in 0,35 my CMOS Technologie aufgebaut. Der Instruction Cache und der Primary Data Cache sind 32 KByte groß und 2-fach interleaved, der Secondary Data Cache ist 2 MByte groß und über einen internen Bus mit einer Peak-Transferrate von 3,2 GByte/s (128 Bit breit) verbunden.
Drei Instruction Queues, die Integer-, Floating Point- und die Address Queue greifen über 64 Physical Registers auf 2 Integer Arithmetic Logic Units und 3 Floating Point Units zu. Das folgende Blockdiagramm zeigt die Komponenten des R10000 Prozessors. Weitere Informationen befinden sich auch unter URL:http://www.sgi.com/.
Das Gesamtsystem besteht aus drei Servern SGI Power Challenge XL mit insgesamt
56 Prozessoren MIPS R10000 (195 MHz), 2MB Cache
16 GByte Hauptspeicher (8-fach interleaved)
5 SCSI-2 FWD Controller
42 GByte Plattenspeicher (System, Swap, Scratch, ...)
24 GByte für Home-Directories
3 CDROM Laufwerke
3 Konsolterminals
1 DLT Bandeinheit (40 Gbyte)
1 DAT (4mm)
3 Ethernetanschlüsse
3 FDDI-Interfaces DAS mit optischem Bypass
1 FDDI-Interfaces SAS (TUNET) Die Aufteilung dieser Komponenten ist in
der Konfigurationszeichnung zu sehen. Die Kopplung der Systeme ist über
einen FDDI-Doppelring (mit optischem Bypass) realisiert, der Anschluß
an das lokale Netzwerk der TU Wien wurde über Ethernet und FDDI durchgeführt,
ATM ist geplant.
IRIX 6.2
IDO (C, GL, OpenGL, X11R6, Motif 1.2.3)
NQS (CONNECT: Queue 2.4c)
C und Power C (parallelisierender C-Compiler)
Fortran 77 und 90
Power Fortran 77 und 90 (parallelisierende Fortran-Compiler)
C++
NFS 2 und 3
Der interaktive Zugang zu diesem System ist nur auf der ersten Maschine möglich, der Hostname lautet
fpr.zserv.tuwien.ac.at
Auf diesem System wurden NQS-Queues eingerichtet, die abhängig vom
Ressourcenbedarf der Jobs diese auf die anderen Systeme umleiten. Es wurde
vor allem großer Wert darauf gelegt, daß Jobs mit hohen Memoryanforderungen
(und vielen Memoryzugriffen) nicht gleichzeitig auf einer Maschine laufen
sondern gleichmäßig verteilt werden. Diese Aufteilung geschieht
z. Zt. durch eine fixe Zuteilung von Instituten auf Maschinen, da die Struktur
dieser Programme sehr genau bekannt ist. Wir hoffen, durch den Einsatz
von Load-Levelling-Software eine optimale Lastverteilung erreichen zu können.
Folgende NQS-Batchqueues (Jobklassen) stehen zur Verfügung:
| Jobklasse | Nice Value | CPU Time-limit (sec) | File Limit (Gbyte) | Jobs/Klasse | Jobs/Institut |
| interaktiv |
20 |
3000 |
--- |
--- |
--- |
| NQS short |
21 |
10.000 |
2 |
4 |
4 |
| NQS long |
22 |
200.000 |
2 |
12 |
6 |
| NQS xlong |
23 |
600.000 |
2 |
12 |
6 |
Es sind die NAG FORTRAN77 Library (Mark16) in Double Precision und die IMSL FORTRAN MP Numerical Libraries (Version 3.0) in Single und Double Precision installiert.
Beide Bibliotheken sind speziell für R10000-Architektur erstellt worden.
Im Unterschied zur NAG-Library werden in der IMSL-Library von den meisten Routinen sowohl eine Single als auch eine Double Precision-Version angeboten. Wird dem Namen der Single Precision-Version ein D vorangestellt, so erhält man die Double Precision-Version dieser. Es kann daher leicht eine Anpassung an die geforderte Genauigkeit vorgenommen werden.
Informationen über die Verwendung der Bibliotheken enthalten die Dateien /usr/local/nag/mk_16/readme bzw. /usr/local/imsl/readme. Für beide Bibliotheken stehen auch Online-Dokumentationen, naghelp bzw. iptdoc, zur Verfügung (siehe auch PIPELINE 19, Seite 16).
Zusätzlich zu einer Reihe von Freeware-Utilities sind der Work Shop Debugger und die SGI Complib installiert.
Die Systembetreuung wird von den Herren
Helmut Mastal Kl. 5816, E-Mail: mastal@edvz.tuwien.ac.at
Walter Haider Kl. 5492, E-Mail: haider@edvz.tuwien.ac.at
durchgeführt.
Usernummer-Ansuchen sind bei Hr. A. Roza (Kl. 5824) oder im Sekretariat des EDV-Zentrums erhältlich.
Dieses Challenge Array-System (Applikationsserver "Freie Programmierung") stellt einen weiteren Schritt in der Realisierung des Applikationsserver-Konzeptes des EDV-Zentrums dar und bietet den Mitarbeitern der TU Wien die Möglichkeit, ein System im GFLOPs-Bereich zu nutzen. Die hohe Akzeptanz der Systeme zeigt sich darin, daß bereits in der ersten Testwoche 20 CPUs (von 24) voll ausgelastet waren und im Monat August die Auslastung ca. 60 % betrug.
Für weitere Fragen und Auskünfte stehe ich Ihnen gerne zur Verfügung (Kl. 5815, E-Mail: berger@edvz.tuwien.ac.at), aktuelle Informationen über das Angebot an zentralen Servern finden Sie unter /museum/edvz/zserv/.