Quick Look At Linux in Industry For the big one-hundred, I thought I’d do something a bit different. I emailed over a dozen large scale Linux users – companies, businesses, and educational establishments. I was interested in knowing what distro (or distros) they were using, what kind of hardware it was running on, how they were using it, and were they using open source or proprietary software. From over a dozen, only a few replied. Here’s my report from the information I received.
Un bref aperçu de Linux dans l'industrie et la recherche
Pour ce centième grandissime numéro, j'ai pensé faire quelque chose d'un peu différent. J'ai envoyé un courriel à une douzaine de structures utilisant Linux à grande échelle - entreprises, établissements d'enseignement et organismes de recherche. Je souhaitais savoir quelles distributions ils utilisent, comment ils les utilisent, sur quel type de matériel ils les font tourner et s'ils utilisaient des logiciels Open Source ou propriétaires.
Sur plus d'une douzaine, seules quelques-unes ont répondu. Voici le récapitulatif de leurs réponses.
Amazon Amazon’s most well-known use of Linux is its Amazon Web Services (AWS - http://aws.amazon.com). Basically, it’s where you can build a scalable site using Amazon’s infrastructure. It’s used by everyone from Reddit to Netflix, Dow Jones to Vodafone. AWS runs on the Amazon Linux AMI which is an Amazon supported Linux image for use on Amazon Elastic Compute Cloud (Amazon EC2). The image is maintained by AWS and is free to EC2 users. The Amazon Linux AMI uses YUM for packages and repositories, and (from what I can tell) is a lightweight distro. The source code for the distro can be viewed using the get_reference_source command line tool which is provided. For those of you looking to install Amazon Linux AMI on your laptop, it’s available for use only inside of Amazon EC2.
Amazon
La plus connue des utilisations qu'Amazon fait de Linux est Amazon Web Services (AWS – http://aws.amazon.com). Il s'agit essentiellement d'un service qui permet de construire un site Web dynamique en utilisant les infrastructures d'Amazon. Tout le monde l'utilise, de Reddit à Netflix en passant par le Dow Jones et Vodafone.
AWS fonctionne sous Amazon Linux AMI qui est une version de Linux supportée par Amazon pour être utilisée sur Amazon Elastic Compute Cloud (Amazon EC2). La distribution est maintenue par AWS et est gratuite pour les utilisateurs d'EC2.
Amazon Linux AMI utilise YUM pour les paquets et les dépôts et est une distribution légère (pour autant que je puisse le dire).
Son code source peut être consulté en utilisant un outil fourni : la commande get_reference_source.
Pour ceux d'entre vous qui souhaiteraient installer Amazon Linux AMI sur leur portable, sachez qu'il est seulement disponible au sein d'Amazon EC2.
EPFL The EPFL (École Polytechnique Fédérale de Lausanne) uses Linux in everything from large networks to even drones. Their Laboratory of Intelligent Systems (LIS) specialises in bio-inspired AI, autonomous robots, and the like. From messing around with cheap, simple, quadcopters, I can tell you that flying them in close quarters is just asking for trouble. This is something the EPFL’s LIS is looking into. Their GimBall drone has a protective cage which keeps it safe even in collisions. The AirBurr drone is even more impressive in that it can right itself, if landed/fallen upside down, and can even stick itself to surfaces using a fibre-based adhesive. But it doesn’t end there for the EPFL. Oh, no. We’ve looked at the small things running Linux, now it’s time to wheel out the big guns.
EPFL
L'EPFL (École Polytechnique Fédérale de Lausanne) utilise Linux partout, depuis des réseaux importants jusqu'à des drones. Leur laboratoire des systèmes intelligents (LIS) se spécialise dans les intelligences artificielles inspirées de la biologie, les robots autonomes et autres recherches du même acabit.
Pour avoir fait joujou avec des quadricoptères simples et bon marché je peux vous garantir que les faire voler dans un espace confiné revient à rechercher des ennuis. C'est un des sujets sur lesquels se penche le LIS. Leur drone GimBall est doté d'une cage de sécurité qui le protège même lors des collisions.
Le drone AirBurr est encore plus impressionnant : il est capable de se redresser tout seul en cas d'atterrissage ou de chute la tête en bas. Il peut même s'accrocher à une surface en utilisant un adhésif à base de fibre végétale.
Mais avec l'EPFL ça ne s'arrête pas là. Oh non ! Nous avons examiné les petits objets utilisant Linux, mais il est temps de se tourner vers les gros calibres.
Aries Aries is one of four IBM AMD Opteron clusters used by the EPFL. You think your desktop PC is pretty beefy? Take a look at what’s inside Aries: • a front end consisting of two dodeca-cores processors AMD Opteron 6176 (Magny-Cours) 2.3 GHz, i.e. 24 cores, with 24GB of memory; • 2 racks including 44 pizza nodes; each node contains four processors dodeca-cores AMD Opteron 6176 (Magny-Cours) 2.3 GHz (i.e. 48 cores per node), each with 192 GB of memory i.e. 4 GB RAM per core; peak performance: 19.43 TFlops; • nodes are interconnected by an InfiniBand fast network QDR at 40 Gb/s, (fully non-blocking); • a GPFS dedicated storage of effective 87 TB – 14 TB for home and 73 TB for scratch.
Aries
Aries est l'un des quatre clusters IBM AMD Opteron utilisé par l'EPFL. Vous pensez que votre PC de bureau est du genre costaud ? Voyez donc ce que l'on trouve à l'intérieur d'Aries :
• un frontal consistant en deux processeurs dodeca-cœurs AMD Opteron 6176 (Magny-Cours) 2,3 GHz, soit 24 cœurs avec 24 Go de mémoire ;
• 2 racks contenant 44 « pizza nodes » (des ordinateurs rackables ayant les dimensions d'une boîte à pizza) ; chaque nœud contient 4 processeurs dodeca-cœurs AMD Opteron 6176 (Magny-Cours) 2,3 GHz (soit 48 cœurs par nœud) et 192 Go de mémoire, soit 4 Go de RAM par cœur ; performance maximale : 19,43 TFlops ;
• les nœuds sont interconnectés par un réseau QDR InfiniBand rapide à 40 Gb/s (entièrement sans verrous) ;
• un stockage GPFS dédié de 87 To : 14 To pour le home et 73 To pour le scratch.
Bellatrix Another EPFL cluster machine, this time Sandy Bridge based, and has: • Peak performance: 119 TFLOPs • Total RAM: 14TB • Storage: 200TB The cluster is composed of: • a frontend, • a master node in charge of administration and backup, • 424 compute nodes, each with: • 2 Sandy Bridge processors running at 2.2 GHz, with 8 cores each, • 32 GB of RAM, • for a total of 6784 cores • Infiniband QDR 2:1 connectivity • GPFS filesystem.
Bellatrix
Un autre cluster de l'EPFL, basé cette fois sur une technologie Sandy Bridge :
• performances en pointe : 119 TFlops ;
• RAM totale : 14 To ;
• stockage : 200 To.
Le cluster est composé de :
• un frontal ;
• un nœud maître dédié à l'administration et aux sauvegardes ;
• 424 nœuds de calcul, chacun avec :
• 2 processeurs Sandy Bridge cadencés à 2,2 GHz, avec 8 cœurs chacun, • 32 Go de RAM
• pour un total de 6 784 cœurs
• connexion QDR InfiniBand 2:1 ;
• système de fichier GPFS.
Castor Castor is a Dalco Intel Ivy Bridge cluster specifically tailored for sequential calculations which is comprised of: • a front-end; • an administration and backup node; • 50 standard nodes with 64 GB of RAM each; • 2 large memory nodes with 256 GB of RAM each; • an NFS storage server of 22 TB (4 TB for home, 18 TB for scratch); • the nodes are interconnected by a 10 GbE network. Each node has 2 Ivy Bridge processors with 8 cores each, running at 2.6GHz (model name: Intel Xeon E5-2650 v2).
Castor
Castor est un cluster Dalco Intel Ivy Bridge spécialement conçu pour le calcul séquentiel et se compose de :
• un frontal ;
• un nœud dédié à l'administration et aux sauvegardes ;
• 50 nœuds standards avec 64 Go de RAM chacun ;
• 2 nœuds à forte mémoire avec 256 Go de RAM chacun ;
• un serveur de stockage NFS de 22 To (4 To pour le home, 18 To pour le scratch) ;
• un réseau de 10 GbE.
Chaque nœud embarque deux processeurs Ivy Bridge avec huit cœurs chacun et cadencés à 2,6 GHz (modèle Intel Xeon E5-2650v2).
Daneb Last, but not least, is Daneb. This is an Intel Xeon based cluster which has: • Peak performance: 293 TFLOPs (211 in CPUs, 92 in GPUs) • Total RAM: 37TB • Storage: 350TB The cluster is composed of: • two front ends, • two master nodes in charge of administration and backup, • 376 compute nodes, each with: • 2 Ivy Bridge processors running at 2.6 GHz, with 8 cores each, • 64 GB of DDR3 RAM, • 144 compute nodes, each with: • 2 Haswell processors running at 2.5 GHz, with 12 cores each • 64 GB of DDR4 RAM • 16 GPU accelerated nodes, each with 4 K40 nVidia cards • 8 large memory nodes, each with 256 GB of RAM • 2 NUMA nodes, each with 4 processors and 512 GB of RAM • Infiniband QDR 2:1 connectivity, • GPFS filesystem. All of the above clusters run RHEL (Red Hat Enterprise Linux) If you think they’re impressive, you ain’t seen nothing yet!
Daneb
Le dernier, mais pas le moindre, Daned est un cluster à base d'Intel Xeon :
• performances en pointe : 293 TFlops (211 via des processeurs classiques, 92 via des processeurs graphiques) ;
• RAM totale : 37 To ;
• Stockage : 350 To.
Le cluster est composé de :
• 2 frontaux ;
• 2 nœuds maîtres dédiés à l'administration et aux sauvegardes ;
• 376 nœuds de calcul, chacun embarquant :
• 2 processeurs Sandy Bridge à 8 cœurs cadencés à 2,6 GHz,
• 64 Go de RAM DDR3,
• 144 nœuds de calcul avec, pour chacun :
• 2 processeurs Haswell 12 cœurs cadencés à 2,5 GHz,
• 64 Go de RAM DDR4,
• 16 nœuds accélérés par des processeurs graphiques, chacun avec 4 cartes NVIDIA K40 ;
• 8 nœuds à forte mémoire, chacun avec 256 Go de RAM ;
• 2 nœuds NUMA chacun avec 4 processeurs et 512 Go de RAM ;
• connexion QDR InfiniBand 2:1 ;
• système de fichiers GPFS.
Tous les clusters ci-dessus tournent sous Red Hat Enterprise Linux.
Si vous les trouvez impressionnants, vous n'avez encore rien vu !
BlueGene/Q This behemoth is the Lemanicus BG/Q supercomputer. The specs will bring tears to your eyes: • IBM Blue Gene/Q Massively Parallel Supercomputer • 1 rack, wired as a 4x4x4x8x2 5D torus • 1024 sixteen-core nodes, PowerA2, 1.6 GHz • Energy efficient, water cooled • 209 Tflops peak, 172 Tflops LINPACK • 16 TB of memory (16 GB per compute node, 1 GB per core) Storage • 2.1 PB of disk space • GPFS Native Raid (GNRx) disk management solution • GPFS parallel file system If you really want to geek out on this beast, I’ll let you download and flip through the Getting Started guide: http://bluegene.epfl.ch/pdf/GettingStarted.pdf
BlueGene/Q
Ce mastodonte est le super-ordinateur Lemanicus BG/Q. Ses caractéristiques vont vous faire pleurer d'envie :
• super-ordinateur IBM BlueGene/Q Massively Parallel ;
• 1 rack câblé comme un tore 5D 4x4x4x8x2 (http://clusterdesign.org/torus/) ;
• 1 024 nœuds de 16 cœurs PowerA2 à 1,6 GHz ;
• refroidissement liquide à consommation d'énergie réduite ;
• 209 TFlops en pointe, 172 TFlops au test LINPACK ;
• 16 To de mémoire (16 Go par nœud de calcul, 1 Go par cœur).
Stockage :
• 2,1 Po d'espace disque ;
• gestion des disques : RAID natif GPFS (GNRx) ;
• système de fichiers parallèle GPFS.
Si vous voulez vraiment approcher de plus près la bête, je vous laisse télécharger et parcourir son guide du débutant : http://bluegene.epfl.ch/pdf/GettingStarted.pdf
I’ll let Vicky from the EPFL tell you more about them: “As standard HPC platforms, our clusters run a mix of Open-Source and proprietary software. There are some specific drivers for the InfiniBand network and the GPUs (for the nodes with GPUs), and proprietary compilers and parallelization libraries (Intel). Of course, we also provide GNU compilers and Open Source parallelization libraries, so the users who want to, can use free software on our machines. Actually you can go fully Open Source on the supercomputers. But, as I say, those are beowulf clusters following the beowulf philosophy: commodity hardware, free and open source software.”
Je laisse maintenant la parole à Vicky, de l'EPFL, pour nous en dire plus sur ces machines :
« En tant que plateformes HPC standards, nos clusters fonctionnent avec un mélange d'Open Source et de logiciels propriétaires. Il y a des pilotes spécifiques pour le réseau InfiniBand et pour les processeurs graphiques (pour les nœuds qui en comportent), des compilateurs propriétaires et des bibliothèques de parallélisation (Intel). Bien sûr, nous fournissons également les compilateurs GNU et des librairies de parallélisation Open Source ; ainsi, les utilisateurs qui le souhaitent peuvent utiliser des Logiciels libres sur nos machines. En fait, vous pouvez travailler entièrement en Open Source sur les super-ordinateurs. Mais comme je l'ai dit, il s'agit de clusters Beowulf respectant la philosophie Beowulf : matériel de série, logiciels gratuits et Open Source. »
What’s a Beowolf cluster? Basically: • a distributed memory machine. • a cluster built from inexpensive personal computer hardware. • a group of identical, commercially available computers (compute nodes). • running Free and Open Source Software (FOSS). • nodes are networked into a small TCP/IP LAN, and have libraries and programs installed which allow processing to be shared among them. • behaves more like a single machine rather than many workstations. • compute nodes are accessed only via the master nodes. • appears to the network as a unique entity. • Beowulf nodes can be thought of as a CPU + memory package which can be plugged into the cluster. • to have a faster cluster, just add nodes.
Qu'est-ce qu'un cluster Beowulf ? Dans les grandes lignes :
• une machine à mémoire distribuée ;
• une construction basée sur du matériel bon marché issu d'ordinateurs grand public ;
• un réseau d'ordinateurs identiques et disponibles dans le commerce (nœuds de calcul) ;
• une utilisation de logiciels gratuits et Open Source ;
• des nœuds mis en réseau via un petit LAN TCP/IP et munis de programmes permettant le partage des calculs entre eux ;
• un comportement ressemblant plus à celui d'une machine unique qu'à celui d'un grand nombre de stations de travail ;
• un accès aux nœuds de calcul uniquement par le biais de nœuds maîtres ;
• une reconnaissance par le réseau comme entité unique ;
• des nœuds Beowulf peuvent être considérés comme des ensembles processeur/mémoire qui peuvent être branchés dans le cluster ;
• une rapidité accrue par la simple adjonction de nœuds.
Some users access the cvlab cluster with just a shell. Computations are done using Python and C++ to give maximum speed. Some, though, use Matlab. The cluster in question is made up of: • 6 x IBM x3650 M3 • 4 x Dell PowerEdge R720 • 3 x IBM x3650 M4 • 2 x Supermicro X8DTU • 1 x Supermicro X7DWU
Certains utilisateurs accèdent au cluster du CVLAB (une division de l'EPFL) avec un simple shell. Les calculs sont faits avec Python et C++ pour obtenir un maximum de rapidité. D'autres, toutefois, utilisent Matlab.
Le cluster dont il s'agit est composé de :
• 6 x IBM x3650 M3
• 4 x Dell PowerEdge R720
• 3 x IBM x3650 M4
• 2 x Supermicro X8DTU
• 1 x Supermicro X7DWU
Most of the Computing Science courses in first or second year are encouraged to use Linux. Quite a few IT rooms dual-boot Linux with Windows. Some can even be accessed using SSH. Many thanks to Vicky and Axel for the info. I’m sure, after all that, your head is spinning. Speaking of spinning…
La plupart des étudiants de science informatique de première et de deuxième années sont encouragés à utiliser Linux. Nombre de salles d'informatique accueillent des machines en double-boot Linux/Windows. Certaines permettent même un accès en SSH.
Un grand merci à Vicky et Axel pour ces informations.
Après cela, je suis sûr que vous avez la tête qui tourne. Et puisqu'il est question de rotation…
CERN The European Organization for Nuclear Research, or CERN, is probably most famous for the Large Hadron Collider (LHC). Every second, 600 million particles collide within the LHC. Every year physicists sift through 30 petabytes (more on them later) of data. CERN uses several Linux distributions on approximately 25,000 servers and desktops at the laboratory’s sites in Geneva and Budapest. The majority are running Scientific Linux CERN 5 and 6 (ie: Scientific Linux from Red Hat Enterprise Linux 5 and 6 respectively), along with some Red Hat Enterprise Linux. New installations are now starting to use CERN CentOS 7 (CC7).
CERN
C'est probablement pour son accélérateur de particules LHC (Large Hardron Collider) que le Centre Européen de Recherche Nucléaire (CERN) est le plus connu. Chaque seconde, 600 millions de particules y entrent en collision et chaque année les physiciens passent au crible 30 petaoctets de données (nous reviendrons sur ce sujet).
Le CERN utilise différentes distributions Linux sur environ 25 000 serveurs et machines de bureau répartis sur ses deux sites de Genève et Budapest. La majorité utilisent Scientific Linux CERN 5 et 6 (basés sur Red Hat Enterprise Linux 5 et 6) ainsi que quelques distributions Red Had Enterprise Linux. Les nouvelles installations commencent à utiliser CERN CentOS 7 (CC7).
A wide range of applications are used, including standard infrastructure components such as web services or development build services, but the bulk of the resources are used to support physics analysis and simulation by the 11,000 physicists who use the facilities at CERN. Open source software is used extensively at CERN – from the infrastructure such as Linux and OpenStack, through to the applications written by the physicists themselves to analyse the 27 PB/year (PB = petabyte = 1,000 terabytes, or 1,000,000 gigabytes) which is produced by the Large Hadron Collider.
Une large gamme d'applications est utilisée, incluant des composants d’infrastructure comme des services Web et des outils de développement. Toutefois, l'essentiel des ressources est utilisé pour des travaux d'analyse et de simulation par les 11 000 physiciens qui ont accès aux équipement du CERN.
L'Open Source est largement utilisé au CERN, depuis l'infrastructure avec Linux et OpenStack, jusqu'aux applications écrites par les physiciens eux-mêmes, dans le but d'analyser les 27 Po de données annuellement produites par le LHC (un Po est un petaoctet, soit mille teraoctets ou encore un million de gigaoctets).
There are around 11,000 ‘white box’ servers in the CERN computer centres with between 8 and 32 cores and an average of 2 GB/core. They are generally connected using 1GB/s Ethernet. These servers are part of the Worldwide LHC grid which runs over 2 million jobs per day. Many thanks to Tim Bell and the Press Office from CERN for that info. To learn more about the LHC, there’s an excellent PDF brochure from: http://cds.cern.ch/record/1165534/files/CERN-Brochure-2009-003-Eng.pdf To learn more about CC7, SLC5/6, and more, see: http://linuxsoft.cern.ch/
Les centres informatiques du CERN abritent environ 11 000 serveurs « boîtes blanches » chacun comprenant entre 8 et 32 cœurs pour une mémoire moyenne de 2 Go par cœur. Ils sont en général connectés via un Ethernet 1 Go/s. Ces serveurs font partie du « Worldwide LHC Grid » qui traite plus de deux millions de tâches chaque jour.
Merci à Tim Bell et au service de presse du CERN pour ces informations.
Si vous voulez en apprendre plus sur le LHC, le CERN met à disposition une excellente brochure : http://cds.cern.ch/record/1165534/files/CERN-Brochure-2009-003-Eng.pdf
Pour en savoir plus sur les différents systèmes d'exploitation, voir http://linuxsoft.cern.ch/
Supercomputers Needless to say, almost all of the world's top supercomputers run Linux in some form. The TOP500 is a table showing the top 500 most powerful supercomputers. Starting in 1993 the list is published twice per year. The top five as of November 2014 are: Number one on the list is Tianhe-2 from China. It runs Kylin Linux, which is a version of Ubuntu. In second place is Titan, which runs the Cray Linux Environment. Sequoia, in third, runs Linux. Just ‘Linux’ according to the TOP500 listing. Same with K in fourth place and Mira in fifth. Having looked through the top ten, they all run Linux of some sort.
Super-ordinateurs
Il est inutile de dire que la quasi-totalité des super-ordinateurs du monde fonctionnent grâce à Linux, sous une forme ou sous une autre. Le TOP500 est un tableau qui recense les machines les plus puissantes. Depuis 1993, ce classement est publié deux fois par an.
En novembre 2014 le Top 5 était :
• Tianhe-2 (Chine) qui fonctionne sous Kylin Linux (un dérivé d'Ubuntu) ;
• Titan, qui utilise Cray Linux Environment ;
• Sequoia (Linux sans plus de précision dans le classement) ;
• K (Linux sans plus de précision dans le classement) ;
• Mira (Linux sans plus de précision dans le classement).
Le Top 10 est entièrement constitué de machines fonctionnant sous Linux.