Informatique au CC

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Informatique au CC-IN2P3
Journées LCG France décembre 2015
Ressources humaines au 9 décembre
88 agents : 29 % CDD
Figure 1 - Worked FTE & # of people evolutions
60,0
60
Journées LCG France
2015
Non-Permanent in WFTE
# of non-permanent tempo
2014
2013
2012
2011
2010
2009
2008
2007
2006
Permanent in WFTE
# of permanent
2005
2004
0
2003
0,0
2002
15
2001
15,0
2000
30
1999
30,0
1998
45
1997
45,0
1 chercheur
85 ITA
1 apprentie
1 stagiaire
69 BAP E
8 BAP J
6 BAP G
3 BAP F
14-12-2015
2
Organigramme : changements à venir
Retraite
}
Pierre-Etienne Macchi
Directeur
Communication / Partenariats
Chargés de Mission
Assistant de Prévention : Jean-Louis Perrot
Qualité: Frédéric Azevedo
Sécurité Informatique : Benoît Delaunay
Gaëlle Shifrin
Virginie Dutruel
Christèle Aulas
Responsable Administrative
et Financière
Cellule Webcast
Olivier Drevon
Coordination Achats : Pierre Larrieu
Formation Permanente : V. Dutruel, L. Defay
}
Domaine informatique
Infrastructure
B. Delaunay
Développements
J-R. Rouet
O. Aïdel
A. Bourges
F. Bretel
D. Cathala-Martinez
E. Cervera
B. Chambon
P. Cheynet
P. Correia
C. Evesque
P. Frébault
F. Joyon
G. Kremenek
C. L'Orphelin
P. Liu
D. Mège
J. Moutarde
S. Reynaud
T. Salanon
L. Schwarz
L. Souai
Opérations
R. Rumler
Réseau
Stockage
Système
Exploitation
Support
L. Caillat-Vallet
J-Y. Nief
M. Puel
S. Poulat
D. Bouvet
T. Balde
J. Bernier
C. Rondelet
P-E. Brinette
Y. Calas
A. Georget
Z. Goutali
F. Kleinbourg
L. Tortay
L-A. Denis
C. Eloto
R. Ferrand
P-Y. Fontanière
N. Fournials
B. Guillon
V. Hamar
A. Khoudir
V. Llorens
X. Niu
F. Wernli
F. Azevedo
K. Bilongo-Manene
X. Canehan
H. Cordier
N. Lajili
P. Larrieu
H. Moudjeb
P. Calvat
Y. Cardenas
S. Gadrat
T. Kachelhoffer
Q. Le Boulc'h
R. Lemrani
G. Marchetti
G. Rahal
N. Toukourou
E. Vamvakopoulos
A. Vedaee
R. Vernet
Centre de Calcul de l'IN2P3 / CNRS - 21 avenue Pierre de Coubertin - CS70202 - 69627 VILLEURBANNE cedex - FRANCE
Journées LCG France
Services généraux
}
Recherche
F. Suter
Administration
C. Aulas
Sces généraux
P. Trouvé
D. Boutigny
F. Hernandez
C. Wang
H. Aïdel
L. Defay
C. Durand
Y. Gervais
V. Grégorio
F. Meunier
S. Minet
R. Farjon
S. Lepers
D. Perrin
J-L. Perrot
S. Reniaud
Responsables
équipe Opération
et groupe
Exploitation
}
courant 1er
trimestre 2016
1er décembre 2015
14-12-2015
3
Resources : budget evolution
12000
Budget en k€
9000
6000
1300
1700
1600
1350
4587
1364
5000
1364
5450
1364
2000
2000
1100
1100
1700
1799
3500
3656
2011
2012
900
900
1850
1800
4305
4350
4400
2013
2014
2015
1100
1145
3000
0
3400
3750
3750
3750
3750
4223
2005
2006
2007
2008
2009
2010
CEA
TGIR LCG
TGIR non LHC
Budget more or less stable
}
In 2015 : budget is constant over previous year : 7 100 k€
}
Other incomes sources ( hosting, services, …) at very high level due to exceptional incomes :
} 2014 remaining money
} EGEE-III final balance
} Hosting & services
} Generator disaster refund (legal procedure)
Journées LCG France
14-11-2015
4
Expenses
Alloca&on
Alloca&on Total(k€) %2014
LCG(exceptop.)
1800
-3%
NonLCG
3388 28%
Bâ9ment
2116
RH
Coûtfonct.
8%
292 -23%
363 15%
LabosIN2P3
325
Total
8284
0%
LCG (except op.)Non LCG
22 %
41 %
IN2P3 Labs
4 %
Runnning costs
4 %
HR
4 %
}
==
FM
26 %
Total(k€) %2014
IT@CC
4528
18%
IT@LabosIN2P3
985
-2%
2116
8%
Bâ9ment
RH
292
-23%
Coûtsfonct.
363
15%
Total
8284
CPU
19 %
Storage
40 %
Maintenance
18 % Network
16 %
Services
7 %
CPU
Total %2014
(k€)
871 83%
Storage
1816
23%
Network
722
14%
Services
301
-31%
Maintenance
818
soT&hard
Total 4528
1%
IT @ CC
55 %
==
IT @ IN2P3 labs
12 %
HR
Running costs
4 % FM
4 %
26 %
Fluids
46 %
Tertiary
5 % Maintenance Infra
29 %
20 %
46% of the budget allocated to maintain IT capacity
Journées LCG France
Alloca&on
Alloca&on Total(k€) %2014
Fluids
869
-2%
Maintenance(HVAC,
elec…)
579
1%
Infrastructure
improvements
380
-4%
Ter9ary
288
197%
Total
2116
14-11-2015
5
Main buyings
}
CPU
}
}
}
23 Dell C6000 with 92 C6200v2 : 41 783 HS06
6 Dell C6000 with 24 C6320 :
12 500 HS06 (LCG 2016)
6 Dell C6000 with 24 C6320 :
12 500 HS06 (2016)
66 783 HS06
5 years warranty
}
}
4 Dell C6000 with 16 C6320 :
« HPC » 32 cores each
Storage
}
}
40 Dell R730xd with 40 disk bays MD1400 ( 6 TB) : 4 800 TB
10 Dell R730xd with 10 disk bays MD1400 ( 6 TB) : 1 200 TB
6 PB Disk
5 years warranty
}
}
24 T10KD drives (12 for 2016)
10 PB of tapes (half is renewal)
Journées LCG France
10 PB MSS
14-11-2015
6
2016 budget
}
Positive points
CNRS contribution announced to be constant at 6 200 k€
➡ CEA contribution 900 k€
➡ Some hardware renewal made in advance
➡
}
Expenses to maintain capacities are estimated at a first glance around 2.2 M€
}
Experiments needs not known at this time
➡ except for LHC and Euclid
}
Quite confident … but both CEA and LCG-France agreements are
terminating next year
Journées LCG France
14-11-2015
7
Network, capacities and usages
ESC/COS 2015
27/11/2014
8
Network : dedicated links to interconnect other IN2P3 sites
Cost is beared by CC
100 Mb/s link between Lyon and LSM : ~72 k€ /year
Investment this year (Amplivia and Renater) :
- upgrade to 10 Gbits/s
- annual maintenance fee : 5 k€
- 220 k€
100 Mb/s Link between CPPM and Antarés : ~ 35 k€/y
Participation to RMES network :
- upgrade to 10 Gbits/s
- annual maintenance fee : 5 k€
- 130 k€
Journées LCG France
14-12-2015
9
CPU capacity
~24 500 vcores
1 600 068 041 HS06.h
Available Wall Clock Time / Used Wall Clock Time
~ 86%
Journées LCG France
14-12-2015
10
CPU & Storage capacities
CPU capacity
#
HS06
Core
Usage
64
8 747
512
« HPC »
52
10 760
624
HTC-CLOUD
768
233 017
11 856
HTC
884
252 524
12 992
Tapes
Storage used on magnetic tape : 24,4
PB out of 340 PB nominal capacity
134 drives (LT04, T10K-B/C/D)
Backup (TSM)
Disk storage capacity
Usage
#
PiB
PB
Usage
dCache
171
8,83
10,8
84 %
xRootd
64
4,83
5,31
68 %
iRODS
15
0,87
0,93
62 %
gpfs
64
2,44
2
70 %
250
16,97
19,04
Journées LCG France
Stored volume : 1.1 PB out of 5.5 Po
6 drives LT06
14-12-2015
11
Users : distribution and CPU consumption 2015 (11 months)
IN2P3
Non IN2P3
CPU (en HS06.h)
1 381 637 933
63 980 981
CPU (HS06.h)
CPU Non IN2P3 (HS06.h)
IN2P3
Non IN2P3
Journées LCG France
96 %
4 %
Others
Physics
11 %
5 %
Labs
14 %
Bio-computing
Grid
60 %
9 %
14-12-2015
12
CPU IN2P3 Usage
CPU IN2P3 (HS06.h)
2 %
3 %
20 %
13 %
CMS
14,6 %
2 %
LHCb
25,4 %
Alice
17,3 %
Top HEP + Hadron
ATLAS
41,8 %
59 %
Astroparticles
Nuclear
HEP
Hadron
Labs
Multidisciplinary
0,6 %
Neutrino
Theory
Auger
0,8 %
Planck
17,9 %
Top 10 Astroparticle +
Neutrino sharing
HESS
19,1 %
Antares
14,5 %
AMS
13 %
dchooz
5 %
GLAST
19,7 %
km3net
5 %
CTA
4 %
Virgo
1 %
Journées LCG France
14-12-2015
13
2015 disk usage (11 months)
dCache
GPFS
iRods
xRootd
2 %
2 %
48 %
100 %
IN2P3
Non IN2P3
TiB
IN2P3
Non IN2P3
20 %
52 %
98 %
IN2P3
Backup (incl. double
copy)
Tapes
Non IN2P3
IN2P3
Cache
7 842,2
7,7
Non IN2P3
GPFS
1 232,7
25,7
IN2P3
iRods
233,7
214,0
80 %
100 %
98 %
Non IN2P3
xRootd
3 070,9
71,7
IN2P3
Non IN2P3
Tapes
26 985,0
IN2P3
Non IN2P3
Backup
(incl. double
copy)
3 000,0
747,0
« Non IN2P3 » usage is very specific to a few technologies. It represents 0.85% of the
data storage (backup excluded)
Journées LCG France
14-12-2015
14
CC-IN2P3 within WLCG
5 %
11 %
107.1 kHS06
25 %
2015 T1 Pledged Tape Capacity
2015 T1 Pledged Disk Capacity
2015 T1 Pledged CPU Capcacity
5 %
11 %
22 %
14 %
9.8 PB
4 %
11 %
28 %
18.1PB
13 %
15 %
12 %
12 %
2 %
5 %
3 %4 % 6 %
Canada
3 %
5 %
1 %
4 % 6 %
13 %
France
Germany
% of 2014
pledges
CPU
Disk
Tapes
French T1 /
∑ T1
11.17
11.18
10.71
French
T1+T2s / ∑
T1+T2s
9.91
10.33
10.71
Journées LCG France
Italy
Netherlands
Nordic
13 %
15 %
Korea
16 %
2 %
5 %
1 %
3 %5 %
Russia
Spain
Taïwan
UK
USA
T1 Pledged CPU is ~ 45%
of CC capacity but ~64% of
its usage
T1 Disk usage ~95 %
14-12-2015
15
Electricity cost
k€ HT
Cons. (en 10 GWh)
kWh price (€ cents/kWh)
8
7
6
5
4
3
2
1
0
1400
1200
1000
800
600
400
Despite the average kWh price (7.7 €
cents/kWh) that increases, the global
bill is more or less constant.
Price without VTA but includes all other taxes
200
0
2003
2005
2007
2009
2011
2013
2015
Estimation
01/01/2016 : electricity delivery market deregulation is mandatory -> french government has made a
tender for all its academic organisms.
We have been informed last friday of its result. EDF will be our electricity provider and the prices will
be of 39, 13 € / MWH HTT for 2016 and 39,74 € / MWH HTT for 201, i.e. :
2016 price : ~7,69 €cents/kWh — 2017 price : ~7,75 €cents/kWh
if other taxes are constants…………
Journées LCG France
14-12-2015
16
LSST
}
A agreement was signed on March 5th for the
camera and the computing
} half of the processing will be made at Lyon, the
other half at NCSA
French#Processing#
Center#
(CCLIN2P3,#Lyon,#France)#
#
Data!Release!Produc/on!(50%)!
French!DAC!
Archive$Site$
Archive$Center$
Alert!Produc?on!
Data!Release!Produc?on!(50%)!
EPO!Infrastructure!
!LongCterm!Storage!(copy!2)$
Data$Access$Center$
Data!Access!and!User!Services$
HQ$Site$
Summit$and$Base$Sites$
Telescope!and!Camera!
Data!Acquisi?on!
Crosstalk!Correc?on!
LongCterm!storage!(copy!1)!
Chilean!Data!Access!Center!
Science!Opera?ons!
Observatory!Management!
Educa?on!and!Public!Outreach!
LSST 2015 | BREMERTON, WA | AUG 20TH, 2015.
Journées LCG France
6
14-12-2015
17
EUCLID
}
An agreement was signed between IN2P3 and
CNES
}
CC-IN2P3 will provide the hardware to store and
process 30% of the first data release of this
telescope
}
CNES will finance up to 3 contracts : one dedicated
support, one system administrator and one storage
administrator
}
It will represent a estimated cost of about 220 k€/
year
Journées LCG France
14-12-2015
18
Cliquez ici pour le titre du slide
Paysage
Assemblée générale
11-12-2105
19
Centres de calcul intensif en 2014
Centres HPC nationaux :
Tiers 0 et 1
Guadeloupe
IDRIS
TGCC
Martinique
Simple ?
Guyane
CCIN2P3
Nouvelle
Calédonie
CINES
Réunion
Puissance totale ~5.2 PFlop
Assemblée générale
Stockage total ~50 Po
11-12-2015
20
Réseau des mésocentres (Tier-2)
Lille
Guadeloupe
Pointe-àPitre
Amiens
Rouen
Reims
Brest
Metz
Paris-IdF
Rennes
Strasbourg
Martinique
Moins simple…
Orléans
Nantes
Dijon
Besançon
Guyane
Clermont-Ferrand
La Rochelle
Limoges
< 5 TFlops
5-10 TFlops
10-20 TFlops
Bordeaux
> 20 TFlops
Lyon
Grenoble
Nouvelle
Calédonie
Montpellier
145 TFlops
Annecy
Marseille
Nice
Toulouse
Saint-DenisRéunion
Assemblée générale
Puissance totale ~1 PFlop
Stockage total ~15 Po
11-12-2015
21
Le réseau de communication RENATER
Pas vraiment du
calcul mais ça aide…
Assemblée générale
11-12-2015
22
Non academic datacenter
}
1
1
Cartographie des Data Centers
en France et au Luxembourg*
+
(2) CLICHY
(4) COURBEVOIE
(10) PARIS
(1) ROISSY
(1) LA COURNEUVE
(1) LA GARENNE-COLOMBES
*Estimation au 24 mars 2014
(1) AUBERGENVILLE
(6) SAINT-DENIS
(4) NANTERRE
(6) AUBERVILLIERS
(1) PANTIN
(1) NOISY-LE-GRAND
(1) NEUILLY
(1) MONS-EN-BAROEUL
(1) GRAVELINES
(5) ROUBAIX
(1) RUEIL MALMAISON
(1) LOGNES
(1) LE PLESSIS-ROBINSON
(2) COLLÉGIEN
1
(1) VILLENEUVE D’ASCQ
+
(5) LILLE
www.datacenter-expo.com
VALENCIENNES
(1) IVRY-SUR-SEINE
(1) MAGNY-LES-HAMEAUX
1
(1) CHAMPS-SUR-MARNE
(1) LES ULIS
1
1
LE HAVRE
(2) VÉLIZY-VILLACOUBLAY
(1) CHEVILLY-LA-RUE
+
(2) VITRY-SUR-SEINE
(1) MARCOUSSIS
(2) ROUEN
Le Havre
(2) CAEN
(2) REIMS
(1) VAL-DE-REUIL
Hors
sujet……
2
(1) METZ
Reims
+
2
+
(3) NANCY
(1) CESSON-SÉVIGNÉ (1) CHÂTEAUBOURG
(5) STRASBOURG
1
(1) TOURS
MULHOUSE
(3) RENNES
Encore
que…
LUXEMBOURG
(1) LA CHAPELLE-SUR-ERDRE
(1) BESANÇON
(2) SAINT-HERBLAIN
(1) DIJON
(4) NANTES
CENTRE D’EXCELLENCE EN EUROPE
(1) LA ROCHE-SUR-YON
(1) SAINT TRIVIER SUR MOIGNANS
1
(1) POITIERS
(1) OLONNE-SUR-MER
(1) CÉBAZAT
REYRIEUX
(2) VILLEURBANNE
(1) LIMONEST
(1) ANGOULÊME
(3) LYON
+ 2
www.ebrc.com
(2) CLERMONT-FERRAND
(1) SAINT-SATURNIN
(1) BISSEN
(1) VÉNISSIEUX
(1) SAINT-ÉTIENNE
(2) GRENOBLE
LÉGENDE
(2) BETZDORF
(3) BORDEAUX
2
1
(1) WINDHOF
(9) LUXEMBOURG
RÉGION OUEST
SUD DE LA FRANCE
+
1
(2) NICE
(6) MONTPELLIER
(3) TOULOUSE
(1) AIX-EN-PROVENCE
( - ) Nombre de Data Centers
(3) MÜNSBACH
(3) SOPHIA - ANTIPOLIS
1
1
+
(1) CONTERN
(2) BETTEMBOURG
www.globalsecuritymag.fr
1
(1) RAMONVILLE
+
(3) MARSEILLE
(1) LA CIOTAT
Renseignements : Marc Jacob BRAMI - SIMP
17 avenue Marcelin Berthelot - 92320 Châtillon
Tél. : +33 (0)1 40 92 05 55 - Fax. : +33 (0)1 46 56 20 91
marc.jacob@globalsecuritymag.com
(1) KAYL
Assemblée générale
11-12-2015
L’urbanisation de votre Datacenter par RITTAL
THINK INTELLIGENCE-THINK SIMPLICITY-THINK EFFICIENY
RiMatrix S : Le premier Datacenter standardisé
A qui pouvez-vous faire confiance pour délivrer les solutions
qui comptent pour votre Data Center ?
www.rittal.com/fr-fr/
Nombre de projets de Data Centers
* Ne sont répertoriés que les DC appartenant en propre à des
hébergeurs pour la colocation.
www.commscope.com
AU SERVICE DE VOTRE
EFFICACITÉ ENERGÉTIQUE
“ La bonne énergie de votre Data Center ”
www.eaton.fr/powerquality
SOLUTIONS PREMIUM DE
REFROIDISSEMENT POUR DATACENTERS
“ Le seul opérateur de DataCenter en France certifié ”
www.iliad-datacenter.fr
DATACENTER PREMIUM COOLING SOLUTIONS
www.stulz.com
23
Un graphe…
Ceci est un graphe
simple (?) qui décrit
un sous-ensemble
du paysage du calcul
en France
Assemblée générale
11-12-2015
24
L’approche du CNRS
}
COCIN created in 2010
} Comité d’Orientation du Calcul Intensif
} Each of the 10 CNRS institutes is represented
} Produced a white paper in Sept. 2012
http://www.cnrs.fr/ins2i/IMG/pdf/Livre_blanc_-_derniere_version.pdf
}
}
}
}
Proposition of a strategy about computing for CNRS (Feb 2013) :
} around 2 « evident » poles : Plateau de Saclay autour de l’IDRIS - Lyon autour du CC-IN2P3
Mission letter from A. Fuchs to COCIN in Apr. 2013 :
} « COCIN must put this strategy in place, in particular the coordination and the rationalisation of investments in this
domain »
July 2014 : report about datacenters cost evolution
} needs are increasing dramatically
} more and more uncoordinated (so-called) « datacenters » at regional or local levels
2015
} mandate is given to D. Veynante to make proposition on the governance of CNRS computing means
} this proposition is accepted : the « Mission Calcul et Données » entity will be created in next january
} it will pilot the ressources of IDRIS, Maison de la Simulation, and a subset of CC-IN2P3 (for non IN2P3 activities).
} coherence , coordination ,rationalization…
Assemblée générale
11-12-2015
25
Celle du Ministère
}
Ministry of Research :
It is a requirement to rationalize the investments, to better structure e-infrastructures :
mutualisation of datacenters, of skills
✓ French research infrastructure roadmap update is foreseen for 2016 Le CC en fait partie
✓ a committee is setup to make some propositions about digital infrastructure organization
✓
}
still waiting for the official release of the report but its mainlines should be :
✓
need to rely on 4 national datacenters : CC-IN2P3 is no more seen as a mono-thematic
datacenter but as a national one
✓
create a light structure (umbrella) that englobes e-infrastructures to ensure sufficient
weight against other research infrastructures and more coherence
Seems CNRS is in phase with that…
Assemblée générale
11-12-2015
26
Questions ?
ESC/COS 2015
27/11/2014
27