Vous avez était très nombreux a constater la coupure quasi intégrale de FR-Minecraft entre Jeudi 4 juillet 10h30 le matin et Vendredi 5 juillet 18h.
La liste des services impactés était les suivants :
- Les 4 serveurs de jeu
- Le site (partiellement) et le forum (intégrallement)
- Le serveur TeamSpeak
Il restait cependant toujours en était de fonctionnement :
- L'IRC
- Une bonne partie des rubriques du site (crafting, enchantement, potions, mobs, présentation des serveurs, statistiques de jeu, etc.)
Nombre de rumeur ont été lancé durant cette période, dont une très tenace d'attaque sur notre site.
Je tiens tout de suite à vous rassurer : FR-Minecraft n'a pas été victime d'une attaque
Alors pourquoi ? Revenons en détail sur les faits :
Jeudi, 9h35 du matin : Un incident se produit chez notre hebergeur : Coupure EDF dans le data-center.
Heureusement, l'infrastructure prévois ce genre d'incident, immédiatement les dizaines de tonnes de batterie du onduleur du datacenter prennent le relais, le temps que les 6 énormes groupe électrogène se lance.
Jeudi, 10h00 du matin : Les groupes électrogène sont en route, la climatisation est repartie, la température descent : Nous n'avons subit aucun dommage sur le site, tout va bien, aucune interruption a ce moment la !
Jeudi, 10h15 du matin : Un premier groupe électrogène vient de tomber en panne, heureusement l'infrastructure est redondance, et les 5 groupes restant sont suffisant pour alimenter l'ensemble du datacenter !
Jeudi, 10h30 du matin : Un deuxième groupe électrogène tombe en panne, cette fois il n'y a plus assez de courant, et une partie du data center de l'hebergeur est coupé ==> Pas de chance, un de nos serveurs était dans cette partie :-(
Jeudi, 11h30 du matin : Rétablissement du courant dans le datacenter, toutes les machines se relance peut à peut, dont notre serveur, et pourtant il reste inaxessible :-( ==> Une grande partie des switch de la salle ont grillé suite au incidente, plusieurs dizaines de switch sont a remplacer manuellement ... Et bien sur comme on a pas de chance notre serveur était derriere un des switch HS :-(
Jeudi, 14h00 : Avant dernièr switch remplacé : Enfin c'était le notre !!! Notre port reseau est de nouveau accessible... mais le serveur est éteint oO WTF ? Je tente d'administrer le serveur via l'IPMI (gestion matériel du serveur, qui permet entre autre d'allumé le serveur) : Impossible de le joindre, grrrr....
Je harcele le support (surbouqué) ==> Une demande d'intervention est lancé : un technicien est partie sur place appuyer sur le bouton "on".
Jeudi, 17h00 : Enfin un gars a appuyé sur le bouton : et ca change rien :-( J'apprend entre temps que exceptionnellement le support ne partira pas ce soir tant que tout n'est pas rentrer dans l'ordre : ouf
Jeudi, 19h00 : j'arrive enfin a parler a un administrateur du datacenter qui prend en charge notre serveur :
- Premiere action : remise en place de l'administration de la machine. La machine ne démarre toujours pas, mais au moins je peut la contrôler
- Deuxième constatation : Le disque dur principal est HS, il n'est même plus reconnu par la machine. Disque a changer... et les données ? Aie j'ai peur ...
Jeudi, 20h00 : J'arrive a démarrer le serveur sur un OS de secours (boot en reseau), et je lance une récup des données des autres disques durs par FTP. Durée de transfère prévu : 20h...
Vendredi, 14h00 : Plantage du tranfère à 95%. je relance : ca m'efface tout ce qui était déjà transfere... 18h de perdu pour rien :'(
Vendredi, 16h00 : j'arrive enfin à rebooter la machine sur le disque mirroir (J'ai config les disque en RAID pour survivre a ce genre de defaillance ^^)
Je backup des données principales et j'envois une demande de remplacement du disque HS au support.
Vendredi, 18h00 : Tout est backupé, a jour, aucun donnée n'est perdu, on fonctionne pour l'instant sur le disque mirroir en attendant le remplacement du disque HS : on a perdu la sécurité, mais au moins tout fonctionne, et nous n'avons perdu aucune donnée
Le site est en ligne, a l'identique, rien n'est perdu, ni sur le site, ni le forum, ni les serveurs
Il faudra peut être un temps de reconfig tout ça mais normalement les problèmes devrais rester mineur
Il faudra également prévoir des coupures (courte) dans les jours à venir pour le remplacement des disques dur HS.
Voila pourquoi, pendant 32h, FR-Minecraft a était coupé :-(
Hors ligne
Fondateur et Administrateur de FR-Minecraft.net depuis 2010
Fondateur et Administrateur de Minecraft.Tools depuis 2014
on gros nous n'avons pas eu de chance mais tout est rentré dans l'ordre c'est bien
Hors ligne
Merci tronics pour cette intervention =)
Hors ligne
"Un jour j'irai vivre en Théorie parce qu'en Théorie tout se passe bien!"
Merci Tronics pour le boulot, même si j'ai pas compris la moitié^^
Hors ligne
On a vraiment eut de la chance! Merci Tronics
Hors ligne
+ =
+ =
Merci Trotro d'avoir sauvé ce magnifique serveur !!
Hors ligne
Un tunnel de plus de 30 000 blocs ,c'est moi...
Du minerai de diamant disparu ,C'est encore moi...
o mon notch, les machine! il doit faire chaud la bas a mon avis. C'est cool que tout soit rentré dans l'ordre sans aucune perte donnée. Mercie tronics pour cette explication et d'avoir sauvé le serveur.
Hors ligne
Merci pour ce beau travail Ninou, la chance était quand même pas avec nous sur ce coup là :/ Mais un bon boulot de coopération entre les gars de l'hébergeur et notre administrateur :)
Merci pour tout.
PS: Il faut que tu perdes cette habitude de parler chinois dans tes posts :3
Dernière modification par Maxime06270 (06/07/2013 12:21:42)
Hors ligne
Merci beaucoup, je suis très impressionné par... les groupes électrogènes ^^. Non, c'est du beau boulot, continue comme ça ! Félicitations ! Et bravo au service d'assistance :p.
Merci encore !
Hors ligne
Merci beaucoup Tronics !
Hors ligne
merci pour ces détail, je me posais des question ^^ et j'avais peurt que tu ait perdu des donnée
Hors ligne
ceci est une signature, si si je t'assure...
Bonjour,
Moi ce qui me choque, c'est qu'en cas de coupure électrique d'un datacenter, techniquement y a pas un seul groupe électrogène qui tombe en panne si la maintenance est correctement faite. Hors là, 2 sur 6 tombent en 30 minutes. Donc soit ils prennent pas soin des groupes électrogènes, soit ils les chargent à 100% dès le début. Dans l'un ou l'autre des cas, je trouve ça quand même abusé au niveau du secours. Ça sert à rien de prévoir 6 groupes s'ils prennent pas le relais correctement :o
En tout cas, la réaction de Tronics a été rapide pour ce qui est du site et de l'IRC !
Voilà voilà.
Hors ligne
Berendal vu ce que sa use comme electricité un Datacenter, les groupes électrogènes étaient au max, donc ils ont dû lâcher.
C'est pas forcément un soucis d'entretient !
Hors ligne
Ah, je savais que le problème ne venait pas de Fr-Minecraft.
En effet, pendant cette période, l'accès à deux autres serveurs que je fréquente était perdu, et l'accès à serveur-minecraft.org était également perdu.
Par contre, reste un petit détail, tu as écrit que IRC était toujours disponible. Or, voyant le message affiché en arrivant sur le chat, je suis parti sur IRC. Aucun onglet n'apparaissait. Donc je ne sais pas si c'est moi, mais je n'avais pas accès à IRC !
Hors ligne
Dagevo
Arthur269: dans ce cas c'est encore pire, si ils ne prévoient pas assez de groupe électrogene pour tenir leurs propres datacenter ^^'
Merci pour ton travail et ton temps Tronics ;)
Hors ligne
Ex-Seigneur Pumpkins!
Pas faux è_é
Hors ligne
tres bon choix en tout cas de monter les disques dur en RAID d'un part pour la perte de données mais en plus pour un gain d efficacité de reponse des serveurs .... ce qui m etonne plus c est que ce n'etait pas le cas avant ...c est pourtant la meilleur chose a faire sur du serveur !
ce qui m etonne plus c est que ce n'etait pas le cas avant ...c est pourtant la meilleur chose a faire sur du serveur !
Ca a toujours était le cas pourtant :o J'ai pas compris la ...
Hors ligne
Fondateur et Administrateur de FR-Minecraft.net depuis 2010
Fondateur et Administrateur de Minecraft.Tools depuis 2014
Ah merci beaucoup mais quand même je suis c** car j'ai pensé qu'il était en maintenance -_-
Hors ligne
La vie n'est qu'un long rêve d'ou la mort nous réveille :)
Heureusement que quelques groupes electrogènes fonctionnaient encore pour permettre de refroidir le site Ca aurait été un vrai four.
Super boulot de ta part Tronics, comme d'habitude en faite !
Hors ligne
Fais de ta vie un rêve et de ton rêve une réalité.
#Pilot
#JeSuisCharlie
Une erreur de lecture du sujet sur mon disque dur apparement ! XD
Autant pour moi Tronics ....fait comme si j'avais rien dit. :)
Je connais un administrateur qui n'a pas dû beaucoup dormir ! ^^
Hors ligne
Les data centers en belgique sont mil fois plus fiable!
La coupure a au moins permis aux petits jeunes de sortir de leur pc!
haha XD
@Tronics : Tu nous a pris LE serveur malchanceux ou quoi XD ? Je comprends pas pourquoi leurs groupes électrogènes tombent en panne aussi --'
Enfin bref, c'est de retour pour le Week End donc no soucis :)
Sympa aussi le Service Technique qui reste en place tant que y'a un problème, j'en connais qui aurait attendu le lendemain... et si ça aurait été un vendredi ils auraient attendu le Lundi. D'ailleurs il nous ait déjà arrivé un soucis comme ça je crois, l'hébergeur qui pouvait pas intervenir tout un week end où on avait eu des soucis. :S
Hors ligne
The Path of Jericho (Chapître 8 disponible) : http://fr-minecraft.net/forum/message-1 … ml#p120455
Ouaw ! Quelle histoire ! Moi je n'ai rien remarqué, j'étais absent et je n'ai pas pu jouer a MC. En tout cas, Tronics tu dois être épuisé (de plus j'ai compté pas mal de fautes d'orthographe dans ton post ^.^)
Hors ligne
FR-Minecraft en force !