Kardol est un groupe spécialisé dans l’hébergement des solutions ERP.
Secteur
Périmètre
Fin 2022, Kardol décide de mettre en place son nouveau datacenter avec de nouveaux équipements réseaux en technologie NVIDIA Cumulus.
Ce qui ne va pas aller sans quelques petites surprises et challenges.
Heureusement Kardol a eu la bonne idée de demander aux Bûcherons de l’IT de les accompagner dans cette quête.
Rien d’insurmontable. On audite. On définit le cahier des charges, les contraintes, les écueils, les étapes, le planning. On prend les haches et on y va…
Sauf que… Vu le design imposé, obligation de partir sur NVIDIA Cumulus version 5.0 qui sort… fin 2022 … pour un déploiement début 2023… Ah ben dites !
Le bonheur d’avancer sans aucune visibilité puisque zéro feedback et on part directement sur la première version Cumulus poussée par NVIDIA.
Voilà donc nos Bûcherons partis pour des tests non régression dans les tous sens…
En parallèle, nos Bûcherons de l’IT s’attaquent aussi à la résolution des problématiques inter sites : réseau de management à construire, optiques DWDM compatibles à trouver, accès à distance via port console à déboguer etc.
De quoi déjà bien s’occuper ! MAIS… étonnamment ça ne se passe pas si mal au final.
Suite à la mise en service, Mountain Men assure le maintien en conditions opérationnelles (MCO) en heures ouvrées jusqu’en février 2024.
Jusqu’ici tout va bien…
Le matériel est livré et raccordé. C’est déjà bien.
Le 22 février 2024 à 05h du matin, tout le réseau s’arrête, équipement par équipement. Sautant de leur lit dans leurs chaussettes à carreaux, les Bûcherons de l’IT se mobilisent et rétablissent l’ensemble des services vers 11h après un débug intense. La panne est dûe à plusieurs bugs cumulés et qui n’apparaissent que dans la version 5.5 qui tourne à ce moment précis sur le réseau. Mountain Men fait une analyse complète des conditions de l’incident, qui permet d’identifier la root cause : un bug sur SNMPD additionné à un bug sur WATCHFRR. Le rapport est alors soumis à NVIDIA pour validation et correction.
En parallèle, pour éviter la répétition d’incident et stabiliser le réseau, il est décidé de monter en version 5.8 en urgence et d’altérer les configurations bas niveau de Cumulus sans attendre le retour de NVIDIA. Par la suite, NVIDIA validera l’analyse faite par les équipes de Mountain Men et acceptera la correction proposée.
Au final, l’incident aura fait la preuve de l’efficacité et de l’expertise des Bûcherons de l’IT. Par la suite, Kardol a pris la décision de passer en infogérance full 24H avec Mountain Men.