Le Blog Oxymium

2010-03-05: Interruption de l'alimentation electrique au 1er etage de Telehouse2

Une coupure électrique de 27mn à eu lieu aujourd'hui au 1er étage de telehouse 2, aproximativement entre 13h40 et 14h13.
Une 2ème vient d'avoir lieu semble-til entre 16h01 et 16h26.

Oxymium n'a pas été impacté.

2009-12-19: Problème sur les appels entrants

Un problème sur les équipement de l'un de nos fournisseurs de téléphonie s'est produit vendredi 19/12 entre 9h05 et 14h52.
Le problème est, semble-t-il, lié aux firmwares des équipements.
Les appels entrant ont été perturbés entre 9h05 et 12h56 puis entre 13h29 et 14h52.
Les appels sortants n'ont pas été impactés: ils ont été routé automatiquement vers un 2eme fournisseur (ce que nous ne pouvons hélas pas faire pour les appels entrants).

Connection à un nouveau point d'écahnge: Equinix paris

Depuis le 10 décembre dernier, Oxymium est connecté au point d'échange Equinix Paris. Cet IX nous permet (comme le Panap, le Sfinx ou le PouIX auxquels nous sommes déjà relié) d'échanger directement du traffic avec un nombre important de réseau et donc de faire bénéficier nos clients de temps de latence amélioré et une plus grande redondance des routes.

La liste complete de nos accords de peering

2009-09-01: Ajout de ram sur UWEB3

Nous allons proceder à l'ajout de mémoire sur le serveur 'uweb3' vers 20h ce 08/08/2008.
Cette intervention entrainera une interruption de service d'une 20aine de minutes.

Photos de vacances

Enfin non, simplement une photo des cables arrivant notre salle à Telehouse 2 :-)



Des fibres, des cables en cuivre venant d'un peu partout !


Tiens la caméra de surveillance nous montre une livraison de routeurs:


Au moindre mouvement nous sommes avertis !

2009-08-08: Upgrade hardware

Nous allons proceder à l'ajout de mémoire sur un serveur MX et sur un serveur web vers 20h ce 08/08/2008.
L'intervention sur le MX n'aura pas d'impact. L'intervention sur le serveur web entrainera une interruption de service d'une 20aine de minutes.

2009-07-23: Incident electrique dans notre salle à Telehouse 2

Un électricien de Telehouse venant faire une mesure de consommation électrique dans notre salle à Telehouse 2 a commis une erreur de manipulation et coupé 2 disjoncteurs vers 16h39.
L'interruption a durée quelques secondes.
Les équipements de baies concernées n'ont pas tous été impactés. Notre équipe asuivi l'incident avec les clients concernés.

Nous nous sommes entretenu avec la direction de Telehouse afin d'avoir les assurances qu'une telle erreur ne se reproduise pas et que leurs procédures soient revues afin d'améliorer leur efficacités en cas d'incident.

Les rapports complets d'incident ont été transmis aux clients impactés

2009-07-23: Peering PaNAP a nouveau Opérationnel

Notre lien PaNAP qui était down depuis plusieurs semaines vient d'être réactivé, après recablage de la fibre et changement d'un SFP au niveau du routeur PaNAP.

2009-07-06: Problemes de pertes de packets

Un probleme indeterminé à commencé à engendrer des pertes de packets sur 3 liaisons clients et 1 liaison de transit probablement vendredi 03/07 matin vers 8h.
Ce probleme n'arrivait que par intermitance sur un nombre de ports restreint d'un switch et s'est aggravé au fur et à mesure du temps.

A partir de la nuit de samedi à dimanche le problème a commencer à générer quelques alertes et nous avons travaillé toute la journée de dimanche à rechercher l'origine du probleme et le ou les équipements et/ou liaisons fautifs/ves.

Nous avons mis à jour le firmware d'un switch et rédamarré un routeur le 05/07 vers 12h30 et 20h, déconnecté certaines liaisons non prioritaires mais cela n'a apporté aucune amélioration ni élement sur la nature du problème.

Nous avons donc décidé de déplacer ce lundi 06/07 au matin les connections du switch étant à l'origine la plus probable du dysfonctionnement. Le probleme impactant uniquemen une faible partie des clients nous avons choisi de différer de quelques heures cette intervention afin de la préparer au mieux et de ne pas risquer d'entrainer des problèmes plus conséquents. Les clients impactés on été prévenu dimanche soir.

La situation est redevnue normale pour les clients à 10h03 et nous avons réabli le 2eme transit à 10h33.

Les clients impactés vont être contacté individuellement afin de leur proposer une remise.

Nous allons analyser dans les prochains jour le problème afin de:
- mettre en place des alertes supplémentaires
- étudier les amélioration à apporter à l'architecture réseau pour faire face à ce genre de probleme.

2009-06-23: Redemarrage d'un switch

csw-1 a redemarré automatiquement suite à un bug logiciel à 9h26. Cela a engendré une coupure de 30s sur certains liens client.

2009-06-23: Incident cogent

Le remplacement d'une carte dans le routeur principal Cogent à Telehouse Paris à provoqué un court-circuit qui a endommagé le châssis du routeur ce matin vers 6h20.

Consequence: notre transit Cogent est coupé

Impact: Aucun, notre autre transit achemine le traffic.

Ils remplacent le chassis et notre lien devrait remonter vers 13h

2009-06-23: Doublement des quotas boites mail

Nous avons doublé les quotas standards des boites mails.
Cela vous permettra de passer de bonnes vacances sans avoir à relever votre courrier tous les 3 jours !

2009-06-22: Maintenance serveur mail

Suite à l'ajout de nouveaux disques dur, nous allons effectuer une opération de maintenance sur le serveur de courriers ce lundi 22/06/2009entre 22h et 1h.
L'intervention prendra environ une heure et pendant cette opération, la récupération des emails sera interrompue.
Aucun email recu ne sera bien évidement perdu.

2009-06-02: Problemes SMTP, POP et IMAP

Nous avons des problemes intermittant au niveau de l'authentification des connections SMTP, POP et IMAP ce 02/06 entre 6h13 et 8h53.
Le problème est venu d'un des serveurs ldap qui ne repondait plus à toutes les requêtes sans pour autant être totalement mort.
Nous avons identifié la cause du problème et cela ne devrait plus se reproduire

2009-05-21: Redemarrage serveur d'admin

Nous avons du redemarrer physiquement l'un de nos serveurs d'administration (uadm1) suite à un problème de mémoire non corrigé par l'ECC.
L'interface de gestion des comptes a été indisponibles et les graphes de bande-passante ont été impactés.

2009-05-15 Redemarrage serveur Web

Suite a des problemes de gestion des logs et de connections FTP nous avons redemarré un serveur web à 11h35. Rétablissement total à 11h43

Le mail orange

Amusant: Orange semble toujours avoir des problemes avec ses config:
48.242.12.80.in-addr.arpa. IN PTR smtp21.orange.fr.
mais la reciproque n'est pas vraie:
smtp21.orange.fr. IN A 80.12.242.49

Apres on s'étonne que les mails venant d'Orange n'arrive pas ou arrivent en retard....

2009-02-19: Incident PoP Pastourelle de France Telecom

Depuis 11h30 environ il semble qu'il y ait un incident sur le PoP Pastourelle de France Telecom.
Certaines IP du reseau France Telecom sont joignables avec une forte latence:
...
4 193.252.159.166 48 msec 48 msec 48 msec
5 193.251.128.117 52 msec 48 msec 64 msec
6 193.251.128.118 256 msec 260 msec 252 msec
...

2009-02-16: Probleme de routage

Entre 17h24 et 18h et quelque, certaines destinations ont pu être injoignables.

La cause est une mauvaise configuration (as-path trop long) d'un opérateur en République tchèque, mauvaise configuration qui s'est propagé a plusieurs opérateurs au niveau mondial.

Nous n'avons pas été directement impacté mais plusieurs autres réseaux oui.

Plus d'informations:
Ahh, The Ease of Introducing Global Routing Instability
Reckless Driving on the Internet

2009-02-11 Upgrade FTP sur un serveur web

Suite a un des plnatage lors de certains commande nous allons upgrader le service FTP sur le serveur web concerné.