Nouvel article

« je suis d’accord que le problème est probablement lié à une croissance trop rapide qui a été mal anticipée, »

le probleme ne vient pas de là. mais si ça vous permet de mieux
dormir je peux être d’accord avec vous ;)

en version courte :
on a eu besoins de fonctionalité en plus pour mettre en place
les securisations et ces protections ont provoqué de surcharges
sur les routeurs.

en version longe :
entre roubaix 1 et roubaix 2 on a changé la techno de routage.
on a eu ça :
http://weathermap.ovh.net/roubaix-1
et on a passé sur ça :
http://weathermap.ovh.net/roubaix-2

le vss-1 a été sans gros problemes pour les clients mais a
été très penible à terminer à notre niveau. IOS en SXI
version 0. c’était une grosse merde. c’est un produit
tout nouveau mais qui matchait bien avec nos besoins. le
vss-2 a été nickel SXI1 jusqu’à l’ajout des protections très
fortes sur le reseau. ces protections ont obligé les routeurs
de faire de l’ip proxy arp, en gros repondre à toutes interogations
de mac. sur roubaix 1 on n’a pas ce probleme car chaque
1000 machines a ses 2 tout petit routeurs et 24000 serveurs
au cul de 2 x 6509 de roubaix 1. sur roubaix 2 il y a 1 vss
systeme pour 12000 machines. ce qui est moins que sur
roubaix 1, et marchait bien. on a ajouté de fonctionalités
necessaire à de protections des reseaux et plouf on est
arrivé à une saturation de CPU du routeur. imprevu. puis là
le probleme de BGP s’est bien manifesté car il n’y avait
plus de CPU libre pour faire les recalcules. sur roubaix 1
j’ai 10x plus de sessions BGP dans tous les sens que sur un vss
et le routeur fonctionne 10x mieux. qui pouvait prevoir
qu’en mettant 2 routeurs (vss est un double routeur)
à la place d’1 ça va moins bien marcher ? personne, puis
que ça marchait bien. c’est surtout l’ajout des protections
qui a foutu le bordel.

bref, ça n’a rien à avoir avec de la croissance mais avec
de besoins "en plus" qu’on devait mettre en place "en plus"
ce qu’on ne faisait pas avant. l’ajout de protection de vlan
privé et donc isolation de chaque serveur d’un vlan par
rapport à un autre est à l’origine de ce probleme. on
securise les echanges vis le principe simple : tout passe par
le routeur, et donc ça a surchargé les routeurs, pas au niveau
de routage, encore heureux, router 2 packets de plus c’est rien,
mais au niveau de proxy arp. quel est la mac de mon voisin de
baie ? c’est le routeur qui s’y colle. le truc imprevisible
il t’explosera dans la tronche sans dire bonjour. le vss a été
prevu pour 36000 serveurs, il n’a que 12000. je parle pas donc
de la rentabilité du tout ça. on est hors budget 3x par rapport
à ce que vous payez. et le pire est que ça ne marche pas
mieux qu’à roubaix 1. sur roubaix 1 on a utilisé de vieux
vieux routeurs de merde vieux de 8 ans, vieux veut dire
sans bug, mais pas très fort. au niveau de la stabilité
on peut rarement avoir le truc le plus fort et le plus
stable. c’est un compromis entre le truc le plus ultra
avec les bugs et le truc pas très fort mais ultra stable.

bre, la solution :
rapide : spliter les vss en 2 routeurs et donc diviser le
besoins en proxy arp / 2. j’aime pas cette solution.
parce que je pense que la solution plus longe va fixer
le probleme
plus longe : mettre en place les routeurs intermediaire
comme sur roubaix 1. mais il faut tester un minimum et
faire les choix. puis basculer 330 switch vers de petits
routeurs. je vous laisse imaginer le boulot et l’investisement.
il faut quand même tester un peu avant de faire le choix.
mais on va faire la rapide parce qu’on va de toute façon
virer les vss fin de l’année comme prevu ... pour les
remplacer par les N7, les routeurs qui vont sortir en
septembre. vive les bugs. je suis mechant. les routeurs
N7 on les a déjà dans nos salles, mais avec les cartes
qui ont peu de RAM. on attend les cartes avec 8Go de RAM
et donc capable de prendre la full table plusieurs fois.

tout ça pour les vss.

sur la backbone on a des 6509 avec 1Go de RAM et qui gerent
les peerings et les transits. londres, paris, amsterdam,
frankfurt, varsovie etc. de boucles pour securiser tout.
http://weathermap.ovh.net/europe
la semaine passé, jeudi, on a bouclé 2 pates : londres
avec amsterdam et paris avec frankfurt. et suite à ça
les routeurs ont pris le reste de la RAM dispo et avec
de MPLS, IPv6, queue etc ça a crashé dés vendredi, samedi
puis dimanche et lundi et encore aujourd’hui. là c’est
stable.

mais vous allez me dire : on s’en fout que ça crash puis
que ça passe par ailleurs non ? c’est le principe de
boucle. oui oui ! c’est ça qui se passe. sauf que les
vss ont de problemes de CPU et les modificiations dans
les tables BGP surchargent les vss. et du coup pendant
10 minutes, le vss au lieu de router et repondre aux
arp du reseau, calcule sa table BGP comme un con. voilà
pourquoi vous avez de coupure sur le vss-2, un peu moins
mais toujours autant sur le vss-1, rien sur vss-3 et
rbx-1/2 ni p19. on n’a pas fixé assez rapidement ce
probleme de CPU et les modifications dans sur les
routeurs de la backbone bouffe le reste de CPU dispo
sur le vss et vous le voyez avec un downtime.

la solution :
changer la maniere de distribuer les tables sur le
reseau et passer sur un reseau avec 2 ou 3 routeurs
collector/reflector. ils vont collecter les infos
de tous les routeurs, recalculer la belle et bonne
table et la pusher sur toutes les routeurs. au lieu
sur ldn-1 un peering a sauté, recalcule et propagation
sur rbx1/2/vss1/2/3 + ams puis ams vers rbx1/2/vss1/2/3
(2ème fois), puis ams vers var-1 vers pra vers fra puis
vers rbx1/2/vs1/2/3 (3ème fois) puis fra vers th1, th1
vers rbx1/2/vss1/2/3 (4ème fois) etc etc. de vagues
sur tout le reseau. on a commandé 3 ASR 1000 il y a
5 semaines pour ce besoins (2 mois d’etudes et pour
avoir le devis ... du temps perdu pour rien) ... on
les a dans 3 semaines et on va passer vers le collector
et donc diminuer le CPU de chaque routeur.

et après ?
remplacer ldn-1, ams-1, fra-5 par les N7. on a pris
3 baies dans chaque POP, 20KVA / POP. je vous dis
pas la facture /mois ... et on attend les cartes
pour le basculer.

et après ?
il faudra regarder ce qu’on fait sur paris. là où on
est il n’y a pas de 20KVA ... ah ! oui. et alors ?
bahh il faut reflechir ... si c’était simple on aurait
déjà fait.

voilà la version longe. à lire ou à oublier.

demain on bascule le switch int-1 vers n7 ... :)

bonne nuit.
octave

Envie de recevoir nos dernières nouvelles? Inscrivez-vous à notre newsletter