Ce matin, notre CM français, Youmukon, a posté sur les forums français de la Bêta de WildStar, une traduction d'un long message de Cougar, pour donner un certain nombre d'explications sur le désastre occasionné par la soirée d'ouverture du système de réservation des noms de personnage :
Bonjour à tous !
Bon… Ça ne s'est pas bien passé. J'avoue que nous avons mérité toutes vos critiques concernant les problèmes du Système de réservation
de noms (SRN) survenus mardi dernier. Gaff et tous les membres de nos équipes ont donc souhaité que je prenne le temps d'expliquer à la communauté la teneur des difficultés que nous avons rencontrées.
Je ne cherche en aucun cas à excuser Carbine, mais comme vous devez vous en douter, le lancement d'un jeu de cette ampleur est toujours chaotique. Bien que nous ayons très bien réussi certaines choses, nous avons clairement raté le coche avec le Système de réservation de noms. Nous sommes prêts à reconnaître nos échecs comme nous aimons à souligner nos succès.
En parlant de succès, c'est justement l'une de nos réussites qui nous a rendus trop sûrs de nous. En effet, le site de distribution de codes de bêta-test ouvert (http://wildstar-onli...om/fr/openbeta/) avait fonctionné sans le moindre heurt. Pourtant, nous l'avions assemblé de bric et de broc en l'espace de quelques semaines seulement. Nous avions pour but d'offrir un maximum de codes aux joueurs avec un minimum de prises de tête. Pas d'e-mails, pas de partenaires, nous voulions simplement ouvrir grand les portes du jeu. Le message était simple : "Venez sur notre site, récupérez un code et commencez à jouer".
Notre équipe se tenait prête à accueillir une véritable déferlante de joueurs dès l'ouverture de la bêta le 8 mai et tout s'est déroulé comme sur des roulettes. Nous avons géré des centaines de milliers de codes, avec une affluence record sur le site, et celui-ci a toujours tenu le coup. Pour vous donner un peu de contexte technique, sachez que la majeure partie du site de distribution de codes (ainsi que notre Système de réservation de noms) est hébergée sur des instances AWS (Amazon Web Services). Nous étions donc prêts à monter en puissance, mais cela ne s'est pas avéré nécessaire. Tout semblait se passer pour le mieux.
Les difficultés de mardi sont le résultat d'une série d'événements qui ont débuté avec la publication de notre DevSpeak sur les raids, dans la matinée. L'équipe s'en était occupée rapidement, avant de s'atteler à la publication de la page web du SRN. A posteriori, c'était une Très Mauvaise Idée™. Notre équipe de contrôle qualité manquait déjà de ressources pour tester les deux pages dans des délais très serrés. En publiant le DevSpeak sur les raids, nous avons attiré énormément d'internautes sur notre site et avons encouragé les joueurs à télécharger les différents contenus multimédias que nous proposions, sans oublier que nous avions publié une bannière de 13 Mo sur la page d'accueil de WildStar-Online.
Phase 1
Comme prévu, nous avons publié la page à 20 h, heure de Paris (11 h, heure du Pacifique) et, en l'espace de quelques minutes, le site a rendu l'âme. Nous sommes des joueurs, nous aussi, nous savions que tout le monde allait se ruer dessus dès la publication. Le SRN était hébergé sur Amazon Web Services et nous étions dans les starting-blocks, prêts à monter en puissance, mais nous avions sous-estimé l'impact de la nouvelle bannière de 13 Mo sur la capacité de nos serveurs web à envoyer toutes ces données à tous nos clients. Sans oublier, bien sûr, que tout le monde était déjà sur notre site pour accéder au DevSpeak sur les raids, en attendant que le SRN soit disponible.
Cela fait des semaines que j'avais prévu, ce jour-là, une réunion de plus de cinq heures avec les équipes opérationnelles pour passer en revue toutes les étapes du lancement. Peu après 11 h, heure locale, différents participants ont dû quitter la pièce pour s'occuper des problèmes du SRN. J'ai compris que nous avions un gros problème lorsque Gaff et notre spécialiste web sont entrés avec leur tête des mauvais jours. Nous avons alors décidé de couper l'accès à la page pendant 90 minutes afin d'essayer de trouver une solution aux problèmes de charge.
Nous avons corrigé le problème de cette "Phase 1" en plaçant la bannière de 13 Mo et de nombreux contenus vidéo sur notre CDN, et nous avons remis la page en ligne à 22 h, heure de Paris (13 h, heure du Pacifique). Le site Internet tenait le coup, mais c'est là qu'est survenu le problème suivant.
Phase 2
Cette phase a été particulièrement problématique. Il s'est avéré que nous devions faire face à deux gros problèmes, ce qui rendait tout dépannage extrêmement difficile. L'équipe A n'arrivait pas à identifier les problèmes et pensait que l'équipe B pouvait les régler. L'équipe B n'arrivait pas à non plus à identifier les problèmes et pensait que l'équipe A pouvait les régler. Au final, il y avait des complications des deux côtés, et cela rendait la vie TRÈS DIFFICILE aux joueurs.
Les deux équipes travaillaient de concert, et de plus en plus de gens ont essayé d'intervenir. Dès la fin de ma réunion, je me suis mis à donner un coup de main. Nous avons informé les joueurs de la situation, tout en essayant de fournir aux personnes-clés des informations supplémentaires sur ce qui se passait. À ce stade, la direction était au courant et s'occupait de débloquer des ressources dès que cela s'avérait nécessaire. Nous étions officiellement passés en mode de gestion de crise.
Mais un autre problème particulièrement retors n'a pas tardé à émerger : un défaut de conception assez sérieux sur la page du SRN. Le bouton RÉSERVER ne donnait aucun retour visuel ou sonore lorsque l'on cliquait dessus et, à chaque clic, il envoyait une requête à notre API d'authentification unique. Chacune de ces requêtes avait un délai d'expiration de 30 secondes. Nous nous étions tiré une balle dans le pied, car nos utilisateurs, en se servant du site de manière tout à fait normale, nous lançaient de fait une sorte d'attaque par déni de service. La panique et la confusion régnaient parmi les joueurs qui ignoraient si leurs noms avaient bien été réservés, et les utilisateurs restaient sur la page à cliquer sur le bouton pour essayer de savoir si la réservation avait fonctionné ou non.
Nous avons brièvement affiché un message d'erreur pendant dix minutes annonçant que tous les clients devaient avoir une précommande, puis nous l'avons retiré. Le nombre de clics a alors nettement diminué, avant de rapidement remonter en flèche. Nous étions alors convaincus que le problème que nous avions sur les bras n'était pas de nature humaine, ce que nous avons pu confirmer plus tard en analysant nos fichiers journaux. Quoi qu'il en soit, c'était notre faute et nous aurions dû éviter ce problème dès le départ.
Pendant tout ce temps, nous avons sérieusement débattu de la possibilité de désactiver la page ou non. Nous avons finalement décidé de persévérer, car nous envisagions plusieurs solutions. L'une d'elles a fini par porter ses fruits.
Les créateurs du SRN ont en effet découvert un paramètre incorrect dans la configuration du système. Une fois le paramètre corrigé, les ordinateurs Amazon AWS et toute la base de données se sont brusquement réveillés et ont rapidement traité TOUTES LES DONNÉES. Nous sommes passés d'une centaine de noms enregistrés en 10 minutes à plusieurs milliers sur la même période. Le système commençait à marcher… Enfin, c'est ce que nous pensions.
[...]
Retrouvez l'intégralité de la lettre : http://www.wildstar-echoes.com/story/95