Top Of Peak: Tencent'S "Spring Festival Defence Battle"

Au Festival du printemps 2021, de nombreuses personnes n'ont pas pu se réunir avec leur famille le réveillon du Nouvel An chinois pour la première fois.Pour Zou fangming, le réveillon du nouvel an dans l'entreprise est déjà un repas ordinaire, au cours des neuf dernières années, son temps de dîner annuel est passé avec ses collègues.

Dans le passé, Zou fangming et ses collègues avaient l'habitude d'appeler Seabed Salvage à emporter à la compagnie, tout le monde avec un pot chaud pour la fin de l'année dernière, mais cette année, parce qu'il a déménagé dans un nouveau bâtiment, ne peut pas ouvrir le feu, donc tout le monde doit aller à un restaurant en face de la compagnie pour manger.

Le soi - disant dîner du nouvel an, tout le processus est très plat, personne ne boit, l'heure du dîner n'est que de 17 h 30 à 18 h 30 environ une heure, après le dîner, tout le monde est rapidement retourné au travail.Parce que, sans surprise, ils ont une vague de pics d'utilisateurs à 19h, et le temps suivant, leur tâche est de surveiller les vagues de pics d'utilisateurs et de faire face à d'éventuelles rafales de trafic.

Avec l'horloge du Nouvel An sonnant, Zou fangming devant le logiciel de surveillance tout est normal, ils peuvent enfin respirer un soupir de soulagement, parce qu'ils ont survécu à un an de "protection du printemps".

Zou fangming est maintenant directeur du Centre d’auto - recherche du Département de l’infrastructure de Tencent. La responsabilité principale de son Département est de soutenir la recherche et le développement de l’auto - recherche interne de Tencent. En termes simples, le Département a accès à plus de 90% des activités de Tencent. Les produits de Tencent couramment utilisés par Les utilisateurs, tels que Wechat et QQ, sont tous liés au soutien technique sous - jacent.

Zou fangming a déclaré au rapport économique du 21ème siècle que les produits de Tencent sont principalement des produits sociaux, et les produits sociaux doivent avoir des événements chauds, des moments clés et des moments de protection clés, parmi lesquels le festival de printemps est le plus grand défi et la tâche la plus lourde.

Il est rapporté que Tencent a commencé à mettre en place le projet de protection du printemps à partir du Festival de printemps 2013.Xiao Zhili, Vice - Président de Tencent Cloud et Directeur général du Département de l'infrastructure de Tencent, a déclaré aux journalistes que la période de pointe du Festival de printemps était en fait à l'ère de l'Internet PC, mais à ce moment - là, l'accès à Internet des utilisateurs n'était pas si pratique, de sorte que le pic n'était pas le réveillon du nouvel an, mais le quatrième ou le cinquième jour du Festival de printemps, après que tout le monde a commencé à travailler après le festival de printemps, certaines photos devraient être téléchargées dans l'espace QQ pour la DivisionDans l'ensemble, la pression sur la sécurité n'était pas très forte.

Mais à partir de 2012, en particulier après l'apparition de Wechat, la marée de l'Internet mobile a balayé, la communication et l'interaction des utilisateurs sont devenues plus en temps réel, ce qui a donné lieu à un véritable pic du Festival de printemps.La raison pour laquelle il s'agit d'un véritable PIC est qu'il a été multiplié par des centaines et des milliers par rapport à l'ère PC - Internet passée. Bien sûr, ce contraste énorme a également laissé de nombreux souvenirs douloureux au personnel engagé dans le soutien technique.

"Chunbao" inattendu et constant

Pour Zou fangming, 2013 a été sa première expérience de "chunbao", son année la plus "douloureuse".

À cette époque, Wechat, publié en janvier 2011, se développait rapidement. En mars 2012, le nombre d'utilisateurs de Wechat a dépassé 100 millions. Au début de 2013, le nombre d'utilisateurs de Wechat avait dépassé 300 millions.Zou fangming est responsable de la recherche et du développement de l'ensemble du système d'images et de vidéos de chat Wechat. Comme indiqué ci - dessus, avant 2013, il n'y avait pas de concept clair de "protection du printemps" à l'intérieur de Tencent. Zou fangming n'a pas non plus rencontré de produits qui ont connu une croissance aussi rapide, de sorte qu'il n'a pas pensé que Wechat pourrait soudainement apparaître "grande congestion".

Le réveillon du nouvel an 2013, dans le contexte de l'ensemble de la société mobile en plein essor, les gens dans l'interaction mobile deviennent de plus en plus fréquents.Dans Wechat, les utilisateurs ont commencé à bavarder et à envoyer des vidéos de célébration du nouvel an.Le charme d'un produit social réside dans sa fission, qui passe de 10 à 100, mais pour les techniciens, cette fission apporte une concurrence effrayante et élevée.

Zou fangming se souvient que le nombre de vidéos du nouvel an a soudainement augmenté de six ou sept fois à la veille du nouvel an 2013, ce qui a dépassé leurs réserves.À ce moment - là, face à l'énorme quantité de vidéos soudaines, Zou fangming était un peu impuissant, parce qu'il n'y avait pas de plan de préparation, et ne pouvait pas temporairement obtenir plus de ressources du serveur, afin de protéger l'ensemble du système de ne pas s'effondrer, ils ont dû prendre la méthode de dégradation.

Ici, la dégradation se réfère à la limitation de la taille de la vidéo envoyée par l'utilisateur. La limitation initiale est que la vidéo de plus de 10 mégaoctets n'est pas autorisée à être envoyée, puis devient 6 mégaoctets, 4 mégaoctets, 2 mégaoctets. L'ensemble du processus de dégradation se poursuit de 19h à 22h ce jour - là, pendant trois heures complètes.Zou fangming a dit qu'il était très effrayant qu'ils aient limité la vidéo à près de 70 à 80% des utilisateurs au plus fort de 20 heures du soir. Pendant ce temps, ils ont également reçu un grand nombre de plaintes d'utilisateurs, mais ils n'avaient vraiment pas d'autre choix que de traverser le pic de trafic de cette façon brutale.

Après l'expérience amère du Festival de printemps 2013, Tencent a commencé à préparer la « protection du printemps ».Zou fangming a présenté que le cycle préparatoire du projet de protection du printemps commence en octobre de chaque année et dure environ deux à trois mois.Au cours de la préparation, les équipes de produits et de technologies détermineront d'abord les méthodes de jeu des produits pendant le festival de printemps, puis mesureront la largeur de bande et le stockage de chaque produit en fonction de ces méthodes de jeu.

Bien sûr, les besoins en ressources des produits ne peuvent pas être satisfaits à ce moment - là. L'équipe Zou fangming équilibrera les besoins et les ressources avec emphase afin d'assurer l'expérience des utilisateurs de chaque produit par l'amélioration technique et la stratégie flexible dans des circonstances de ressources limitées.

Mais l'accident s'est produit pendant le festival de printemps 2015, sous la préparation de "chunbao".Parce qu'en octobre 2014, Wechat a mis en ligne la petite fonction vidéo, qui peut être partagée dans le cercle d'amis et l'interface de chat, le nombre d'utilisateurs de la petite vidéo Wechat n'est pas grand à la veille de "chunbao", c'est - à - dire en octobre et novembre. Lors de l'estimation, Wechat a également donné des dizaines de fois la capacité en fonction de son échelle.

Mais à la veille du nouvel an 2015, la petite vidéo Wechat a soudainement atteint un sommet plus élevé que prévu.Environ une heure avant le début du gala de printemps, les petites vidéos ont explosé et le système a commencé à échouer.Zou fangming et ses collègues ont commencé à augmenter leur capacité d'urgence, mais comme le système de micro - vidéo de Wechat réutilisait la vidéo Tencent à l'époque, il était plus favorable à PGC qu'à UGC, de sorte que le processus de traitement était plus compliqué.

Zou fangming se souvient qu'après l'expansion d'urgence d'un module d'index, l'index n'a pas de problème, mais comme le volume continue d'augmenter, le module d'accès frontal a encore des problèmes, et après avoir traité le module d'accès, l'autre module de traitement vidéo ne fonctionne pas.

« Ainsi, ce soir - là, le problème a duré environ trois heures, et lorsque nous avons terminé d'agrandir tous les endroits où nous pouvions le faire, le pic d'utilisateurs était passé.Bien que l'ensemble du système n'ait pas ét é affecté, la petite expérience vidéo du réveillon du nouvel an n'est pas bonne pour les utilisateurs, a déclaré Zou.Par conséquent, après le festival de printemps 2015, le Département de l'infrastructure de Tencent a ajusté l'ensemble de l'architecture du système vidéo et optimisé les scènes de petites vidéos.

Supporter la pression de l'enveloppe rouge

Au festival de printemps 2015, en plus de l'urgence causée par la petite vidéo Wechat, Tencent "Spring Insurance" a en fait accueilli un autre grand examen - l'interaction du gala de printemps de Wechat Red Pack.

Xiao Zhili a dit aux journalistes qu'en novembre 2014, ils ont appris de l'équipe de paiement Wechat que le Festival du printemps et le gala du printemps coopéreraient pour mener une activité d'emballage rouge, et l'échelle des utilisateurs de Touch sera grande.À cette époque, le Festival du printemps n'était qu'à deux mois, ce qui était sans aucun doute un test important pour l'équipe Xiao Zhili.

Xiao Zhili a déclaré qu'il y avait trois problèmes majeurs à l'époque: premièrement, le système original de paquets rouges ne doit pas être utilisé, parce que le système original était destiné à des dizaines de milliers de personnes à l'intérieur de l'entreprise, maintenant pour s'étendre à 1 milliard d'utilisateurs pour envoyer des paquets rouges, l'ensemble du système doit être refait.

Deuxièmement, l'activité des paquets rouges du Festival de printemps consiste à faire participer les utilisateurs au vol des paquets rouges par le biais de la diffusion orale du gala de printemps, ce qui pose un défi: il est difficile d'estimer la quantité d'accès que le système doit transporter.« Je ne sais pas à quel point c'est stressant, c'est vraiment un grand tabou architectural, mais nous n'avions vraiment aucune référence à l'époque.Dit Xiao Zhili.

Enfin, le travail de soutien technique ne peut réussir que sans échec. « s’il échoue, c’est la honte devant tout le pays, de sorte que la pression technique sera plus forte que jamais.»

En moins de deux mois, Xiao Zhili, accompagné de l'équipe du système de paquets rouges du Département de l'infrastructure de Tencent et de l'équipe de paiement Wechat, est resté dans le bâtiment Tencent à Shenzhen toute la nuit. Chaque jour, il a essentiellement soumis la version à 12 heures du soir, a commencé à tester à 1 heure du matin, et a produit les résultats à environ 4 heures du matin. Tout le monde a continué à étudier comment optimiser et reconstruire le lendemain.

Jusqu'au 10 février 2015 environ, l'ensemble du système Red Pack a été essentiellement déterminé.Mais jusqu'à trois jours avant le réveillon du nouvel an, toute l'équipe était toujours en train de modifier le Code, parce qu'au cours des tests répétés, Xiao a demandé à l'équipe de le corriger chaque fois qu'elle a découvert un risque potentiel, « Nous devons essayer d'éliminer tous les risques ».

En fin de compte, Tencent a mené à bien l'activité de forfait rouge du gala de printemps 2015. Wechat payment a également terminé le rattrapage d'Alipay dans le domaine des paiements mobiles grâce à cette coopération.Selon les données officielles de Wechat, la réception et l'envoi de paquets rouges de Wechat ont atteint 1,01 milliard de fois le réveillon du nouvel an 2015. Entre 20 h et 0 h 48 le lendemain matin, la quantité totale d'interaction de Wechat Shake a atteint 11 milliards de fois le soir du printemps.

Xiao Pan, Directeur du Centre d'exploitation technique du Département d'infrastructure de Tencent, a déclaré aux journalistes économiques du 21ème siècle que, pour les systèmes à paquets rouges, s'ils sont confrontés à une pression de trafic plus forte que prévu, ils prendront également des mesures de déclassement, telles que des restrictions financières, afin de réduire rapidement la concurrence.

En outre, selon l'introduction de Xiao Pan, l'ensemble du système de paquets rouges est en fait comme un entonnoir, il filtre chaque couche, de sorte que le "vol" de paquets rouges est le volume de concurrence le plus élevé de l'utilisateur, suivi par le démontage, jusqu'à la dernière vraie transaction, en fait, le volume de concurrence de l'utilisateur a été beaucoup moins.

Bien que les paquets rouges de Wechat se soient développés rapidement au cours des dernières années, il n'y aura plus de saut de 100 000 à 1 milliard de dollars comme en 2015.À l'heure actuelle, le nombre d'utilisateurs de paquets rouges de Wechat est proche du nombre d'utilisateurs de Wechat, et la croissance de la concurrence pendant le festival de printemps est relativement stable. Pour le système de paquets rouges de Tencent, le travail principal est d'optimiser continuellement le système et de réduire les coûts et les ressources.

"Chunbao" devient la norme

Zou fangming a dit aux journalistes, si vous regardez en arrière les neuf dernières années de Tencent "chunbao", peut être divisé en deux étapes, la première étape est de 2013 à 2016, peut être appelé la phase de capacité portante insuffisante.

Au cours de cette période, il y a des raisons pour lesquelles l'entreprise se développe rapidement, mais aussi pour lesquelles l'architecture technique de Tencent n'est pas parfaite. En bref, la capacité du système n'est pas suffisante pour soutenir la croissance de l'entreprise, ce qui entraîne diverses défaillances.Par conséquent, au cours de cette période, le travail principal est d'améliorer la capacité de charge, en plus d'ajouter du matériel, des moyens techniques, mais aussi d'améliorer continuellement les performances.

La deuxième étape est après 2016, cette étape, dans les dernières années de sédimentation et d'optimisation, la capacité portante de TENCENT est presque sans problème, à ce moment - là, il est nécessaire de faire de l'amélioration.Avec l'augmentation des exigences des utilisateurs en matière d'expérience produit, Tencent doit également optimiser continuellement la capacité de charge sur la base du fonctionnement normal du système. Par exemple, dans le passé, les exigences techniques possibles étaient que le service ne pouvait pas être refusé pendant plus de 30 minutes, mais maintenant, le déni de service ne se produit pas, et le délai de transformation des exigences techniques en service ne peut pas dépasser 5 minutes.

Cette année, Xiao Zhili a fait l'expérience globale de "chunbao", se sentant très lisse, toutes les périodes de pointe sont dans la plage prévue.Par conséquent, pour le Département de l'infrastructure de Tencent sous la direction de Xiao Zhili, le travail de soutien pour des moments clés tels que "chunbao", dans les conditions d'affaires actuelles, la pression s'est stabilisée, la principale précaution est quelques moments critiques soudains.

Par exemple, au début de 2020, la Conférence Tencent, qui n'a été mise en ligne qu'à la fin de 2019, a connu un moment critique en raison de l'épidémie de la nouvelle couronne.Selon l'objectif initial de l'équipe de conférence de Tencent, le DAU devrait atteindre 50 000 d'ici la fin de 2020. À la mi - février, les utilisateurs en ligne de la Conférence de Tencent ont dépassé 4 millions, soit une augmentation de 1 000 fois.

Cette croissance spectaculaire pose également d'énormes défis au Département de l'infrastructure de Tencent.En fait, il y a beaucoup de Tencent d'affaires avec des millions d'utilisateurs en ligne du seul point de vue technique, a déclaré M. Xiao. Il n'est pas difficile de soutenir ce type d'affaires.Mais la raison pour laquelle la situation était urgente à ce moment - là était que, sous l'influence de l'épidémie, ils n'ont pas pu trouver suffisamment de ressources physiques, par exemple, la large bande bgp de l'opérateur ne pouvait pas être satisfaite, l'adresse IP de l'Extranet ne pouvait pas être satisfaite, certains fournisseurs d'équipement ne pouvaient pas reprendre le travail et divers équipements ne pouvaient pas être fournis.

À ce stade, ces problèmes matériels ne peuvent être résolus que par le logiciel.Xiao Zhili a dit, l'adresse IP n'est pas suffisante, trouver un moyen d'utiliser la technologie de multiplexage de port, la nouvelle machine ne peut pas fournir, mobiliser des serveurs de tout le pays, re - adapter par virtualisation ou l'architecture logicielle, s'efforcer de Tencent d'abord pour soutenir les affaires.

C'est dans ces conditions extrêmement difficiles que Tencent a terminé l'expansion d'un million de noyaux.En fait, du point de vue de la difficulté, l'expansion urgente de la capacité de TENCENT est plus difficile qu'en 2015 pour faire face à l'activité de l'enveloppe rouge du gala de printemps, car il s'agit d'un défi à relever sans préparation.La raison pour laquelle Tencent a résisté à la pression est qu'il a connu trop de moments importants dans le passé comme "Spring Safe".

Zou fangming a déclaré que le soutien technique est devenu plus facile en ce qui concerne la fréquence des défaillances et la stabilité de l'entretien, parce que tout le monde a fait des efforts acharnés. De nombreux employés connaissent bien le rendement et les exigences de chaque entreprise depuis qu'ils ont travaillé comme « assurance du printemps » en 2013.Il y a donc une grande situation, principalement parce que je ne m'y attendais pas, mais en fait, cette situation inattendue est devenue de moins en moins.