STATS DU SITE OFFICIEL & STATS EOC : les infos, les bugs

[DK-tastrophe]

Rappel : Cette nuit est celle du passage à l’heure d’hiver en Europe (pour Paris : UTC+2 → UTC+1), mais l'alternance n'aura lieu que le dimanche 3 novembre aux USA (cf. post #24).

Par conséquent, toute la semaine prochaine, les updates des stats d'EOC en CDT (= UTC-5) sortiront pour nous une heure plus tôt que d'habitude :
update de CDT12am à 06h00 chez nous, les suivants à 09h00, 12h00, 15h00, 18h00, 21h00, 00h00 et 03h00.

edit 03/11 :
Ce dimanche 03/11 à 08h00 pour nous (UTC 07h00), l'horloge d'EOC a reculé d'une heure (CDT2am = CST1am)
Désormais ses updates s'affichent en CST (= UTC-6) ; ainsi nous les retrouvons à nos horaires habituels (07h00, 10h00, 13h00, 16h00, 19h00, 22h00, 01h00, 04h00) tout l'hiver jusqu'au prochain changement d'heure (le 09/03/2025, deuxième dimanche de mars).

[DK-tastrophe]

EOC : slim fast !

Préambule : rappel des filtres d'EOC
• Gestion des users : depuis juin 2020 et jusqu'au mois dernier, EOC prenait en compte uniquement les users avec au moins 551 points, soit environ le tiers des users existants chez fah.org, et ignorait les autres.
(pour info, les seuils précédents furent, à ma connaissance : 375 pts fin novembre 2018, 1 point fin août 2018, et aucun seuil auparavant de 2004 à 2018)
• Gestion des teams : EOC ne gère que les 12·000 premières teams, soit approximativement 10% des 128·000 teams actuellement créées chez fah.org.
• Conditions supplémentaires :
1. Parmi ces 12·000 teams, seules certaines disposent des statistiques individuelles, pour ceux de leurs users qui dépassent le seuil des 550 points.
il s'agit : des infos ajoutées au bas de la page Team Summary, et de la page supplémentaire Team Users List proposée avec les filtres All Users, Active Only, New Only.
  
Les teams ainsi honorées de statistiques individuelles sont : les 1200 premières, auxquelles s'ajoutent les plus actives parmi celles entre les rangs 1200 et 2000, plus quelques demandes particulières.
2. Dans le cas particulier de la team Defaut #0, les statistiques individuelles sont restreintes à ses 2·000 premiers users.
À elle seule, cette team #0 regroupe près du tiers de l'ensemble des plieurs mondiaux : près de 878·000 users actuellement, dont 660·000 au-dessus du seuil de 551 pts (et les deux tiers de ces derniers à moins de 5·000 pts) ; actuellement le mieux classé des exclus de la team#0 a environ 230 Mpts, avec un rang mondial autour de 18·500.
3. De plus, depuis août 2018, les users ne sont plus case-sensitive, par conséquent EOC ne gère plus tous les users en doublon au sein d'une même team, seul le mieux classé est traité.

(source : toutes ces infos sont exposées, en angliche, soit dans la page d'infos sur la BDD d'EOC, soit dans la précieuse longue liste de news rédigées par Jason, le génial codeur des stats et webmaster d'EOC)


Par exemple, l'AF, team bien classée, bénéficie de statistiques individuelles, et ce pour, jusqu'à il y a peu, environ 2/3 de ses users ; les exclus AF des stats d'EOC sont :
- principalement : tous ceux en dessous du seuil des 551 pts,
- en plus : les quelques dizaines de users avec un nom d'identifiant non unique et dont un doublon (homonyme sans distinction majuscules-minuscules) a un meilleur classement.

Remarque : Le classement mondial d'EOC pour les users pâtit un peu de l'ensemble de ces exclusions, en particulier au-delà du rang du premier exclu des plieurs de la team #0 (ce qui, actuellement, correspond dans l'AF approximativement aux rangs 130~140) : tous les plieurs moins bien classés voient le rang mondial qu'EOC leur attribue nettement surévalué, et l'erreur s'accroit en descendant dans les profondeurs du classement.
En voici un exemple d'illustration dans l'AF : le plieur samusz, crédité le 15/11 d'environ 1 Mpts au rang 1·829 de l'AF, était alors classé environ 368·500ème mondial par fah.org, alors que EOC lui attribuait un rang nettement supérieur aux alentours de 348·000.


Alors, que se passe-t-il en ce moment ?

Sous les critères précédents, jusqu'à récemment EOC gérait environ 923·000 users, sur le total d'environ 2,7 millions d'identifiants déclarés chez fah.org.
La BDD d'EOC conserve un enregistrement de chacun de ses 8 updates quotidiens depuis 2008, soit environ 48·000 updates, chacun multiplié au fil du temps par jusqu'à 12·000 teams et 923·000 users : mi-novembre leur somme s'élevait à 2,4 milliards d'enregistrements, et représentait environ 87 GB de données (3 pour les teams + 84 pour les users, cf. capture ci-dessous à la date du 15/11).

     


Évidemment, la masse de données ne cesse d'enfler !
Les limites matérielles et horaires n'étant pas aussi extensibles que le nombre de teams et de users, il convient d'éliminer régulièrement quelques unes des données les moins intéressantes afin de conserver les performances du système de stats.
Or, depuis quelques semaines, les index devenaient vraiment trop lourds, et la durée du process d'update dépassait régulièrement les 60 minutes, signe que le script procédant à ces nettoyages réguliers n'était pas suffisant.
La BDD des stats d'EOC s'est donc vu infliger une rigoureuse cure d'amaigrissement, comme plusieurs fois déjà dans le passé (cf. les 3 relèvements précédents des seuils d'entrée).

Dans un premier temps, mi-novembre, Jason a commencé par le script périodique d'optimisation des tables d'historiques et a procédé à l'élimination des stats individuelles dans quelques 400 teams inactives parmi les 12·000 traitées. Mais l'amélioration restait largement insuffisante.
Par conséquent, ensuite il a relevé le seuil de stats individuelles de 551 pts à 5·000 points, sauf pour les users très récemment actifs (très récemment = moins d'une semaine ; actuellement, aucun plieur de l'AF sous les 5·000 pts n'est concerné) : toutes les données précédentes concernant les users inactifs sous ce seuil sont progressivement effacées, par un process d'élimination en cours depuis le 27/11. C'est ce second traitement, qui se déroule entre les 8 updates quotidiens, qui dernièrement ralentit sensiblement l'affichage des pages, en particulier des graphiques ; il s'achèvera dans quelques jours.
Les tableaux de l'image précédente permettent d'évaluer la quantité de données progressivement supprimées par les 2 étapes : l'optimisation mineure du 18/11 puis le nouveau seuil à partir du 27/11, et d'apprécier la franche amélioration de la durée de l'update, à présent redevenu raisonnable.

Cet élagage sévère mais nécessaire atteint ainsi son but : une très nette diminution du nombre de plieurs stockés dans la BDD, et avec les précautions prises par Jason, les suppressions concernent majoritairement des inactifs, et préservent les plieurs dernièrement actifs.

Pour l'ensemble de la BDD :
De près de 923·000 users référencés, ce nombre est descendu vers 778·000 à l'heure actuelle, mais devrait probablement tomber autour de 720·000 (soit le quart de l'effectif total chez fah.org).
Globalement, environ 20% des users enregistrés sont ou seront éliminés.

L'élimination se traduit de façon moins drastique sur les teams les plus récentes (celles à grand team number) et sur celles composées quasi-exclusivemement de users bien classés ; ainsi elle impacte peu des teams comme LinusTechTips, Banano, PCMR, et absolument pas EPFL ou Loxo.
Au contraire, les teams les plus anciennes (celles à petit team number, comme l'AF), qui traînent des tas de users inactifs depuis plus d'une dizaine d'années et de plus crédités des minuscules scores alors en vigueur, voient au contraire le nombre de leurs users référencés presque amputé de moitié : ainsi l'AF, ou encore les teams Pande Lab #1, Overclockers.com #32, HardOCP #33.


Plus précisément pour l'AF :
Sur les 22·149 comptes réels de l'AF au 27/11, EOC en référençait 15·914.
Comme indiqué sur le graphique, ce nombre descend progressivement, aujourd'hui 10·107, pour atteindre à terme autour de 9·800 (9·785 selon mes estimations qui tiennent compte de l'ajout de empirehell le 01/12, et sauf retours ou nouveaux inscrits d'ici la fin du process).


Autres conséquences mineures :
1. Pour à peu près tous nos plieurs situés au-delà de notre top100, la surévaluation par EOC de leur rang mondial déjà évoquée s'amplifiera légèrement : le même samusz aujourd'hui 1·811ème AF est depuis le 15/11 remonté du 368·500 rang mondial au 363·400ème dans les fichiers officiels, soit un gain réel d'environ 5·000 places, mais seulement du 348·000ème au 346·000ème selon EOC, soit un gain de seulement 2·000 places : le surclassement d'EOC a pour conséquence de minimiser sa progression.
2. Des users crédités de petits scores (moins de 5·000 pts) et récemment inactifs ne seront pas reconnus par EOC à leur (éventuel) retour, et seront par conséquent affectés d'un nouveau numéro d'identifiant interne, beaucoup plus élevé.


Voilà.
Je ne doute pas qu'au terme du traitement, comme à son habitude après chaque intervention majeure, Jason ajoutera une actualité à sa remarquable liste de news (si seulement fah.org savait aussi communiquer...) et je le remercie bien chaleureusement pour ses récents mails concernant la révision actuelle.

Je ne vous rappelle pas combien les stats d'EOC sont essentielles à toute la communauté folding, et m'abstiendrai de conjecturer sur le temps et les efforts qu'impliquent la maintenance et les améliorations d'un tel serveur... So please, si ce n'est déjà fait n'oubliez pas de lui manifester votre satisfaction.

[DK-tastrophe]

ensuite il a relevé le seuil de stats individuelles de 551 pts à 5·000 points

Apparemment, c'est plutôt à 5·001 points, puisque foudelou, le seul plieur AF à 5·000 pts tout pile, vient d'être éliminé.

Depuis le 27/11, toutes les entrées dans la BDD des années 2004 à 2019 ont été élaguées, désormais le bouzin tourne depuis plus de 2 jours sur l'énorme année 2020... et il lui restera encore 4 années à traiter ensuite.
Bref, probablement encore une petite semaine de ralentissements.


edit 19h30 : Bonne nouvelle, au dernier update (12pm, 19h00 pour nous) l'année 2021 est en cours.

[DK-tastrophe]

EOC, suite et fin :

Après un très long update cette nuit à 9pm (durée 1h49), le process d'élagage semble arrivé à son terme (les graphiques par nombre de users sont éloquents !). Les ralentissements ont d'ailleurs cessé, et le dernier update à 12am n'a duré que 14 minutes.
Le nombre total de plieurs référencés est tombé à 722·884 (+ quelques entrées depuis) dont 9·785 pour l'AF.

Illustration graphique
1) pour l'ensemble des plieurs :
- stabilisation récente

- bilan du traitement de ces 3 dernières semaines

(de telles réductions avaient déjà eu lieu, la dernière pendant l'été 2022)


2) concernant l'AF, voici également le graphique des tous derniers moments

et le résultat global


Pour finir, le but est atteint : la BDD est tombée de 87 GB à 64 (3+61) !
 
GG Jason !


edit : En complément, voir la récente news de Jason : A long overdue update!  en date du 08/12/2024

[DK-tastrophe]

15/12 : un serveur en carafe !

Message de toTOW sur discord :

28.174.73.74 ds01.scs.illinois.edu est en rade, vous étonnez pas si y'a quelques problèmes de connexion ...

Ce WS concerne les WU suivantes :
12119-20-21 (0x22)
12701-02-03-04 (0x23)
14955, 14967, 14971 (0x22)
15000 (0x23)
19227-28-29 (0xa8)

edit : serveur relancé quelques heures après, RAS