STATS DE L'AF : les comptes à réaffecter dans les miniteams, c'est là !

[Thor]

MTA, tu veux parler de MTA_ACTIVE ?

MTA = Mini Team Account je suppose, peut être pour indiquer si le plieur est ou pas actif pour pouvoir comptabiliser le nombre d'actif dans tel ou tel miniteam.

MTA_JOINDATE, date ou on l'a vu pour la première fois dans les stats ? Mais c'est bizarre que beaucoup de membres est leur date à 0000-00-00 00:00:00
Ou alors date d'inscription sur l'ancien portail de l'Af ?

[JWhy]

désolé, rentré tard hier et pas vu les échanges.

Alors en vrac, et j'en oublie peut-être:
- j'aurais pu être plus explicite : le dump, vu la taille , était a importer via mysql en ligne de commande pour ne pas rencontrer les limitations de PHP ( https://stackoverflow.com/questions/1766...e-in-mysql )
- comme je disais dans mon précédent post les 2 tables miniteam ne sont pas historisées (et là aussi, j'aurais pu être plus clair sur les impacts, désolé) :

Par contre, je n'historisais pas ces 2 tables , donc je n'ai pas une image datant de 2003, mais des données collectées de 2003 à 2016.

Le contenu est donc celui de 2016, avec la "vie" des données sur la période.
Pour reconstruire l'historique de "qui a rejoint quoi quand" avec précision, il faudrait analyser chaque stats_user_ quotidien et noter les deltas Pas sûr que ce soit d'un grand intérêt... ou même facile à faire
ERRATUM : tu n'aurais même pas l'info simplement avec juste la BDD : les tables stats_user_ ne portent pas l'info d'appartenance (à une miniteam) de l'utilisateur. il faudrait appliquer les règles d'appartenance pour calculer , pour chaque utilisateur/chaque jour, où il était le jour J.
- MTA_, MTM_, USR_ <= mes règles de nommage des colonnes  : je préfixe les colonnes par le nom/code de la table  qui l'héberge. Dans une base / une requête SQL un peu complexe, ça permet d'identifier facilement dans quelle table se trouve quelle colonne. [ça vaut ce que ça vaut]
- MTA_ACTIVE => je pense que l'explication de Thor est la bonne
- MTA_JOINDATE => idem Les 0000-00-00 sont pour les membres  des Fermiers Généreux . Comme je récupere un fichier .txt externe pour avoir la liste des membres (annule/remplace du précédent) , je n'ai probablement pas implémenté le suivi des arrivées/départs et donc le remplissage de cette JOINDATE (EDIT : a priori c'est pas un bug, c'est une fonctionnalité => cf colonne MTM_REPLACE = 1 pour cette miniteam )

[DK-tastrophe]

À propos de MTA_JOINDATE, j'ai songé à la même chose que vous. Mais je pense que ça ne colle pas : il n'y a que CINQ dates différentes !
0000-00-00 : tous les Fermiers sauf nollyren_e
2003-04-07 : toTOW
2003-04-08 : nollyren_e
2005-01-09 : [3dChips]_GriBouille
2016-03-21 : TOUS LES AUTRES !

[JWhy]

J'ai retrouvé mon vieux code : toutes les requêtes qui manipulent "MTA_JOINDATE" insèrent une date = NOW()
C'est cohérent avec la dernière table stat_users qui est aussi du 21/03/2016 (par contre ça devrait aussi être cette date pour les Fermiers... peut-être un bug ?)
Dans tous les cas, pas grand chose à faire avec les données de cette colonne...

ps: je me suis "amusé" (un peu galère) à le refaire tourner sur mon PC, je m'étais quand même super fait ch.... avec ce site (mais le résultat était là , l'air de rien)
J'essaierai de faire quelques captures en mode "nostalgie" (vu que WebArchive n'aura pas les pages "membres") , car je doute qu'on arrive à le faire tourner chez un hébergeur récent, même pour le fun

---

Les captures d'écran, c'était pénible, vu le nombre de pages, donc petite vidéo : http://myw3.free.fr/forum/ancien_site_af.mp4
et comme j'ai oublié de cliquer sur le bouton "News" , la capture d'écran associée : http://myw3.free.fr/forum/ancien_site_af_news.png
(la géoloc. ne fonctionne plus => site partenaire HS / ne propose plus les API)

Comme tu le verras/vous le verrez, en plus des "vrais" miniteams (avec les stats générées, etc...) , les utilisateurs/membres avaient la possibilité de saisir, dans le profil de leurs ordis, une zone texte libre "miniteam" => je n'en faisais pas grand chose (à part l'afficher / utiliser des filtres pour la recherche), mais ça donnera peut-être des infos pour l'archéologie en cours.
Je ferai un export de ces comptes utilisateurs F@H <-> "miniteam saisie à la main" cette fin de semaine (là je vais me coucher )

a+

[DK-tastrophe]

Impressionnant !!

De mes premières années de pliage (2007-2010) je me me souvenais confusément qu'il y avait plein de stats sur le site de l'AF (et j'en ai récemment redécouvert beaucoup sur WebArchive – au passage, merci encore d'avoir fait enregistrer l'intégralité des topics du forum en décembre 2017 !) mais là je réalise l'exhaustivité et je suis totalement bluffée !

Mais quel boulot de dingue !!!


Je me refais en détail la vidéo dès demain, il me semble avoir aperçu des trucs que justement je recherche... (en particulier, si tu as gardé de ton côté des infos sur les 4 mini-teams de JGP par pays : Québec, France, Belgique et Suisse... je prends !)

Pour l'instant, j'ai bien déblayé les périodes 2005-2010 (et 2017-2019, évidemment aussi) mais je récupère toute info concernant soit les affectations (composition des mini-teams, ainsi que les infos sur les identifiants correspondants aux comptes folding sur les différents sites ou forums de plieurs) soit les scores (points/wu, par ex. des fichiers team51, en version Stanford ou version JGP). Il me manque surtout des données avant 2005 et entre 2010 et 2017, mais je prends tout, même incomplet, même non daté (et même sous forme myschtroumpf ou phpn'imp...)
En octobre dernier, la dernière màj du Stanford a (entre autres bugs) squeezé toutes les dates of last wu pour les comptes inactifs dans les mois précédents, réattribué TOUS les numéros de donor, qui à présent ne me semblent plus du tout basés sur la chronologie, et encore une fois bouleversé la casse des users. J'aurais vraiment dû finir ces listes avant cette saleté de màj, les données étaient alors plus accessibles...

Kana s'impatiente gentiment, pour l'instant les affectations ne sont toujours pas corrigées dans ses stats (disons qu'il y a quelques centaines de millions de points qui se baladent n'importe où...), mais je pense pouvoir lui filer très bientôt des listes (presque) rigoureuses en recroisant toutes les infos réunies jusqu'à présent. Ensuite, pourrait-on voir avec lui pour éventuellement héberger ses stats sur le futur nouveau domaine de l'AF ? (en 2017, on avait pensé à Zeb, mais vu que ça n'avance pas du tout de ce côté...)

Voilà, merci encore pour toutes ces belles exhumations,
Et merci à vous deux pour les coups de pouce côté technique, où je suis une vraie quiche.

[Thor]

J'ai retrouvé mon vieux code : toutes les requêtes qui manipulent "MTA_JOINDATE" insèrent une date = NOW()
C'est cohérent avec la dernière table stat_users qui est aussi du 21/03/2016 (par contre ça devrait aussi être cette date pour les Fermiers... peut-être un bug ?)
Dans tous les cas, pas grand chose à faire avec les données de cette colonne...

ps: je me suis "amusé" (un peu galère) à le refaire tourner sur mon PC, je m'étais quand même super fait ch.... avec ce site (mais le résultat était là , l'air de rien)
J'essaierai de faire quelques captures en mode "nostalgie" (vu que WebArchive n'aura pas les pages "membres") , car je doute qu'on arrive à le faire tourner chez un hébergeur récent, même pour le fun

Oula, ça me rappelle des (vagues) souvenirs tout ça, mais je ne me souvenais pas que le fond du site était bleu comme ça.

"Je doute qu'on arrive à le faire tourner chez un hébergeur récent"
Code incompatible avec les technologies actuels ?

Ensuite, pourrait-on voir avec lui pour éventuellement héberger ses stats sur le futur nouveau domaine de l'AF ? (en 2017, on avait pensé à Zeb, mais vu que ça n'avance pas du tout de ce côté...)

Si j'ai bien compris, la page hébergée ne sert que d'affichage vu que les stats sont généré sur son pc puis uploadé. Du coup je suppose que ce n'est pas ça qui doit consommer beaucoup de ressources, ça ne devrait pas poser de problème. Et je ne ferais pas de commentaire sur le contenu de la parenthèse.

[JWhy]

Oula, ça me rappelle des (vagues) souvenirs tout ça, mais je ne me souvenais pas que le fond du site était bleu comme ça.

Effectivement: c'était une des versions beta les plus abouties mais qui n'a jamais vu le jour (sauf pour qq privilégiés de la section "beta" du forum)
La version "non bleue" que tu mentionnes doit être la version "de (ex-)PROD" qui est sur WebArchive.

"Je doute qu'on arrive à le faire tourner chez un hébergeur récent"
Code incompatible avec les technologies actuels ?

Oui, (mais pas que) vu que ça s'appuie sur des versions d'Apache (1.33), PHP (4.3), MySQL (4.1) largement obsolètes.
Je doute que le code/les fonctions soient toujours compatibles avec les versions actuelles.

Sans parler du code / de la partie fonctionnelle qui date de 2005 et qui ne prend pas en compte les évolutions de F@H (stats à refaire, benchmarks inutiles, photos des protéines probablement HS vu que l'outil EM n'existe plus, etc...)

---

Je me refais en détail la vidéo dès demain, il me semble avoir aperçu des trucs que justement je recherche... (en particulier, si tu as gardé de ton côté des infos sur les 4 mini-teams de JGP par pays : Québec, France, Belgique et Suisse... je prends !)

Je crains ne rien avoir là dessus (à part peut-être si des utilisateurs avaient mis l'info dans leur profil/la zone miniteam dont je parlais plus haut). de toutes façons, ça sera dans l'export que je te dois

Mais sinon (et j'imagine que tu as déja fait tout ça), je pense que la meilleure source de données pour les stats de JGP sera d'aller refaire un tour sur web.archive.org avec les URL des pages de fleucorp qui t'intéressent, non (et en particulier les fichiers .txt / .cfg des 4 miniteams) ? 

Pour l'historique des stats individuelles, je pense que mes tables stats_user_YYYYMMDD  devraient être pas mal, sauf à partir de je-ne-sais-plus-quelle-date quand les données issues des fichiers de Stanford ne "tiennent" plus dans la définition des colonnes.
Le modele des tables avait été fait au démarrage du projet/site, et il n'a pas évolué avec la croissance des volumes => du coup, à un moment, ça tape les limites des types de données 
https://dev.mysql.com/doc/refman/8.0/en/...types.html

[DK-tastrophe]

Alors, pour mes listes incomplètes, j'ai déjà récupéré (et finis de croiser) toutes les infos contenues dans :

1. les 29 cfg de folding.fleucorp.net (c'est fait depuis depuis juillet 2017 ; et à cette époque, sur les pages .htm et .txt des miniteams, il n'y avait déjà plus rien)

2. ces trois topics du forum 2003-2017 :
- Le topic où on dit à JGP Soldat dans quelle division on veut être : http://folding.mesdiscussions.net/foldin...et_1_1.htm
- Petite page pour les mini-teams : http://folding.mesdiscussions.net/foldin...t_85_1.htm
- Nouvelle fonctionnalité pour les mini-teams :  http://folding.mesdiscussions.net/foldin...t_44_1.htm

De plus, à partir de tes fichiers teamstat-XXXXXXXX (de novembre 2005 à mars 2010), et de diverses archives glanées par ci par là (d'autres topics du forum de l'AF, d'autres forums de plieurs – jsuis devenue limite accro à WebArchive...), pour chaque plieur je note lorsqu'elles sont sûres les infos concernant :
- ses dates de première(1) et dernière(2) wus,
- les modifications éventuelles du username (et je ne comprends toujours pas pourquoi Stanford fout le dawa là-dedans de temps en temps...)
(Et au quotidien depuis l'été 2017, j'enregistre aussi l'évolution des 464 comptes ayant eu une activité, et je surveille les 29 mini-teams).

(1) date de première wu :
Jason d'EOC affiche bien cette info, mais :
1°) ses stats ne remontent qu'au 01/01/2004
2°) il ignore totalement une bonne partie des users comportant un caractère spécial
3°) il a pas mal de problèmes avec les doublons :
- si plusieurs comptes de la team51 ont le même user sur les fichiers txt de Stanford, EOC ne conserve que le mieux classé (Kana, lui, les mentionne tous, ex : Paul, Paul (2), Paul (3), même si pour l'instant les scripts de JGP ne gèrent pas très bien ces doublons...)
- quand, à plusieurs reprises, la casse des users a changé sur le fichier txt de Stanford, EOC ne les a pas tous reconnus et a créé autant de nouveaux plieurs, jusqu'à ce que Jason les identifie éventuellement, ou que Stanford remodifie cette casse... (Kana a pu rapidement fixer ces erreurs à l'hiver dernier, mais il gère nettement moins de données que Jason !)
4°) désormais il ne traite plus que (environ) 13 755 membres de l'AF, car depuis novembre dernier, il élimine tous les comptes en dessous de 375 pts.
Ainsi même le nombre de plieurs répertoriés chez EOC n'est absolument pas fiable, et pour certains comptes tout est à vérifier.

(2) date de dernière wu :
Cette info a été écrasée par Stanford lors de sa màj d'octobre dernier, elle n'est donc hélas plus disponible sur la fiche donor de la quasi-totalité des comptes !
Je rêve que Kana puisse stocker cette valeur à partir de maintenant, mais je n'ai pas la moindre idée de la faisabilité du truc... Des avis ?


Actuellement :
J'ai une liste de nos 18 869 plieurs à ce jour (plus les 406 comptes à 0 points supprimés par Stanford en octobre dernier), avec les infos précédentes, sur laquelle que je renseigne les rattachements à une mini-team (motif : rattachement automatique par balise ou demande expresse dans l'un des topics cités ci-dessus) avec, si possible, une date voire un lien.

Jme débrouille avec un simple tableur, et vu ce que j'ai aperçu des BDD, je pense que je ne suis pas du tout prête à m'y mettre... donc cette semaine, rien n'est encore sous forme présentable.
Mais cela le sera pour la fin du mois : il faut que ça le soit tout simplement parce que je commence à en avoir bien marre de brasser des kilos de listes à 19 000 lignes !

[JWhy]

Comme tu le verras/vous le verrez, en plus des "vrais" miniteams (avec les stats générées, etc...) , les utilisateurs/membres avaient la possibilité de saisir, dans le profil de leurs ordis, une zone texte libre "miniteam" => je n'en faisais pas grand chose (à part l'afficher / utiliser des filtres pour la recherche), mais ça donnera peut-être des infos pour l'archéologie en cours.
Je ferai un export de ces comptes utilisateurs F@H <-> "miniteam saisie à la main" cette fin de semaine (là je vais me coucher )

Dispo ici : http://myw3.free.fr/forum/USR_CPT_MINITEAM.xls
les colonnes :
USR_LOGIN = le compte du site de l'AF (pour accéder à la section "membre")
USR_ACCOUNT = le compte f@h (celui configuré dans le client et qu'on retrouve chez Stanford)
CPT_MINITEAM = le contenu de la zone "miniteam" présente dans la page des ordinateurs du compte AF en question
nb: si pour un compte, il y a plusieurs miniteams, c'est parceque l'utilisateur avec plusieurs ordinateurs et qu'ils ne pliaient pas tous pour la même miniteam.

[DK-tastrophe]

Parfait.
Merci bien.