À propos de pépettes, et des stats d'EOC
#14
Des news de Jason :
Citation :07/03/2022, CST 6:35pm
Thanks everyone and a small update!

First, I just wanted to say a huge thanks to everyone that has sent in a donation recently. It was totally unexpected and you guys are the best! I did pick up an 8-port controller card on eBay, a reflashed IBM M5110 now running in IT mode (based on the classic LSI SAS 2308 chip). I moved my hard drives over to it and ZFS didn't miss a beat. Now I can put the SSD on the motherboard SATA port and move forward with that. Thank you again so much everyone, your generosity is greatly appreciated and helps keep me motivated to keep working on the site.

Second, there have been a few people emailing me about missed updates. Well, glad I coded in that lock file to keep the update cycles from running over each other. It appears that Microsoft's BingBot has decided to misbehave lately. I don't know why but it has been crawling at a very excessive rate despite me setting the crawl speed to the lowest possible. Likewise it has been crawling pages that have been explicitly stated not to crawl in the robots.txt file! Pages like the overtakes, futures, and milestones require querying quite a bit of data and doing a lot of on-the-fly processing. Not a big deal for humans browsing the site at a normal request speed, but when a bot decides to pound at it for hours at a time it slows things down significantly!

So I've decided to go scorched earth on the bots since they can't behave. Now the web server will block pages bots shouldn't be crawling (with a 403 access denied error) if their user agent matches the bot list!

Hopefully this will once and for all resolve the load issue and updates should go back to their normal times. This is why we can't have nice things.

trad DeepL:


Merci à tous et une petite mise à jour !

Tout d'abord, je voulais juste dire un grand merci à tous ceux qui ont envoyé un don récemment. C'était totalement inattendu et vous êtes les meilleurs ! J'ai récupéré une carte contrôleur 8 ports sur eBay, une IBM M5110 recalculée fonctionnant maintenant en mode IT (basée sur la puce SAS 2308 classique de LSI). J'ai déplacé mes disques durs sur cette carte et ZFS n'a pas manqué un battement. Maintenant je peux mettre le SSD sur le port SATA de la carte mère et aller de l'avant avec ça. Merci encore à tous, votre générosité est très appréciée et m'aide à rester motivé pour continuer à travailler sur le site.

Deuxièmement, il y a eu quelques personnes qui m'ont envoyé des emails à propos de mises à jour manquées. Heureusement, j'ai codé ce fichier de verrouillage pour empêcher les cycles de mise à jour de se chevaucher. Il semble que le BingBot de Microsoft ait décidé de mal se comporter ces derniers temps. Je ne sais pas pourquoi, mais il a exploré le site à un rythme très excessif alors que j'avais réglé la vitesse d'exploration au niveau le plus bas possible. De même, il a exploré des pages qui avaient été explicitement indiquées comme ne devant pas être explorées dans le fichier robots.txt ! Les pages telles que les dépassements, les futurs et les jalons nécessitent l'interrogation d'un grand nombre de données et un traitement à la volée. Ce n'est pas un gros problème pour les humains qui naviguent sur le site à une vitesse de requête normale, mais lorsqu'un robot décide d'y passer des heures, cela ralentit considérablement les choses !

J'ai donc décidé d'appliquer la terre brûlée aux robots puisqu'ils ne savent pas se tenir. Désormais, le serveur web bloquera les pages que les robots ne devraient pas explorer (avec une erreur 403 accès refusé) si leur agent utilisateur correspond à la liste des robots !

J'espère que cela résoudra une fois pour toutes le problème de charge et que les mises à jour reviendront à leur heure normale. C'est pourquoi nous ne pouvons pas avoir de belles choses.
[Image: 17082008124623223815230035.png] j'ai fait don de mon core à la science
Répondre



Messages dans ce sujet
RE: À propos de pépettes, et des stats d'EOC - par DK-tastrophe - 08-03-2022 01:58:05



Utilisateur(s) parcourant ce sujet : 1 visiteur(s)