Bug forum ?

jojo écrit:

En fait les bot de référencement sont plutôt sans trop d'effets de bord. Mais on a vu arriver des tonnes de bot d'IA qui siphonnent les sites pour choper max de data et ça fout la merde

www.ethersys.fr/actualites/20240918-bloquer-les-bots-ia/
 

Voilà un extrait de fichier robots.txt qui exclut tous les bots non désirés :

# Autoriser les principaux moteurs de recherche
User-agent: Googlebot
Disallow:

User-agent: Bingbot
Disallow:

User-agent: YahooSlurp
Disallow:

User-agent: Qwant
Disallow:

User-agent: DuckDuckBot
Disallow:

# Bloquer tous les autres robots (y compris les robots d'IA)
User-agent: *
Disallow: /
 

On saurait se refaire une bonne liste de robots à exclure proprement ?
je ne maitrise pas bien cette partie

Greg pour les robots, ce que je t'ai mis, il n'y a pas mieux. C'est vérifié par l'outil d'analyse de la search Console et par Gemini...
Appelle-moi si tu veux qu'on en parle.
Ensuite, il faut rajouter les entrées spécifiques à Joomla et indiquer l'adresse du sitemap.
Je peux regarder avec toi si tu veux.
 

J'ai une piste ...
Ma page est finalement arrivée incomplète avec un message d'erreur : Si les difficultés persistent, merci de contacter l'administrateur de ce site.

2006 MySQL server has gone away

C'est donc la base qui est HS dans ces conditions.
Reste à savoir ce qui la met ainsi en PLS.

Quand le site va chercher le cache, il n'y a pas de souci. C'est juste la base, lors des rafraîchissements, qui se met en carafe. Je vais voir si je peux tenter  de réduire encore certains paramètres pour lui faire comprendre de mettre plus en zone d'attente. J'ai peur que quelques chose sature et qu'il attende sagement que ça se libère. Sauf que dans ce cas, plus rien ne va.
 

nomdeZeus écrit:

La base ? Si la base plantait, je le saurais, Mysql ne peut pas s'arrêter sans déclencher une alerte. Le message est peut-être un timeout sur une réponse trop longue. Mais quand une page met 5mn à s'afficher, je ne vois pas ce qui pousserait Mysql à ne répondre qu'au bout de 5mn... bon, la base ferait 14 Téra-octets, ok, je voudrais bien envisager la chose. Mais là... Surtout que c'est aléatoire. Et d'expérience, je peux dire qu'une base qui rame, elle rame tout le temps, pas de temps en temps. Bref. J'ai un peu de mal à croire à un problème de base, mais on peut voir ça.

Je suis d'accord avec toi. Mais comme ça ramait, j'avais modifié des paramètres.
Certainement que l'un d'entre eus ne doit pas être en phase avec l'infra. Je me souviens que ça swappait pas mal.
Cependant, je n'avais jamais vu MariaDB se faire déborder ainsi. ça sent le bug quelque part.

Aujourd'hui ça marche bien. Touchons du bois!