Fòrum lent per culpa de la IA

[wefer]

Potser haureu notat que en alguns moments el fòrum respon molt lentament. Les pàgines triguen a carregar-se i fins i tot poden arribar a donar un error.
Després d'investigar molt, he trobat quin és el problema: la Intel·ligència Artificial, que col·lapsa de peticions el servidor.

Bàsicament tenim un exèrcit de "bots" que estan fent servir el nostre fòrum per entrenar les IAs. Agafen TOT el contingut del fòrum ("escrapejar" en diuen) i se'l mengen per al seu ús. He pogut veure IAs xineses, però molts bots no diuen d'on venen ja que és una pràctica il·legal. Però ja ens podem fer una idea de qui són.

Per desgràcia no he trobat encara una manera efectiva de parar-los ja que tenen adreces IPs gairebé infinites. La solució definitiva seria que el fòrum fos accessible únicament a usuaris registrats, però això impediria als usuaris ocasionals o nous poder veure la informació, cosa que no em convenç.

Tingueu una mica de paciència mentre busquem solucions, i si teniu alguna idea no dubteu a compartir-la.

[jgomezs]

D'entrada, gràcies a tota la feina dels administradors durant tant de temps.

Probablement ja ho heu pensat, però potser caldria tenir un robots.txt?
Bloquejar les IP és impossible, però no té el sistema cap manera de posar un límit d'ús per IP sense bloquejar-la del tot?

[Adolescent barceloní]

Cloudflare té una opció per bloquejar totes les peticions que vinguin d'aquesta mena de bots: https://developers.cloudflare.com/bots/ ... ight-mode/. També està disponible a la versió gratuïta.

El problema és que sempre que hi ha futbol de Lliga espanyola, els operadors bloquegen moltes IP de Cloudflare fent que Internet es paralitzi parcialment a tot l'Estat. Però com a solució transitòria mentre no hi hagi Lliga, pot ser d'utilitat. Més informació aquí: https://hayahora.futbol/#sobre-los-bloqueos

Una altra opció seria posar un rate limit per IP a Nginx, Apache, IIS o el sistema que tingueu com a web server, com diu el company. Això afectaria a tothom, però se sobreentén que un usuari "normal/humà" no visita desenes de pàgines en un minut.

El robots.txt pot ser útil per evitar escrapejos de les IA més grans com ChatGPT, Gemini, etc, però no garanteix que altres bots s'ho passin pel folre.

Em sona que a phpBB hi ha opcions per controlar tema bots però clar, això també inclou els bots "legítims" que serien els de Google, Bing, etc, que indexen el contingut del fòrum a cercadors.

[Renfe445]

Sóc en un fòrum que porta lluitant contra això des de fa 2 anys. Si veieu el nombre de convidats hauria de ser de pocs, clar si hi ha com 50, malament rai.
En els més de 10 anys que porto en aquest fòrum no recordo un problema tan molest com el d'ara. Ni tan sols recordo cap problema.
Tot això la ops! IA de caqueta. Tant de bo que sigui molt aviat que la bombolla esclati.

[unÀnec]

Probablement ja ho heu pensat, però potser caldria tenir un robots.txt?

Voldria ressaltar aquesta opció perque talla els bots legals (ètics), si dieu que la majoria son dels que van canviant d'IP no serà de molta utilitat pero si el tema és d'un 25, 30% o més el rendiment pot millorar força. Sino s'hauria de cercar un CDM que ofereixi aquest servei de filtratge de manera gratuïta, amb el temps i feina que comporta...

[wefer]

De moment el que hem fet és limitar la quantitat de fòrums a la que tenen accés els usuaris no registrats. Així hem aconseguit baixar una mica la càrrega i veure com evoluciona els propers dies.