He hablado con mi hosting hoy y dicen que el robot de Google no es un problema
pero otros motores de búsqueda puede bloquear un sitio totalmente y se puede comparar a los ataques DDoS.
Sugerencia fue probar arrastran retrasos de hasta 30 segundos mientras oraba Estos bots cosechar un sitio de más de 5 IP diferente.
He tratado de conseguir más valores de conexiones simultáneas MySQL hoy en día y la única respuesta fue
http://www.servage.net/y por dominio tienen 20 conexiones simultáneas MySQL. Por decirme la limitación nivel de servidor que requiere mi dirección de correo electrónico.
Todos los demás intentos fueron rechazados y sólo quería darle el valor después de haber registrado una cuenta de web hosting.
No es un buen punto de venta pero la publicidad sobre otros recursos ilimitados y libre es más interesante para ellos.
Mi hosting es un costo medio compartido
https://www.oderland.se/ de alojamiento donde el límite es de 500 conexiones MySQL
pero las entradas de proceso en el servidor web Apache está limitado a 75 conexiones.
English:
I talked to my hosting today and they say that the Google bot is not a problem
but other search engines can block a site totally and can be compared to DDoS attacks.
Suggestion was to test crawl delays up to 30 seconds as these bad bots harvest a site from more than 5 different IP's.
I have tried to get more values of concurrent MySQL connections today and the only one responding was
http://www.servage.net/and per domain they have 20 concurrent MySQL connections. For telling me the server level limitation they required my email address.
All other attempts were refused and they only wanted to give the value after I had signed up for a web hosting account.
It's not a good selling point but advertising about unlimited and free other resources is more interesting for them.
My hosting is a medium cost shared hosting
https://www.oderland.se/ where the MySQL limit is 500 connections
but the process entries in apache web server is limited to 75 connections.