Ganar la batalla a los bots

Han pasado seis meses desde que sacamos de beta la detección de anomalías y añadimos el filtrado de IPsla capacidad de bloquear IP utilizadas por atacantes conocidos, centros de datos, conexiones TOR, etc. 

Desde el lanzamiento de estas funciones, nos ha entusiasmado -¡y sorprendido! - al ver cómo nuestros clientes las han utilizado para ganar la batalla a los bots. 

Resultados de los últimos seis meses

Sabíamos que un alto porcentaje del tráfico era generado por bots pero, desde que hemos estado siguiendo las estadísticas, nos ha sorprendido lo alto que es ese porcentaje.

CrowdHandler está bloqueando miles de IP sospechosas cada semana para cada uno de esos sitios con el filtrado de IP activado.

Y lo que es más importante: estos seis meses de observación en múltiples sitios nos han permitido detectar algunas tendencias y pautas interesantes en el comportamiento de los bots, que a su vez han servido para introducir nuevas mejoras. Esta inteligencia compartida significa que nuestras funciones de seguridad trabajan ahora codo con codo para proteger sitios de todo el mundo.

Nuevo: Los informes de PI ahora contribuyen a la puntuación de anomalías

Para darle un ejemplo de por qué esto es útil: los iPhones permiten a los usuarios ocultar su dirección IP, como si se escondieran detrás de una red proxy. Por sí sola, la detección de anomalías de CrowdHandler probablemente marcaría a este usuario como un posible bot: un falso positivo. Pero como la dirección IP de la que procede tiene buena reputación, nuestra detección de anomalías lo tendrá ahora en cuenta y la puntuación de la anomalía del usuario no será tan baja. 

Del mismo modo, si un usuario llega al sitio desde un rango de IP con mala reputación, es más probable que obtenga una mala puntuación. Los bots tienen más probabilidades de ser rechazados. 

Cuando se bloquea una IP, el bloqueo sólo dura una hora. Pero CrowdHandler registrará la decisión y utilizará la información para buscar grupos de bloqueos en torno a determinados rangos de IP. Además, esta información se comparte con todos los sitios web protegidos por CrowdHandler. Por lo tanto, si la IP se utiliza para un comportamiento sospechoso por segunda vez, se bloqueará de nuevo - pero esto dañará su reputación mucho más, y también dañará la reputación de las direcciones IP en el mismo rango, a través de todos los sitios que utilizan CrowdHandler. 

Nuevo: los clientes pueden revisar las recomendaciones de rangos de IP

En un intento de evitar los bloqueos de IP, los bots a menudo entran en una única dirección IP, y luego rotan a nuevas direcciones dentro de ese rango, cada pocas peticiones. Hacen esto porque, aunque una de estas direcciones puede haber sido marcada en una lista de abuso, es posible que no todas lo hayan sido. 

Este comportamiento activa nuestros algoritmos de detección de anomalías pero, para cuando se identifica el comportamiento y se bloquea la IP, el bot ya ha pasado a su siguiente IP. Por eso analizamos los registros de los clientes para identificar los rangos que desencadenan altas puntuaciones de anomalías, bloqueos de IP y advertencias. 

Ahora, los clientes de CrowdHandler pueden revisar los rangos malos que hemos identificado para ellos, y pueden elegir bloquear estos rangos permanentemente.

Nuevo: los clientes pueden suscribirse a la lista global de bloqueos

Los malos actores tienden a esconderse detrás de un número relativamente pequeño de malas redes proxy. Por ello, los clientes de CrowdHandler pueden suscribirse a una serie de listas de bloqueo, lo que le permite filtrar las IP basadas en centros de datos, por ejemplo, o las IP de listas de abuso conocidas. 

Ahora, la selección de filtros a utilizar también incluye la lista de bloqueo global de CrowdHandler: una lista constantemente actualizada de rangos de IP que hemos identificado como marcados en toda nuestra base de clientes. Se basa en las recomendaciones que hacemos a nivel global, en todos nuestros clientes que utilizan la detección de anomalías.

Y funciona. Las personas suscritas a listas de bloqueo globales han constatado una reducción del 80% en la cantidad de tráfico que necesitan bloquear, específico de su dominio.

Agentes encubiertos: al descubierto

Todos los bots son, por supuesto, programas informáticos. A veces, esto es obvio porque han sido mal programados e informan de las herramientas que están utilizando como agente de usuario, como Curl o Axios. Normalmente, falsifican la cadena de agente e informan de que son un navegador convencional, como Chrome en Windows. 

Sin embargo, incluso cuando un bot ha declarado ser algo que no es, CrowdHandler puede detectarlo. 

Como analizamos millones de visitas al día, nuestra detección de anomalías puede detectar los signos reveladores de una suplantación de identidad y bloquear a los imitadores, aunque utilicen miles de IP distribuidas por todo el mundo. 

Una vez más, la información se añade a la puntuación de anomalías y se utiliza en toda nuestra base de clientes. (De hecho, ya hemos utilizado esto para identificar varias redes de bots de reventa de entradas).

Aún menos motivos para preocuparse por los falsos positivos 

Ya sabíamos que el porcentaje de falsos positivos era pequeño, y los últimos meses nos han demostrado que es incluso menor de lo que pensábamos (menos del 0,25%). A veces, incluso vemos que la detección de anomalías señala trayectos de usuarios que nos parecen correctos... solo para descubrir, tras una investigación más detallada, que era correcto y que, de hecho, eran malos actores. 

Sin embargo, entendemos que a los clientes les pueda poner nerviosos bloquear puntuaciones de anomalía por encima de cierto nivel. Por eso, incluso si un cliente decide bloquear únicamente a los usuarios con una puntuación de anomalía muy alta (o quizás incluso no bloquear a ningún usuario), CrowdHandler seguirá ofreciendo advertencias. Y esas advertencias siguen contando para nuestra inteligencia general y mejoran la seguridad, ya que CrowdHandler trabaja entre bastidores para registrar información y construir una imagen más amplia. 

¿Y los robots buenos?

Puede que te preguntes: dada toda la automatización, ¿qué pasa si accidentalmente identificamos y bloqueamos un buen bot, como Google? 

Sabemos que no siempre es obvio; Microsoft, Google y Amazon son buenas empresas, pero también alquilan servidores a cualquiera, y no es raro que la gente base los ataques en el alojamiento de Amazon Web Services, Google Cloud o Microsoft Azure. 

Lo primero que hay que decir es: si no está seguro, no bloquee. Si echas un vistazo a la lista de recomendaciones, verás que damos más información para cada sugerencia, lo que debería ayudarte a tomar tu propia decisión. 

Pero, para tranquilizarte aún más, CrowdHandler también revisa las reglas de nuestra lista de bloqueo global con regularidad, añadiendo listas globales de 'bypass' e 'ignorar' para bots 'buenos' comunes, como los servicios de monitorización. Además, tus propias reglas siempre prevalecerán sobre las listas de bloqueo globales, por lo que si no estás de acuerdo con una entrada de la lista de bloqueo global, puedes optar por permitirla en tu dominio. 

Empiece hoy mismo a utilizar las nuevas herramientas de seguridad

Si ya utiliza la detección de anomalías y el filtrado de IP, está todo listo. Todas las nuevas herramientas están ya disponibles para los clientes Professional y Enterprise sin coste adicional.

Estamos impacientes por ver cómo los utilizan nuestros clientes en la batalla continua contra los robots.