Cloudflare lanza función para evitar el ‘web scraping’

Con esta novedad los bots de empresas de Inteligencia Artificial ya no podrán realizar raspado de datos en webs de sus clientes.

Foto: Freepik. Portal ERP España.

La IA Generativa ha generado una demanda de contenido que tiene diferentes usos. Así, una de las formas que utilizan las empresas para tener datos nuevos es el ‘web scraping’ o conocido también por raspado de datos en internet. Es un proceso legal en el que un software extrae el contenido HTML de sitios web para filtrar su información y así guardarla, obteniendo así datos para entrenar modelos de IA.

Muchas compañías hoy en día lo detectan con mayor facilidad, pero también es verdad que otras compañías no son tan transparentes. Por esto, Cloudflare ha agregado una función gratuita a sus servicios que permitirá bloquear automáticamente todos los bots de IA que identifique en los sitios web para así evitar el web scraping.

La compañía indica que para activarla hay que entrar en el apartado de Bots dentro del menú de Seguridad, los usuarios deberán activar la opción ‘Raspadores y rastreadores de IA’, y entonces se comenzará a generar el bloqueo en los bots.         

Cloudflare aparte de lanzar esta nueva función también ha compartido que según sus análisis los bots más utilizados en su red han sido Bytespider de ByteDance, empresa matriz de Tik Tok, Amazonbot de Amazon, ClaudeBot de Claude y GPTBot de OpenAI Entre ellos Bytespider intentó acceder a un 40,40 por ciento de sitios webs de clientes de la compañía.

Luego le sigue GPTBot que ha accedido a 35,46 por ciento de sitios para hacer raspado de datos y ClaudeBot desciende a un 11,17 por ciento de webs a las que ha tenido acceso.        

Iniciativa que hace que el sector empresarial se sienta más seguro dentro de las novedades que salen. Cloudflare detecta el problema y haya solución para proteger y prever altos riesgos.