Cloudflare近日推出了名为“AI迷宫”的创新工具，旨在通过将未经授权的网络爬虫重定向到一个由AI生成内容的无限迷宫中，来应对这些恶意爬虫。该工具于2025年3月19日发布，作为一种免费的、可选的特性，标志着在应对爬虫策略上的重大转变，利用生成式AI作为防御武器，对抗未经授权的数据收集。
AI迷宫的工作原理
与传统的简单阻止恶意爬虫的方法不同，AI迷宫采用了一种复杂的蜜罐策略。当检测到可疑的爬虫活动时，系统会嵌入隐藏链接，将爬虫引导至看似真实但无关的AI生成页面，从而有效浪费爬虫的时间和资源。
Cloudflare在公告中指出：“AI爬虫每天向Cloudflare网络发送超过500亿次请求，占所有网络请求的近1%。”这一惊人的数字凸显了未经授权的网络爬虫带来的日益严峻的挑战，这些爬虫不仅增加了托管成本，降低了页面加载速度，还可能导致SEO排名问题。
AI迷宫与自动化爬虫检测
AI迷宫利用Workers AI和开源模型生成各种主题的独特HTML页面。Cloudflare并非按需生成内容，而是预先生成并筛选内容，确保其不存在XSS漏洞，并将其存储在R2中以加快检索速度。每个生成的页面都包含适当的元指令，以防止搜索引擎索引，从而保护合法的SEO工作。
这些Nofollow标签确保不遵守推荐指南的AI爬虫将被困在迷宫中，而遵守规则的爬虫则会安全地忽略蜜罐。重要的是，这些链接通过精心实现的属性和样式对普通访客不可见。除了保护网站内容外，AI迷宫还作为一种复杂的识别机制。当这些隐藏链接被点击时，Cloudflare可以自信地识别出自动化爬虫活动，并将这些宝贵的数据输入机器学习模型，以增强爬虫检测能力。这形成了一个有益的反馈循环，每次爬取尝试都有助于保护所有Cloudflare客户。
如何启用AI迷宫
网站管理员可以通过Cloudflare仪表板的Bot Management部分轻松启用AI迷宫，只需切换该功能即可：
该工具对所有Cloudflare客户开放，包括免费计划的用户，且无需额外配置。
未来的防御计划
Cloudflare承认这是一场“猫鼠游戏”，AI爬虫最终会找到绕过的方法。为此，公司已经在开发下一代防御系统。未来的计划包括创建“整个链接URL网络”，使自动化程序越来越难以识别这些虚假链接。
AI迷宫的推出体现了Cloudflare致力于结束网络安全提供商与恶意行为者之间“永无止境的军备竞赛”的决心。通过将AI用于自身防御，Cloudflare开发了一种创新解决方案，不仅保护了网站内容，还展示了其对保护原创内容创作者免受未经授权数据爬取的承诺。
随着AI生成内容在网上的不断扩散，像AI迷宫这样的工具在维护合法网络内容的完整性和安全性方面变得越来越重要。
