随着人工智能技术的日益普及与广泛应用，尤其是生成式AI的崛起，对于网站管理员来说，如何管控自家网站内容被AI抓取及利用成为了新的议题。近期，两大科技巨头OpenAI与Google分别针对旗下的AI服务提供了相应的禁止抓取机制，而这背后涉及到一系列关于流量回报、数据安全、版权保护以及用户体验的深入思考。
首先，网站为何选择禁止AI抓取内容？原因在于当前阶段，AI抓取与搜索引擎抓取存在显著区别。搜索引擎抓取网站内容后，通常会引导用户回访该网站，从而带来实际流量；然而，当AI将网站内容用于自身训练，却无法确保网站能够获得同等价值的回馈。例如，ChatGPT和Google Bard这样的AI聊天服务，在回应用户查询时，并未直接为原始内容来源网站导流，导致网站失去潜在的访问量。
与此同时，Bing Chat和Google SGE（搜索生成体验）的出现，标志着生成式AI开始逐步融入传统搜索引擎功能。它们在提供答案的同时确实会附带出处链接，理论上有助于网站获取流量，但实际效果尚待观察。特别是用户在获取完整答案后，是否仍有足够意愿点击链接前往原网页浏览，以及搜索结果中生成式内容所能提供的链接数量、分配规则，以及不同网站被引用的可能性，这些问题都悬而未决。
考虑到数据安全、版权和隐私等问题，许多网站，尤其是一些大公司，对于AI抓取内容持有谨慎态度。为了满足网站主的需求，OpenAI在8月份推出了名为GPTBot的抓取蜘蛛，并允许网站通过修改robots.txt文件轻松禁止其抓取行为。然而值得注意的是，尽管如此，GPTBot并非唯一的数据来源，OpenAI可能还会通过第三方授权信息获取数据，这无疑增加了网站管理内容权限的复杂性。
随后，Google在9月28日宣布推出专用于AI训练的Google-Extended蜘蛛，并同样可以通过robots.txt文件禁止抓取。一旦禁止Google-Extended，意味着网站内容将不会被用于Bard、Vertex AI以及其他相关产品的训练。Google在此过程中传递出一种微妙的信息，即网站管理员可以通过控制Google-Extended来决定是否助力AI模型的成长，此举看似赋予了网站一定的自主权，但也引起了一种道德压力的讨论。
截至9月22日，已有相当一部分知名网站采取行动，通过robots.txt文件禁止了GPTBot等AI蜘蛛的抓取，其中不乏亚马逊、Pinterest、Quora等重量级玩家。至于是否所有网站都应该跟随潮流禁止AI抓取，答案则不尽相同。对于一些小规模博客而言，尽管短期来看似乎没有明显的流量损失风险，但从长远角度看，参与到这场AI革命中，也许不失为一种参与时代进程的选择。
总之，随着AI技术在搜索领域的深化应用，网站管理员正面临全新的挑战与机遇。在尚未明晰AI抓取内容所带来的具体收益与潜在风险的情况下，合理运用现有的禁止抓取机制，同时积极关注并适应AI驱动的搜索环境变化，将是网站管理者在未来的必修课。而在这个瞬息万变的AI时代，如何平衡内容权益与技术创新之间的关系，将成为整个行业共同探讨的重要课题。
