机器人

Antora可以生成一个robots.txt文件来控制站点爬虫可以访问的路径。

robots键

robots键是可选的。它在playbook中的站点键下配置。其可接受的值为：

allow

允许所有用户代理访问发布站点中的所有路径。

disallow

禁止所有用户代理访问发布站点中的所有路径。

自定义多行字符串

非空的、用户指定的字符串，用作生成的robots.txt文件的内容。

示例1. antora-playbook.yml 
site:
  title: 站点标题
  url: https://example.org
  robots: disallow

Antora将在站点根目录生成robots.txt文件。

robots键取决于同级的url键。如果url键未分配值，即使robots设置为可接受的值，Antora也不会生成robots.txt文件。

分配允许或禁止给robots

假设url和robots键定义如下：

示例2. antora-playbook.yml 
site:
  title: 演示文档站点
  url: https://demo.antora.org
  robots: allow

这将生成一个允许用户代理访问站点所有路径的robots.txt文件。

生成的robots.txt 
User-agent: *
Allow: /

同样，如果url和robots键定义如下：

示例3. antora-playbook.yml 
site:
  title: 演示文档站点
  url: https://demo.antora.org
  robots: disallow

这将生成一个禁止访问所有路径的robots.txt文件。

生成的robots.txt 
User-agent: *
Disallow: /

生成具有自定义内容的robots.txt

分配给robots的任何其他非空值将用作robots.txt文件的内容。例如，假设robots键声明如下：

示例4. antora-playbook.yml 
site:
  title: 演示文档站点
  url: https://demo.antora.org
  robots: |
    User-agent: *
    Disallow: /private/

这将导致生成以下robots.txt文件。

生成的robots.txt 
User-agent: *
Disallow: /private/