nginx

Introduction

Let's Encrypt是一个证书颁发机构（CA），它提供了一种获取和安装免费TLS/SSL证书的可访问方式，从而在web服务器上启用加密HTTPS。它通过提供一个软件客户端Certbot来简化流程，该客户端尝试自动化大多数（如果不是全部的话）所需的步骤。目前，在Apache和Nginx上，获取和安装证书的整个过程都是完全自动化的。

在本教程中，您将使用Certbot在Ubuntu 22.04上获得Nginx的免费SSL证书，并设置证书自动续订。

本教程将使用一个单独的Nginx服务器配置文件，而不是默认文件。我们建议为每个域创建新的Nginx服务器块文件，因为这有助于避免常见错误，并将默认文件作为后备配置进行维护。

我建议使用这些浏览器插件来检查您是否确实阻止了您想要阻止的机器人程序：浏览器用户代理更改器插件。

侧注：不要只盲目添加这些文件，而不仔细查看它们并仔细检查，以确保您没有阻止您想要爬行网站的机器人；例如，这些文件会阻止“curl”、“python”、“perl”，甚至“SEMRush”-如果您使用这些文件阻止的机器人程序或服务，那么您不仅会阻止竞争对手使用这些服务查询您的域名，还会阻止您自己。我阻止了一切！​

--

robots.txt

首先是顶级robots.txt，“好的”机器人“应该”尊重这些：

A curated list of awesome nginx distributions, third party modules, active developers and so forth.

If you want to contribute, please submit a pull request.

Feel free to add your project :)