大语言模型向导文件llms.txt

网站使用llms.txt为大语言模型提供网站结构、网址内容的指引。

在网站的根目录放置名为llms.txt的markdown文件，用简洁的方式列出最重要、最适合大语言模型理解的内容和链接，并附上简要说明。

当人工智能在推理时，可以优先查阅这些内容，而不用再盲目抓取整个网站的复杂页面。

llms.txt的位置：放置在网站的根目录，名称为llms.txt。

llms.txt的格式：Markdown格式。人类和人工智能都能轻松阅读。

llms.txt的结构：项目名称、简介、详细说明、重要文件、页面链接表。

llms.txt的作用：为大语言模型提供网站地图。

llms.txt与robots.txt的区别：robots.txt告诉爬虫哪些页面不能抓取。llms.txt告诉人工智能哪些页面值得一看。

目前，不少开源项目和工具已经支持了llms.txt。这些工具有：fast.ai、LangChain、Cursor 等