创建 robots.txt 文件: 在项目的根目录下创建一个名为 robots.txt 的文件。
编写 robots.txt 文件内容: 在该文件中添加相应的指令,如 "User-agent: *" 表示针对所有搜索引擎爬虫,而 "Disallow: /admin/" 则表示禁止搜索引擎抓取 /admin/ 目录下的页面。
部署 robots.txt 文件: 将该文件部署到网站的根目录下,确保搜索引擎可以正常访问。
User-agent: 指定针对哪些搜索引擎爬虫生效,例如 "User-agent: *" 表示针对所有爬虫。
Disallow: 指定禁止爬虫抓取的页面或目录,例如 "Disallow: /admin/"。
Allow: 指定允许爬虫抓取的页面或目录,可用于覆盖 Disallow 指令。
Sitemap: 指定网站的 Sitemap 文件位置,帮助搜索引擎更好地理解网站结构。
在 Vue.js 项目中使用 robots.txt 文件可以有效地控制搜索引擎的抓取行为,从而优化网站的搜索引擎友好性,提高网站在搜索结果中的排名。
