检测到目标网站robots文件网站结构信息泄露

详细描述:robots文件位于网站根目录下，用于标识网站的某些资源是否允许爬虫工具访问。用Allow表示爬虫工具可访问的资源，用Disallow表示爬虫工具不应该访问的资源。?
但同时该文件说明了目标网站存在的链接资源。?

通过该文件，攻击者可以更容易的清楚目标网站目录结构，为展开其他攻击提供便利。解决方案:使用部分文件名代替完整文件名或者目录名。?
如 使用Disallow: /inst 代替 Disallow: /install/