Robots.txt 爬虫协议规范说明

欢迎查阅青云梯官网（qingyuntizi.best）的 Robots.txt 协议规范。本协议遵循互联网通用的 Robots 排除标准（Robots Exclusion Standard），旨在向 Googlebot、Bingbot、Baiduspider、YandexBot 等全球搜索引擎网络蜘蛛明确全站公开索引范围与抓取指引。

一、Robots.txt 原生协议内容

二、抓取规则详细解析

• User-agent: *：本规则适用于所有遵循国际网络爬虫标准的合规蜘蛛程序。
• Allow: /：允许抓取青云梯官方网站的所有公开前台页面，包括首页、同排套餐价格展示区、核心优势、全平台客户端指南以及全部精选评测长文。
• Sitemap 指引：指定全站结构化 XML 站点地图位置为 https://qingyuntizi.best/sitemap.xml，便于搜索引擎爬虫高效获取全站最新更新时间戳（lastmod）与权重配置。

三、支持的主流搜索引擎爬虫

• Google：Googlebot（包括桌面端与移动端智能抓取代理）
• Microsoft Bing：Bingbot（支持 IndexNow 实时极速推送通知）
• Baidu 百度：Baiduspider
• Yandex：YandexBot
• 其他合规网络抓取工具：DuckDuckGo、Sogou 等

四、站点导航与快捷直达

• 青云梯官网首页：多地 BGP 专线出国，企业级高速网络基建。
• 同排套餐资费表：个人Bronze、Silver爆款、Gold大流量、特选年付及团队套餐。
• HTML 网站地图：面向访客的全站结构化导航中心。
• 服务条款 (Terms)：用户使用准则与合规免责声明。
• 隐私政策 (Privacy)：纯内存 RAM 零物理日志安全声明。