# ============================================================================
# 首睿工控官网 · robots.txt
# 部署位置：站点根目录 https://shoray.cn/robots.txt
# 各城市分站（beijing.shoray.cn 等）**各自放置一份**，内容与本文件相同
# ============================================================================

User-agent: *
Allow: /

# 后台与接口不做索引
Disallow: /admin/
Disallow: /api/
Disallow: /search
Disallow: /uploads/tmp/

# 构建期文件：下划线前缀是「非公开产物」约定（如 _product-detail-template.html
# 详情页模板，含 {{变量}} 占位符，不是正式内容页）。部署时一并排除 _* 文件。
Disallow: /_

# 预览 / 测试 / 统计参数页
Disallow: /*?preview=
Disallow: /*?test=
Disallow: /*?utm_

# ----------------------------------------------------------------------------
# ★ 一个常见错误，务必不要犯：
#     用「Disallow: /*?」一刀切屏蔽所有带参数的 URL
#   后果：正常分页 ?page=2 与分类页 ?cat= 会被一起屏蔽，深层列表页再也进不了索引。
#   正确做法：筛选 / 排序参数的权重归一，交给每页 <link rel="canonical"> 处理。
#   原因：一旦在 robots 里屏蔽，爬虫根本看不到该页的 canonical，也就无法把权重
#        合并到规范 URL 上 —— 屏蔽反而让重复内容问题永久化。
# ----------------------------------------------------------------------------

# ---------- 传统搜索引擎：全量放行 ----------
User-agent: Baiduspider
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

# ---------- AI / 生成式引擎爬虫：GEO 命脉，必须放行 ----------
# 工业品决策链长、参数密集，被 AI 答案引用带来的询盘质量高于普通搜索排名。
# 屏蔽这些爬虫 = 主动退出 AI 答案的候选池。
#
# ★ 注释必须**独占一行**（2026-11-03 修正）：下面四条原来写的是
#     `User-agent: Bytespider        # 字节豆包`
#   行尾注释在 RFC 9309 里没有定义，部分解析器会把 `# 字节豆包` 当成 UA 名的一部分
#   ⇒ 该条规则匹配不到任何真实爬虫，等于「写了但没生效」。零成本，别赌解析器。
User-agent: Bytespider
# 字节豆包
Allow: /

User-agent: PetalBot
# 华为
Allow: /

User-agent: GPTBot
# OpenAI
Allow: /

User-agent: ClaudeBot
# Anthropic
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: YandexBot
Allow: /

# ★ 2026-11-06 补：这三条原来没有显式声明，靠 `User-agent: *` 兜底「也能抓」。
#   但 AI 训练 / 索引型爬虫的默认策略各家不同，未声明时部分平台按「未授权」处理。
#   显式写 Allow 的成本为零，却能把「可被引用」这件事说清楚 —— 与上面同一套 GEO 口径。
User-agent: Google-Extended
# Google Gemini / Vertex AI
Allow: /

User-agent: Applebot-Extended
# Apple 智能（Apple Intelligence）
Allow: /

User-agent: CCBot
# Common Crawl（多数开源大模型语料源）
Allow: /

# ============================================================================
Sitemap: https://shoray.cn/sitemap.xml