太长不看版： 网址上万的内容站，抓取预算就是瓶颈，收录率天生偏低，不可能一页一页去救。我们的做法是先定一张“页型规范表”，规定哪几种页可以进索引、哪几种一律 noindex, follow。再让 sitemap 只放返回 200 的可索引网址，子 sitemap 全部提交给 Google，每天看“上次读取”日期。镜像和直连域名先问业务还要不要留，再从 canonical、X-Robots-Tag、301 三种做法里选一种。GA4↗ 一定要按主机名拆开看，否则站群合计和主域名的走势可能完全相反。只想让 Google 不收录的页，用 googlebot 专用的 meta，不要整批加通用 noindex。
大型站收录低，问题往往不在内容量
大型网站收录率低，是因为内容不够吗？通常不是，而是抓取额度被低价值网址占满，而不是内容量不足。多写文章也解决不了。
我们接手过一个 sitemap 里有 45.8 万个网址的视频内容站。GSC 索引报告显示已收录 15.3k、未收录 88.2k，而 Google 实际“已发现”的网址只有大约 10 万个。换句话说，sitemap 里超过三分之二的网址，Google 根本还没看到。这种站再多写一千篇文章也没用，新文章只会继续排在抓取队列后面。
网址量一大，抓取预算就是天花板。Google 在大型网站抓取预算说明↗里写得很清楚：预算有限时，爬虫花在低价值网址上的时间，就是没花在重要网址上的时间。所以大型站的索引管理，目标不是“让更多页进索引”，而是让值得排名的页先进去，其他页让路。
本文讲的是地基这一层：页型、sitemap、canonical、301、镜像域名、GA4 统计口径。内容层面的剪枝（哪些旧文要把抓取预算让出来）放在大量内容剪枝那篇，两篇建议搭配着看。
先有一张页型规范表
页型规范表按页面类型事先规定哪些页进索引、哪些一律 noindex, follow，之后所有需求都对照它。
大型站页面虽多，页型其实就十几种。与其逐页判断，不如先按页型定规则，之后所有需求都拿这张表来对照。我们实际在用的版本，要点如下：
| 页型 | robots | 进 sitemap |
|---|---|---|
| 首页、分类首页至第 5 页、文章页 | index, follow | 首页、分类首页、文章 |
| 首页分页、分类第 6 页以后、标签分页、作者分页、归档、站内搜索结果 | noindex, follow | 不放 |
| 标签页：3 篇及以上 | index | 不放 |
| 标签页：1–2 篇 | noindex（满 3 篇自动转回 index） | 不放 |
| 404 页 | 状态码必须是 404，不能返回 200 | 不放 |
这张表的关键是 noindex, follow 而不是 noindex, nofollow。分页、归档、搜索结果页本身不值得排名，但它们是爬虫走到深层文章的通道，保留 follow，链接照样能传递。各个取值的含义可以对照 Google 的 robots meta 说明↗。
分页有两个细节经常被漏掉。第 1 页的链接要输出根路径，不要输出 /page/1/，否则同一页会有两个网址。标题里也不要写“第1页”，从第 2 页起才加页码。
这张表的另一个作用是让需求有依据。大型站的 SEO↗ 通常改不了代码，要靠提需求给技术团队排期。需求符合规范表，就是有依据的需求。临时自己另定一套标准，等于和团队现有规范冲突，对方很难排期。
还有一种情况要先处理：项目文档和团队规范写得不一样。我们遇到过团队规范要求首页分页 noindex，但那个项目的文档里完全没提。这时候不要直接提需求，先问负责人按哪一份执行，确认后再动。
sitemap 的四条规矩
sitemap 只放 200 且可索引的网址、子文件全部提交、每天看上次读取日期，有流量的老页要补回。
sitemap 对小站来说“有就行”，对大型站却是 Google 决定抓取顺序的重要信号。我们用下面四条来管，每一条都踩过坑。协议本身的格式限制（单个文件 5 万个网址、50MB）见 sitemaps.org 协议说明↗。
1. 只放返回 200、可索引的网址
我们管过一个自然流量八成五来自 Yandex 的内容站，它的 sitemap 里混着 5 个早就 301 到首页的旧栏目网址。结果这份 sitemap 从 2026 年 3 月 14 日之后就再没被读取过，直到 10 月 16 日我们清掉跳转网址、重新提交，才恢复读取。sitemap 里放会跳转的网址，Google 会降低读取频率，这是我们见过最直接的一次。
2. 子 sitemap 要全部让 Google 知道
前面那个 45.8 万网址的站，问题就出在这里。网站实际有 46 个子 sitemap，GSC 里只提交了 9 个，Google 只认得大约 10 万个网址。解决办法是提交 sitemap 索引文件，或者把每个子文件都提交。Google 的大型 sitemap 管理说明↗也建议用索引文件把子文件串起来。补交之后已发现网址和收录数怎么变化，我们还在跟踪，目前没有可以公开的结论。
3. 每天看“上次读取”日期
GSC 的 sitemap 报告里有一栏“上次读取时间”。我们每天巡检都看这一栏，超过 3 天没读就要查原因。上面那个半年没被读取的案例，要是早点看这一栏，不会拖这么久。
配套的原则是以线上为准。状态码、robots、canonical、sitemap 内容一律 curl 正式站确认。GSC、Bing、Yandex 的报告都有几天到几周的延迟，只能用来看趋势，不能拿来推断线上“现在”是什么样子。
4. 标签页不放，但有流量的老页面要补回
按规范，标签页不进 sitemap。反过来，有流量的旧页面如果不在 sitemap 里，要补回去。我们接手的一个 1 万多篇的视频内容站，sitemap 只收录了某个文章 ID 之后的新文，之前有 517 篇在 GSC 有展现的旧文完全不在 sitemap 里。
canonical 与 301：只保留一个入口
canonical 逐页指回对应页，301 只留一个入口域名并保留原路径，不全跳首页、不用 302。
canonical 的原则很简单：每一页指向自己。镜像站则要逐页指回主站的对应页，而不是全部指向主站首页。全部指首页，等于告诉 Google“这几万页都是首页的重复”，这种 canonical 要么被忽略，要么把内页一起拖下水。Google 对重复网址的处理逻辑，可以看合并重复网址↗那篇。
301 我们按这几条规范执行：
- 只保留一个入口域名，其他入口 301 过去。
- 禁止全部跳首页，要保留原有路径和参数，跳到对应页。
- 禁止用 302 代替 301。
- 禁止泛解析，任何子域名都能打开的配置会制造大量重复页。
合并页面一定用 301，而且目标必须是主网址。我们见过标签合并时用 302 跳到某个“最新排序”页的案例：既不是永久跳转，目标也不是该被收录的网址，两个错误一次犯齐。
评论参数、评论分页这类脏参数（例如 ?replyTo=、?comment-page=）也要 301 回干净网址。这类网址在大型站会自己长出成千上万条，放着不管就是在消耗抓取预算。
镜像与多域名：先问业务，再从三种做法里选
镜像域名先问业务还要不要给人用，再从逐页 canonical、X-Robots-Tag noindex、301 择一。
大型内容站的镜像域名，很多是故意保留的，给打不开主站的用户用。处理镜像的第一个问题不是技术问题，而是业务问题：这个镜像还要不要给用户用？问清楚了，再从下面三种做法里选，由轻到重：
| 做法 | 适用情况 | 用户还能用镜像吗 |
|---|---|---|
| 镜像逐页 canonical 指回主站 | 基本盘，多数站已经做了 | 可以 |
镜像响应头加 X-Robots-Tag: noindex | 镜像是故意保留的，但不希望它被收录、分走主站流量 | 可以 |
| 镜像全部 301 到主域名 | 已确认镜像不需要给用户用 | 不行，会被带到主域名 |
canonical 是建议而不是指令，搜索引擎可以不采纳，所以只做第一种，镜像仍可能被收录。第二种用 HTTP 响应头加 noindex，不用改页面模板，镜像照常能打开，是“要留给用户、但不给搜索引擎”时最干净的做法。第三种最彻底，但等于把镜像关掉，业务没点头之前不要做。
我们接手的另一个视频内容站有 3 个镜像域名，外加一个 CDN 直连域名。这类站在定方案之前，一定要先把每个域名的流量拆出来看，这就涉及下一节的 GA4。
GA4 一定要按主机名拆开
GA4 必须按主机名拆开看，因为站群合计和主域的流量方向可能完全相反，例如合计 -20%、主域却是 +57.5%。
多域名的站，GA4 报告默认是全部加总的，很容易看反方向。我们 2026 年 9 月 29 日看过一个站群，合计自然流量 -20%，看上去很糟。按主机名拆开后，主域名其实是 +57.5%，掉的是镜像。如果照合计数字去“救流量”，等于在修一个没坏的主站。
反方向的情况也有。那个 1 万多篇的视频内容站，2026 年 10 月 13 日拆主机名时发现，Google 带来的流量正从主域名流向 CDN 直连域名，直连域名的会话数从 708 涨到 1,693。合计看起来持平，实际上是主域名在被分流。
做法是在报告或探索里加上“主机名”维度（GA4 维度和指标的定义见 Analytics 帮助中心↗），每天看自然搜索流量时固定按主机名拆。流量下降要排查哪些方面，Google 的搜索流量下降调试指南↗可以当清单用，但多域名的站，拆主机名要排在第一位。
只想让 Google 不收录：用 googlebot 专用 meta
只想让 Google 不收录，就用 googlebot 专用 meta，不要加通用的 robots noindex。
这是我们在大型站最常用、也最容易出事的一招。主站和镜像如果共用同一个后台，主站加的 meta 标签会同时出现在镜像上。那个 1 万多篇的站做剪枝时，Google 16 个月零展现的 9,528 篇里，有 4,977 篇在其他搜索引擎或镜像上还有流量。这时候如果整批加通用的 <meta name="robots" content="noindex">，镜像在 Yandex、百度的流量会一起掉。
如果目的只是让 Google 不收录、把抓取预算让给重要页面，就用 Google 专用的写法：
<meta name="googlebot" content="noindex, follow">
这个标签只有 Googlebot 会读，Bing、Yandex、百度都不受影响。Yandex 也有自己的 yandex 专用名称，规则见 Yandex 的 meta robots 说明↗。Bing 的收录原则见 Bing 网站管理员指南↗。我们做多引擎站有一条固定原则：只有一个搜索引擎出问题，就只针对那个引擎处理，不改全站结构。
需要坦白的是：googlebot 专用 noindex 对抓取预算到底有多大帮助，我们还没验证完。那个 1 万多篇的站，完全没有流量的旧文已经按 ID 列成候选名单，效果要等实施后跟踪。剪枝的作用本来就是把预算让给有价值的页面，不会直接带来流量，报告里要先讲清楚，别让业务期待下周流量就涨。
每次索引调整上线后，我们都会按同一份清单验收、再跟踪几周。如果你的站也是网址量大、域名多、收录卡住，可以看看我们的 SEO 网站服务是怎么分工、怎么验收的，费用区间在价格页。
这篇是大型网站 SEO 指南的其中一章，六个工作面的全貌和接手第一周的处理顺序都整理在那里。
常见问题
noindex 的页面要不要同时在 robots.txt 里屏蔽？
不要。robots.txt 一屏蔽，爬虫就读不到页面上的 noindex，反而可能靠外部链接把网址留在索引里。想不被收录，就让它能被抓取、读到 noindex。页面根本不该存在、只想省抓取预算时，才考虑 robots.txt。
标签页为什么不放进 sitemap？
标签页数量很容易失控，放进 sitemap 等于主动请 Google 把预算花在聚合页上。标签页按页型规范表处理：3 篇及以上 index、1–2 篇 noindex，但不主动提交进 sitemap，让它通过站内链接被发现。
镜像域名直接 301 到主域名不是最省事吗？
技术上最省事，但很多镜像是留给打不开主站的用户的，301 之后这些用户就用不了了。先问业务镜像还要不要给用户用。要的话，加 X-Robots-Tag noindex 就能让它不被收录，用户照常能打开。
GSC 显示 sitemap 很久没读取，先查什么？
先 curl 一遍 sitemap 里的网址，看有没有 301、404 或 noindex 的页面混在里面。我们遇到的案例就是 5 个跳转网址让整份 sitemap 半年没被读取，清掉后重新提交才恢复。
相关文章
- strategyAI 批量发文的质量关卡：发布前 12 项检查、前台验收与修后再查每天几十篇 AI 辅助产出的文章，错误几乎都是模板性的，一错就是十几篇。这篇整理我们实际在用的发布前 12 项检查、发布后的前台验收步骤、自动修正为什么一定要配修后检查，以及验证时最常被误判的三件事：原始 HTML、UA 与非当前标签页。
- strategy内容剪枝怎么做：大型网站的 A／B／C 分层、四条红线与重复内容合并上万篇的大型网站做内容剪枝，先用 16 个月数据分 A／B／C 三层，再守住四条红线：不删文、不批量 410、不整批 noindex、不承诺剪完就有流量。重复内容只认视频 hash，不认标题。附一个 1 万多篇视频内容站的实际分层数字。
- strategy大型网站 SEO 怎么做：六个共同特征、六条原则，和一套能照着走的方法网址上万、镜像域名一堆、Google 之外还要顾 Yandex 和 Bing、标签页失控、每天批量发文、改动要靠别人排期。这篇整理大型网站 SEO 的共同特征与六条基本原则，再用六章摘要带你找到索引、剪枝、标签、诊断、分工、发文质量的完整做法。