OnlineFreeTools.org
  • 首页
  • 图片编辑工具
    • 图片文字水印 — 浏览器内本地标注
    • 图片主色提取 — 色板与点击取色
    • 图片翻转 — 水平或垂直镜像
    • 图片加边框 — 选颜色与宽度
    • 图片压缩 — 缩小尺寸与文件体积，本地完成
    • 图片裁剪与改尺寸 — 本地完成
    • 图片 EXIF 查看与清除 — GPS、相机信息、本地处理
    • 图片格式转换 — PNG JPEG WebP AVIF BMP GIF ICO SVG 本地完成
    • 图片转灰度 — 本地黑白转换
    • 多图拼接 — 合成一张拼图，本地完成
    • 图片优化 — 更小体积，可调编码器，本地完成
    • 图片叠加 Logo — 透明定位，本地完成
    • 图片与 Base64 互转 — 本地编码解码
    • 多图转 GIF — 本地合成短动画
    • 多图转 PDF — 每图一页本地合并
    • 多图转 PPT — 每图一张幻灯片
    • 多图转 Word — 本地生成 DOCX
    • PDF 页多尺寸导出 — 一次打包多平台图片
    • PDF 转 JPG — 在浏览器里把每一页变成图片
  • 设计工具
    • 品牌色色阶生成 — 一主色出 50–950 色板与 CSS 变量
    • 品牌手册 — 智能预填的设计规范，可手动改
    • 智能配色 — 网站颜色搭配方案与 CSS 变量
    • WCAG 对比度检测 — AA/AAA 比率在线算
  • PDF 工具
    • 压缩 PDF — 在浏览器里缩小文件
    • 裁切 PDF — 在浏览器里修剪页边距
    • 合并 PDF — 浏览器里把多个文件合成一份
    • 整理 PDF — 在浏览器里删页或重排
    • 给 PDF 加页码 — 在浏览器里完成
    • PDF 转 Markdown — 在浏览器里抽出文本做笔记
    • PDF 水印 — 在浏览器里给每一页盖上文字
    • 保护 PDF — 在浏览器里用密码加密
    • 旋转 PDF — 在浏览器里把页面转正
    • 拆分 PDF — 本地按页提取文件
    • 解锁 PDF — 用你已知的密码去掉保护
  • 开发者工具
    • 给域名添加 www DNS — 记录生成与各平台教程
    • Base64 编解码 — 在浏览器内转换文本
    • Core Web Vitals 检测 — 给页面体验分数评级
    • CSV ↔ JSON 互转 — 类型、分隔符、本地处理
    • 域名查询 — 查看 DNS 解析与注册信息
    • 文件哈希校验 — 在浏览器内查看摘要
    • hreflang 标签生成器 — 为多语网站生成语言标注
    • HTML 实体编解码 — 转义、反转义、本地处理
    • IndexNow — Bing URL 提交、密钥检查与状态码
    • IP 地址查询 — 查看我的公网 IP（IPv4/IPv6）
    • JSON Schema 校验器 — 路径错误与本地处理
    • JWT 解码 — 本地查看 Header 与 Payload（不验签）
    • Markdown ↔ HTML 转换 — 预览与安全清理
    • Google 搜索结果预览 — 查看标题与描述截断效果
    • Meta 标签生成器 — 一键生成完整的网页头部标签
    • 页面 SEO 检查器 — 找出并修复页面标签问题
    • Open Graph 预览 — 检查社交分享卡片
    • 随机密码生成 — 在浏览器内创建密码
    • Robots.txt 生成器 — 管理允许与禁止并配置 AI 爬虫
    • JSON-LD 生成器 — 生成 FAQ、文章与面包屑的结构化数据
    • XML Sitemap 生成器 — 从 URL 列表生成 sitemap.xml
    • 在线文本对比 — 文本差异对比工具
    • 时区转换 — 同一时刻多地对照
    • Unix 时间戳转换 — 纪元时间与可读时间互转
    • UTM 链接生成器 — 创建活动追踪链接
    • UUID / ULID 生成 — 在浏览器内创建标识符
    • 在线查看 HTTP 响应头
    • YAML ↔ JSON 互转 — 类型规则、多文档、本地处理
  • 计算器
    • 加速度计算器 — 速度变化
    • 年龄计算器 — 由出生日期算周岁
    • 宽高比计算器 — 如何计算与缩放比例
    • BMI 计算器 — 如何计算身体质量指数
    • BMR / TDEE 计算器 — 如何估算基础代谢与每日消耗
    • 体脂率计算器 — 如何用围度估算体脂率
    • 盈亏平衡计算器 — 如何计算保本销量
    • CAGR 计算器 — 如何计算复合年增长率
    • 圆计算器 — 面积与周长
    • 复利计算器 — 如何计算复利终值与利息
    • 混凝土计算器 — 如何估算混凝土方量
    • 置信区间计算器 — 如何计算置信区间
    • 边际贡献计算器 — 单价减变动成本
    • 日期间隔计算器 — 天数与周数
    • 债务还清计算器 — 多久还清余额
    • 密度计算器 — 质量÷体积
    • 折扣计算器 — 如何算出优惠价
    • EMI / 等额月供计算器 — 如何计算贷款月供与利息
    • 指数幂计算器 — 如何计算 a 的 b 次方
    • GPA 计算器 — 如何计算加权平均绩点
    • 多元函数梯度计算 — ∇f 偏导向量
    • 毛利率计算器 — 如何计算毛利与毛利率
    • 心率区间计算器
    • 理想体重计算器 — 如何估算理想体重区间
    • 通胀计算器 — 未来购买力粗算
    • IRR 计算器 — 内部收益率
    • 对数计算器 — 如何计算对数
    • 宏量营养素计算器 — 热量分配到克数
    • 边际收益计算 — 公式 MR = ΔTR / ΔQ
    • 加价率计算器 — 如何计算 Markup
    • 平均数计算器 — 列表均值
    • 中位数与众数计算器
    • NPV 计算器 — 如何计算净现值
    • 欧姆定律计算器 — 电阻与功率
    • 一次最大重量计算器（Epley）
    • p 值计算器 — 如何计算 p 值
    • 配速计算器 — 分/公里与时速
    • 油漆计算器 — 如何估算用漆量
    • 回收期计算器 — 多久收回投资
    • 百分比变化计算 — 旧值到新值的涨跌幅
    • 排列组合计算器 — P 与 C
    • 现值计算器 — 现值与终值互算
    • 利润率计算器 — 净利率与营业利润率
    • 勾股定理计算器 — 如何求直角三角形缺边
    • 一元二次方程计算器 — 根与判别式
    • 投资回报率（ROI）计算 — 公式与示例
    • 72 法则计算器 — 多久翻倍
    • 年薪时薪计算器 — 如何换算薪资与时薪
    • 样本量计算器 — 如何估算所需样本量
    • 科学计数法计算器 — 如何互转科学计数法
    • 有效数字计算器 — 如何计数与修约有效数字
    • 斜率计算器 — 如何计算两点斜率
    • 标准差计算器 — 如何计算标准差与方差
    • 瓷砖计算器 — 如何估算瓷砖用量
    • 小费计算器 — 小费与分摊
    • 三角形面积计算器
    • 增值税计算器 — 含税与未税互算
    • 速度计算器 — 距离÷时间
    • 体积计算器 — 长方体与球
    • Z 分数计算器 — 如何计算标准分数
    • 平方英尺转平方米 — 看房与装修面积换算
    • 单位换算器 — 长度 / 质量 / 温度 / 面积 / 体积 / 速度
  • 用在哪
  • 工具类型
  • English
  • 中文
  • Español
  • العربية
  • Português
  • Bahasa Indonesia
  • Français
  • 日本語
  • Русский
  • Deutsch

工具

图片文字水印 — 浏览器内本地标注给域名添加 www DNS — 记录生成与各平台教程Base64 编解码 — 在浏览器内转换文本品牌色色阶生成 — 一主色出 50–950 色板与 CSS 变量品牌手册 — 智能预填的设计规范，可手动改图片主色提取 — 色板与点击取色压缩 PDF — 在浏览器里缩小文件Core Web Vitals 检测 — 给页面体验分数评级裁切 PDF — 在浏览器里修剪页边距CSV ↔ JSON 互转 — 类型、分隔符、本地处理域名查询 — 查看 DNS 解析与注册信息文件哈希校验 — 在浏览器内查看摘要图片翻转 — 水平或垂直镜像加速度计算器 — 速度变化年龄计算器 — 由出生日期算周岁宽高比计算器 — 如何计算与缩放比例BMI 计算器 — 如何计算身体质量指数BMR / TDEE 计算器 — 如何估算基础代谢与每日消耗体脂率计算器 — 如何用围度估算体脂率盈亏平衡计算器 — 如何计算保本销量CAGR 计算器 — 如何计算复合年增长率圆计算器 — 面积与周长复利计算器 — 如何计算复利终值与利息混凝土计算器 — 如何估算混凝土方量置信区间计算器 — 如何计算置信区间边际贡献计算器 — 单价减变动成本日期间隔计算器 — 天数与周数债务还清计算器 — 多久还清余额密度计算器 — 质量÷体积折扣计算器 — 如何算出优惠价EMI / 等额月供计算器 — 如何计算贷款月供与利息指数幂计算器 — 如何计算 a 的 b 次方GPA 计算器 — 如何计算加权平均绩点多元函数梯度计算 — ∇f 偏导向量毛利率计算器 — 如何计算毛利与毛利率心率区间计算器理想体重计算器 — 如何估算理想体重区间通胀计算器 — 未来购买力粗算IRR 计算器 — 内部收益率对数计算器 — 如何计算对数宏量营养素计算器 — 热量分配到克数边际收益计算 — 公式 MR = ΔTR / ΔQ加价率计算器 — 如何计算 Markup平均数计算器 — 列表均值中位数与众数计算器NPV 计算器 — 如何计算净现值欧姆定律计算器 — 电阻与功率一次最大重量计算器（Epley）p 值计算器 — 如何计算 p 值配速计算器 — 分/公里与时速油漆计算器 — 如何估算用漆量回收期计算器 — 多久收回投资百分比变化计算 — 旧值到新值的涨跌幅排列组合计算器 — P 与 C现值计算器 — 现值与终值互算利润率计算器 — 净利率与营业利润率勾股定理计算器 — 如何求直角三角形缺边一元二次方程计算器 — 根与判别式投资回报率（ROI）计算 — 公式与示例72 法则计算器 — 多久翻倍年薪时薪计算器 — 如何换算薪资与时薪样本量计算器 — 如何估算所需样本量科学计数法计算器 — 如何互转科学计数法有效数字计算器 — 如何计数与修约有效数字斜率计算器 — 如何计算两点斜率标准差计算器 — 如何计算标准差与方差瓷砖计算器 — 如何估算瓷砖用量小费计算器 — 小费与分摊三角形面积计算器增值税计算器 — 含税与未税互算速度计算器 — 距离÷时间体积计算器 — 长方体与球Z 分数计算器 — 如何计算标准分数hreflang 标签生成器 — 为多语网站生成语言标注HTML 实体编解码 — 转义、反转义、本地处理图片加边框 — 选颜色与宽度图片压缩 — 缩小尺寸与文件体积，本地完成图片裁剪与改尺寸 — 本地完成图片 EXIF 查看与清除 — GPS、相机信息、本地处理图片格式转换 — PNG JPEG WebP AVIF BMP GIF ICO SVG 本地完成图片转灰度 — 本地黑白转换多图拼接 — 合成一张拼图，本地完成图片优化 — 更小体积，可调编码器，本地完成图片叠加 Logo — 透明定位，本地完成图片与 Base64 互转 — 本地编码解码多图转 GIF — 本地合成短动画多图转 PDF — 每图一页本地合并多图转 PPT — 每图一张幻灯片多图转 Word — 本地生成 DOCXIndexNow — Bing URL 提交、密钥检查与状态码IP 地址查询 — 查看我的公网 IP（IPv4/IPv6）JSON Schema 校验器 — 路径错误与本地处理JWT 解码 — 本地查看 Header 与 Payload（不验签）Markdown ↔ HTML 转换 — 预览与安全清理合并 PDF — 浏览器里把多个文件合成一份Google 搜索结果预览 — 查看标题与描述截断效果Meta 标签生成器 — 一键生成完整的网页头部标签页面 SEO 检查器 — 找出并修复页面标签问题Open Graph 预览 — 检查社交分享卡片整理 PDF — 在浏览器里删页或重排随机密码生成 — 在浏览器内创建密码给 PDF 加页码 — 在浏览器里完成PDF 页多尺寸导出 — 一次打包多平台图片PDF 转 JPG — 在浏览器里把每一页变成图片PDF 转 Markdown — 在浏览器里抽出文本做笔记PDF 水印 — 在浏览器里给每一页盖上文字保护 PDF — 在浏览器里用密码加密Robots.txt 生成器 — 管理允许与禁止并配置 AI 爬虫旋转 PDF — 在浏览器里把页面转正JSON-LD 生成器 — 生成 FAQ、文章与面包屑的结构化数据XML Sitemap 生成器 — 从 URL 列表生成 sitemap.xml智能配色 — 网站颜色搭配方案与 CSS 变量拆分 PDF — 本地按页提取文件平方英尺转平方米 — 看房与装修面积换算在线文本对比 — 文本差异对比工具时区转换 — 同一时刻多地对照单位换算器 — 长度 / 质量 / 温度 / 面积 / 体积 / 速度Unix 时间戳转换 — 纪元时间与可读时间互转解锁 PDF — 用你已知的密码去掉保护UTM 链接生成器 — 创建活动追踪链接UUID / ULID 生成 — 在浏览器内创建标识符WCAG 对比度检测 — AA/AAA 比率在线算在线查看 HTTP 响应头YAML ↔ JSON 互转 — 类型规则、多文档、本地处理

Robots.txt 生成器 — 管理允许与禁止并配置 AI 爬虫

robots.txt 决定 Google 能抓取并收录哪些页面——规则写错可能让整个站点从搜索结果中消失。在浏览器里生成 robots.txt。步骤：勾选 User-agent，为每个分组添加 Allow / Disallow 路径和 Sitemap 行，然后复制纯文本结果；页面会解释语法规则与常用 AI 爬虫的 User-agent 写法。全部本地完成，内容不上传。示例：阻止 GPTBot 抓取，同时保持 Googlebot 正常抓取。

勾选要包含的爬虫，再为每个分组添加路径。


          

        

      


      
    

      
怎么用

      
选好要针对的爬虫，为每个分组添加 Allow 与 Disallow 路径，可选地加一行 Sitemap，然后点「生成」。页面按 RFC 9309 的布局组装纯文本：每个分组一行 User-agent，下方是它的 Allow/Disallow 行，分组之间空一行，Sitemap 行放在末尾。复制后放到站点根目录 /robots.txt 即可。

    


    

      
需要记住的语法规则

      
robots.txt 的规则是路径前缀而非正则，爬虫应用文件中最后一个匹配它的分组。以下是本生成器遵循的规则。

      
  • 分组顺序：User-agent 行开始一个适用于该爬虫的分组，空行结束分组；最后匹配到该爬虫的分组生效。
  • 前缀匹配：Allow 与 Disallow 匹配路径前缀，不是子串也不是正则；只有 * 和 $ 是特殊字符（RFC 9309）。
  • Disallow: / 会阻止该代理抓取整个站点；Disallow 后面留空表示该代理全部放行。
  • Sitemap 是扩展指令，不属于 RFC 9309。它不区分大小写，可以放在任意位置，但惯例是放在文件末尾。

    


    

      
示例

      
样例：Googlebot 配置 Allow: /（完全放行），GPTBot 配置 Disallow: /（完全禁止），最后一行 Sitemap 指向 /sitemap.xml。输出就是这个布局：每个爬虫一个分组、组间空行、sitemap 在最后。

    


    

      
适合什么场景

      
  • 新站上线：生成一份初始 robots.txt，让搜索引擎正常抓取，同时隐藏私有暂存路径。
  • AI 爬虫管控：在不影响 Googlebot 的前提下，阻止 GPTBot、ClaudeBot、Google-Extended、CCBot 或 PerplexityBot 抓取训练语料或做摘要提取。
  • 抓取发现：在 robots.txt 里加一行 Sitemap，让爬虫更容易找到你的站点地图。

    

    

      
常见问题

      
      

        
写 Disallow: / 会怎样？

        
它告诉该爬虫不要抓取站点根目录下的任何 URL。如果 Googlebot 拿到 Disallow: /，你的页面可能从 Google 搜索结果中消失。想隐藏暂存路径请用 Disallow: /private/ 之类的具体路径。

      

      

        
怎么阻止 GPTBot 这类 AI 爬虫？

        
用该爬虫的 User-agent（例如 GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBot）建一个分组，加上 Disallow: /。AI 爬虫会不时更新 User-agent 和 IP 段，请以各家官方文档为准。

      

      

        
Sitemap 行应该放在哪里？

        
位置不影响搜索引擎读取，但惯例是放在文件末尾。本工具在填写 URL 时会把它追加到最后。

      

      

        
我的 robots.txt 会被上传到任何地方吗？

        
不会。文件在浏览器里生成，从不发送到服务器。关闭标签页后不会保留任何内容。

      

    



    

      
相关工具

      
  • XML Sitemap 生成器 — 从 URL 列表生成 sitemap.xml
  • 在线查看 HTTP 响应头
  • IndexNow — Bing URL 提交、密钥检查与状态码

    



      
    

      
分享这个工具

      
可通过社交网络分享，或复制本页链接；支持系统分享的设备也可一键分享。

      

        XFacebookLinkedInRedditWhatsAppTelegram
      

      

        
        
      

      
https://onlinefreetools.org/zh/tools/robots-txt-generator

    

    
      
    

      
咨询与反馈

      
页面不清、功能异常或想提建议？在下方起草邮件，我们会阅读每一封关于工具的来信。

      

        

          
          
        

        

          
          
        

        

          
          
        

        

          
          邮箱: dailyonetools@outlook.com
        

      

    

    
    

    

      
参考来源

      
  • RFC 9309 — Robots 排除协议
  • Search Central — robots.txt
  • Search Central — 管理 AI 爬虫

    

  

  
  

    

      
OnlineFreeTools.org · 学习项目 · 持续迭代

      

        关于·隐私·条款·联系