Dannex Download Manager
  1. 主页
  2. 帮助
  3. 网站抓取器

网站抓取器

站点抓取器从您指定的页面出发探索网站,向下跟随几层链接,并列出找到的文件:图库中的每张图片、文档站点的 PDF、播客页面上的录音,或整个网站以便离线阅读。您勾选想要的文件,DDM 会像其他下载一样下载它们。

抓取站点

  1. 点击工具栏上的站点抓取器,或选择任务 → 运行站点抓取器...。
  2. 选择一个模板:所有图像、所有音频、所有视频、所有文档、整个站点(供离线阅读)或自定义。模板决定收集哪些文件以及抓取器深入多少层;您之后可以更改这两项。
  3. 输入起始地址,即开始的页面,例如 https://example.com/gallery/。没有 http:// 或 https:// 时,DDM 使用 https://。
  4. 如果站点要求用户名和密码,请在登录下输入。它们只发送到起始地址所在的站点,绝不会发送到其页面链接到的其他站点。在选项 → 站点登录中为该站点保存的登录信息也会被使用。
  5. 点击下一步,选择文件的保存位置(见下文),再次点击下一步,检查要探索的内容,然后点击开始。

工作时,窗口会显示已探索多少页面、还有多少在等待、已找到多少文件,以及正在读取的地址。停止会立即结束;到此为止找到的内容会保留。

文件的保存位置

  • 保存到:您选择的文件夹。留空时,每个文件会像其他下载一样,保存到其类别的文件夹(选项 → 保存到)。
  • 保留站点的文件夹结构:在该文件夹下,每个文件放在它在站点上所处的位置:example.com\photos\2025\harbour.jpg。将所有文件放入此文件夹则把它们并排放在一起。重名时会加上编号,一如既往。
  • 类别:下载所列入的类别,或按文件类型分别归类。

探索和收集的内容

  • 深度:从起始页面向外读取多少层链接内的页面。0 只读取起始页面;2 会读取它链接到的页面,以及那些页面所链接到的页面。
  • 探索以下范围内的页面:同一主机(默认;带不带 www. 都算)、同一域及其子域(example.com、img.example.com),或任意站点。
  • 同时收集来自其他站点的文件:页面链接到的另一站点上的图片和文件(站点放在独立图片服务器上的图片)也会被收集。取消勾选则只限于已探索的站点。
  • 文件类型:图像、视频、音频、文档、压缩包、程序、网页(页面本身)和样式、脚本、字体(页面正常显示所需的内容)。其他类型可填写您自己的扩展名,用空格分隔:PSD RAW。
  • 仅限地址符合以下模式的文件和排除符合以下模式的地址:模式,用空格分隔。* 代表任意文本,? 代表一个字符;不含它们的模式会匹配包含该内容的任何地址。*/photos/* 只收集 photos 文件夹中的文件;thumb 排除所有含 thumb 的地址。被排除的地址既不探索也不收集。不区分大小写。
  • 最多页面数和最多文件数:抓取器探索或收集到这么多时就会停止,并说明原因。
  • 请求之间的暂停和同时请求数:读取站点的温和程度。默认值(半秒、同时两个)对小站点比较友好。
  • 遵循站点的 robots.txt(默认开启):站点要求机器人不要访问的页面不会被探索,它要求的 Crawl-delay 会被遵守(最多 10 秒)。窗口会统计因此被排除的地址数。
  • 查询每个文件的大小:探索结束后,DDM 会向服务器询问每个文件的大小。取消勾选可更快得到列表。

抓取器查找链接的位置与浏览器相同:链接、框架、图片(srcset 以及延迟加载的图片)、视频及其封面、音频、样式表及其中的图片、图标。它不运行页面的脚本,因此只由脚本添加到页面上的文件找不到。对地址看不出是什么内容的链接(/download?id=7),会询问一次:是页面就探索,是文件就按服务器给出的名称收集。

下载找到的内容

结束时,窗口会列出这些文件:名称、类型和大小。除了已在下载列表中的文件,其余全部已勾选。

  • 在筛选中输入内容,只显示名称或地址包含它的文件。全选和不选会勾选或取消勾选当前显示的文件。
  • 添加到队列选择它们加入的队列,立即启动队列决定是否启动。队列按其允许的数量同时下载。
  • 下载所选项会把勾选的文件添加到下载列表;全部下载会添加找到的每个文件。每个下载都带有其所在页面作为来源页面,就像浏览器那样。

抓取项目

每次抓取都会保存为一个项目,列在类别窗格的抓取项目下。点击项目可查看它添加的下载。右键点击它可以:

  • 再次运行:用相同的设置再次探索站点(会找到站点上的新文件;已在列表中的文件处于未勾选状态)。
  • 编辑...:在站点抓取器中打开其设置。
  • 找到的文件...:上次运行找到的文件列表,可从中下载更多。
  • 删除:不再保留该项目。它的下载仍留在列表中,文件仍留在磁盘上。

项目保存在数据文件夹中(grabber.json)。项目的密码与设置中的其他密码一样保存:在 Windows 上为您的账户加密保存,在 Linux 和 macOS 上仅您本人可读。

下一步

免费、开源、无广告、无试用版。

下载 Dannex Download Manager