权重即数据：神经网络权重空间学习如何成为 AI 的下一类训练集

https://www.youtube.com/watch?v=sVeEc3H6bA4 权重即数据：神经网络权重空间学习如何成为 AI 的下一类训练集 以下位 TWIML AI Podcast 第 772 期《Why Models Are AI's Next Training Dataset》访谈转录整理，嘉宾为圣加仑大学 AI 与机器学习教授 Damian Borth，主持人 Sam Charrington。 介绍详细内容之前，先说说WSL是否等同于模型蒸馏？ 答案是不是一回事，但容易混着叫。先把两件事拆开，再对照 Borth 的"权重空间学习（WSL）"你就清楚了。 1. Anthropic 骂阿里那件事是什么 Anthropic 2026 年 6 月致信美国参议院，说阿里 Qwen 团队在 4/22–6/5 期间用近 2.5 万个假账号调 Claude 约 2880 万次 ，把 Claude 的回答当训练数据去训自己的模型，他们叫它" 蒸馏攻击（distillation attack） "。 这本质上是 黑盒/API 层的数据蒸馏 ： 教师=Claude（只看得到输出文本） 学生=Qwen 系模型 方法=拿 Claude 的生成文本（硬标签，最多再加点软标签）当语料去训学生 目的=迁移能力、省训练钱 注意：这跟"白盒蒸馏"还不一样，阿里（按指控）根本没拿到 Claude 的权重，拿到的是 对话文本 。行业里把"用强模型输出当训练数据"泛称为蒸馏，但严格学术定义里这只是黑盒 KD 或数据蒸馏。 2. Borth 的"权重当数据"是不是蒸馏 形式上沾边，本质上不同。 维度 经典/黑盒蒸馏（Anthropic 指控那种） Borth 权重空间学习（WSL） 学习对象 教师模型的 输出 （文本/软标签/中间激活） 一堆已训练模型的 权重本身 （参数张量） 数据形态 (x, 教师输出) 配对样本 把模型权重序列化、令牌化后的"权重语料" 目标 学生模仿教师行为，压缩模型 学"模型种群"的流形：预测准确率 / 生成新权重 / 跨架构采样 要不要原始数据 黑盒蒸馏可以完全不用原数据，只用教师输出 完全不用任何输入输出数据 ，连教师行为都不看 典型操作 用 Claude 回答训 Qwen 下载 HF 上 2000 个 CV 模型 → 自编码器压成隐空间 → 采样出遥感模型权重 Borth 自己在论文里也承认：WSL 可以看作" 直接在权重上做的、基于训练的知识复用 "，但它不需要像 KD 那样去跑原数据集拿激活、也不需要教师在线推理，它是把"训练好的模型集合"当成 第三种数据模态 （继文本、图像之后）。 简单说： 蒸馏是" 看菜谱做出来的菜（输出）来学做饭 " WSL 是" 把几百道做好的菜称重、切片、分析配料分布，然后直接捏出一道新菜的重量配方 "——连火都没开，更没尝过菜味。 3. 为什么大家会搞混 因为两者都叫"复用已有模型的知识"，而且 WSL 生成出的权重确实能当初始化、能跨域迁移（比如用 ImageNet 模型权重训出遥感模型，350 GPU 小时干掉 12000 GPU 小时的从头训）， 效果上像"蒸馏了前辈经验" 。但机制上： KD 的知识载体是 前向行为 （logits / 文本） WSL 的知识载体是 参数几何结构 （权重空间里的流形、对称性、轨迹） 所以 Borth 在访谈里特意说"权重不仅是学习的输出，也可以是学习的输入"——这句话的潜台词就是： 别把它归类成 KD，它是一个新模态的学习问题 。 4. 一句话收口 Anthropic 抱怨阿里，是"你偷用我家模型吐的字句当教材"；Borth 的路子是"我把全网开源模型（含你家的，只要开源许可允许）的 权重文件 当语料，训一个会造权重的元模型"——前者踩的是 API 条款和商业秘密红线，后者用的是 已发布权重 （Hugging Face 上大多有许可证），技术族谱上离"蒸馏"比离"神经架构搜索 + 超网络"更远。 第（一）部分 节目开场与研究总览：当训练数据枯竭，权重成为新燃料 （0% - 8%） 节目引入与核心命题 ：主持人点明当下 AI 领域最严峻的问题之一——高质量训练数据越来越难找，部分研究者押注合成数据，另一部分押注推理时计算（test-time reasoning）。而本期嘉宾 Damian Borth 提出了一条截然不同的路径：每一个训练好的模型都凝结了数千乃至数百万 GPU 小时"什么管用"的探索经验，这些权重不应只被视为训练过程的终点，而应成为下一次训练的 起点和数据本身 。 嘉宾背景与研究方向 ：Damian Borth 是瑞士圣加仑大学 AI 与机器学习教授。他的核心研究线索是"权重空间学习"（weight space learning / w