自蒸馏推理方法用于微调Amazon Nova模型
亚马逊推出了自蒸馏推理(SDR)方法,用于对Amazon Nova 2模型进行监督微调(SFT)。SDR利用模型自身为缺乏思维链(CoT)推理路径的数据集生成推理路径,从而解决推理抑制问题并减少灾难性遗忘,在提升目标任务性能的同时保持通用能力。
Amazon Web Services
AWS ML blog24.07 · 05:06
亚马逊推出了自蒸馏推理(SDR)方法,用于对Amazon Nova 2模型进行监督微调(SFT)。SDR利用模型自身为缺乏思维链(CoT)推理路径的数据集生成推理路径,从而解决推理抑制问题并减少灾难性遗忘,在提升目标任务性能的同时保持通用能力。
Amazon Web Services
在现实世界中收集物理人工智能的数据是一个缓慢、昂贵且有风险的过程。通过 GPU 并行性,仿真能够生成大量逼真的物理数据。本文综述了流行的仿真引擎:MuJoCo、MuJoCo Warp、NVIDIA Isaac Sim 和 Isaac Lab,以及由 NVIDIA、Google DeepMind 和 Disney Research 开发的新型物理引擎 Newton。
NVIDIA
Google DeepMind
MuJoCo