Needle 2:一个开源的4500万参数工具调用模型,打包在14MB的二进制文件中
Cactus Compute发布了Needle 2,这是一个开源的4500万参数模型,用于工具调用、设备使用和结构化提取。该模型以14MB的二进制文件形式提供,运行内存约28MB,在边缘设备上实现高吞吐量。它在Seal-Tools基准测试中领先,但在BFCL v4上稍逊一筹。
Cactus Compute
MarkTechPost14.08 · 09:02
Cactus Compute发布了Needle 2,这是一个开源的4500万参数模型,用于工具调用、设备使用和结构化提取。该模型以14MB的二进制文件形式提供,运行内存约28MB,在边缘设备上实现高吞吐量。它在Seal-Tools基准测试中领先,但在BFCL v4上稍逊一筹。
Cactus Compute