苹果发布多模态LLM模型Ferret；2024元旦放假安排公布！

作为一款多模态模型，Ferret可以接受文字、声音、影像或数据的输入。根据苹果10月公布Ferret的研究论文，Ferret能理解任何形状或任何图片颗粒（granularity），并且可以准确定位（ground）开放词汇的描述。为了把引用（refer）和定位能力整合到模型中，Ferret采用一种混合区域表征（hybrid region representation）技术，整合个别方位和连续性的特征，以表示图片中的某一区域。为提取出区域中的连续特征，苹果研究人员提出一种空间感知的视觉采样器，它能处理不同形状多种稀疏性。这也使Ferret可以接受多样化区域输入，像是点、边界框、自由形式的形状。

此外，苹果公布了Ferret7B、130B二模型的 代码、GRIT数据集、标竿测试工具Ferret-Bench，上周也公布了Ferret 70B及130B检查点（checkpoint）。（来源：闽南网）