版本 0.5.1

变更

AutoMM

已更改为新的命名空间 autogluon.multimodal (AutoMM)，它是一个深度学习模型库中的“模型库”。一方面，AutoMM 可以自动训练单模态（仅图像、仅文本或仅表格数据）问题的深度模型。另一方面，AutoMM 可以通过融合多个深度学习模型来自动解决多模态（图像、文本和表格数据的任意组合）问题。此外，AutoMM 可以作为 AutoGluon 表格数据中的基础模型并参与模型集成。

新功能

• 支持使用 CLIP 进行零样本学习 (#1922) @zhiqiangdon

  • 用户可以使用 CLIP 模型直接执行零样本图像分类。此外，用户可以使用 CLIP 提取图像和文本嵌入，进行图像到文本或文本到图像的检索。

• 改进了高效微调

  • 支持 “bit_fit”, “norm_fit“, “lora”, “lora_bias”, “lora_norm”。在四个多语言数据集（xnli, stsb_multi_mt, paws-x, amazon_reviews_multi）中，“lora_bias”（结合了 LoRA 和 BitFit）取得了最佳的整体性能。与微调整个网络相比，“lora_bias” 只会微调网络参数的 小于 0.5%，并且可以在 “stsb_multi_mt” 上实现可比的性能 (#1780, #1809)。 @Raldir @zhiqiangdon

  • 支持在单个 NVIDIA G4 GPU 上微调具有 1.7B 参数的 mT5-XL 模型。在 AutoMM 中，我们仅使用 T5 编码器（1.7B 参数），类似于 Sentence-T5。 (#1933) @sxjscience

• 添加了更多数据增强技术

  • 用于图像数据的 Mixup。 (#1730) @Linuxdex

  • 用于图像和文本数据的 TrivialAugment。 (#1792) @lzcemma

  • 简单的文本增强。 (#1756) @lzcemma

• 增强的师生模型蒸馏

  • 支持将单模态/多模态教师模型的知识蒸馏到学生模型。 (#1670, #1895) @zhiqiangdon

更多教程和示例

• 将 AutoMM 应用于图像、文本或多模态（包括表格数据）的初学者教程。 (#1861, #1908, #1858, #1869) @bryanyzhu @sxjscience @zhiqiangdon

• 使用 CLIP 模型进行零样本图像分类教程。 (#1942) @bryanyzhu

• 一个关于使用 CLIP 模型提取嵌入进行图像-文本检索的教程。 (#1957) @bryanyzhu

• 一个教程，介绍 AutoMM 的全面配置 (#1861)。 @zhiqiangdon

• AutoMM 表格数据示例 (#1752, #1893, #1903)。 @yiqings

• AutoMM 蒸馏示例 (#1846)。 @FANGAreNotGnu

• 一个关于如何使用 AutoMM 预测宠物领养的 Kaggle notebook：https://www.kaggle.com/code/linuxdex/use-autogluon-to-predict-pet-adoption。该模型在该仅限 kernel 的竞赛中（测试数据仅在 kernel 中可用，无法访问互联网）取得了相当于 前 1%（3537 名中的第 20 名） 的分数 (#1796, #1847, #1894, #1943)。 @Linuxdex

时间序列

我们很高兴地宣布 AutoGluon-TimeSeries！从 v0.5 开始，AutoGluon 现在支持时间序列预测的 AutoML，它利用了 ETS 和 ARIMA 等统计预测方法，以及通过 GluonTS 实现的现代深度学习架构。新模块还提供时间序列模型的加权集成，并且旨在进行概率（分位数）预测，以支持从需求和供应链预测到金融应用的众多用例。

所有时间序列预测任务都通过熟悉的 AutoGluon 接口支持，即通过 TimeSeriesPredictor 类。立即通过 AutoGluon-TimeSeries 快速入门指南开始预测吧。

贡献者列表：@canerturkmen, @huibinshen, @Innixma, @yinweisu, @shchur, @gradientsky

v0.5.1 中的修复和增强

• 为 AutoGluon-TimeSeries 模型添加了早期停止功能 (#1917) @huibinshen

• 允许在 AutoETS 中从 TimeSeriesDataFrame 索引自动推断季节性周期，智能地将季节性设置为 ETS 模型默认使用的参数。 (#1914) @canerturkmen, @shchur

• 模型预设中的更改，使 ARIMA 和 GluonTS 的 Transformer 模型默认启用，并移除 MQCNN 模型 (#1914)。 @canerturkmen, @shchur

• 修复了使用 TimeSeriesPredictor 时影响具有自定义目标列名称的数据集的问题 (#1901) @canerturkmen

• 限制 gluonts, sktime 版本 (#1914, #1916) @yinweisu, @canerturkmen, @shchur