开源项目 Auptimizer

Auptimizer(发布于2019年11月9日之前)
地址:https://github.com/LGE-ARC-AdvancedAI/auptimizer
    LG高级人工智能部门开发的Auptimizer是一个开源的超参数优化框架,旨在帮助人工智能模型的调整和记账。
    Auptimizer简化了配置各种大量模型的过程,并具有可重现性。它与所有超参数算法一样,能够在为超参数赋值之前初始化搜索空间和配置,然后训练目标模型并更新结果。最终重复命题、训练和更新阶段,直到确定最优值。
    Auptimizer采用基于梯度的架构搜索,其中基于AI模型的控制器能够生成“子模型”字符串,这些“子模型”的架构由字符串变量指定。改控制器利用被训练的子模型的精度作为一种信号,逐步的为具有更高精度的结构分配更高的概率,从而提高其搜索能力。
    Auptimizer只需要几行代码,就可以帮助用户逐步完成与实验相关的配置设置,并且支持在不同的超参数算法和计算资源之间进行切换,不需要用户重写训练脚本。此外,它的设计可以平滑扩展到其他算法和资源,不需要进行过大的修改。
    一旦定义并初始化了实验,Auptimizer就会不断地检查可用资源和超参数数据,并运行作业来确定最佳模型。工作负载完成后,它会启动一个异步记录和保存结果的函数,自动执行映射,并将超参数值保存到文件中,以便可以将这些数据恢复到特定作业中使用。
    用户可以指定实验配置中使用的资源,包括:处理器、图形芯片等,它与现有的资源管理工具兼容,并能够在数据库中跟踪可用的资源和作业。另外,它还有一个能可视化历史结果的基本工具。
    未来的Auptimizer将支持边缘设备的端到端模型构建,包括模型压缩和神经结构搜索。Auptimizer的可扩展性,能够帮助用户在所有可用的计算资源下高效地训练模型,这使得从业者能够相对轻松地,用高级算法快速探索自己的想法。

参与评论

热门资讯