BML CodeLab(端云协同开发环境) v0.3.1 官方版

　　BML CodeLab是一款功能强大、专业好用的全功能AI开发平台，是一款专为习惯于在本地开发的企业开发者打造的高性能机器学习开发软件，该软件功能丰富齐全、具备完善的开发工具和环境，下载这款软件可对接本地训练集群或云端训练资源进行使用；BML CodeLab这款软件内置有丰富的机器学习研发插件和百度自研的高性能计算引擎，为用户提供了强大专业的数据处理、模型训练、模型管理到模型推理的全生命周期管理服务功能，可以帮助用户更快更便捷的的构建、训练和部署模型，更好的创建AI开发环境，提高用户代码编写效率。

软件功能

　　智能的数据管理方式

　　将智能引入数据管理，自动化的完成数据清洗、数据标注等工作，为模型训练提供高质量数据

　　适用于不同人员的AI开发方式

　　脚本调参

　　低代码开发方式，无需或仅需编写极少代码即可完成模型的构建与训练

　　Notebook

　　在托管的Notebook中编写和运行自己的代码，也可以使用预置代码快速构建模

　　自定义作业

　　在云端运行已编写的模型训练代码，可扩展的算力加快模型训练过程

　　开放的模型管理服务

　　对内外部模型提供统一的管理能力，不断扩充支持的框架以及模型格式

　　适用于不同场景的推理形式

　　一次训练，支持多种部署方式；或将已有模型转换为适用于端部署的形式

软件特色

　　高性能的算力支持

　　支持多机多卡分布式训练

　　提供丰富算力机器资源选型

　　按需获取资源，灵活便捷

　　强大的数据处理服务

　　业界首个开放的数据采集和清洗服务

　　支持自动数据增强，助力模型效果有效提升

　　智能标注与多人标注双管齐下，标注效率提升80%

　　高精度训练效果

　　预置百度超大规模视觉预训练模型

　　预置业界领先的NLP预训练模型ERNIE

　　支持自动超参搜索、不平衡数据处理等先进训练机制

　　支持视觉、文本、机器学习等丰富任务类型

　　丰富完善的开发方案

　　全面超越原生Jupyter Notebook的云端开发环境

　　提供适合AI初学者的脚本调参开发方式，快速上手

　　支持开放框架多语言的作业建模，高度灵活

　　提供本地客户端BML CodeLab，预置海量丰富插件

　　广泛适配的模型推理服务

　　云服务：SLA99.99%，弹性扩缩容

　　本地服务器部署：多平台多语言支持

　　设备端SDK：适配15+硬件芯片，预测速度最快可提升10倍

　　软硬一体方案：6款软硬一体方案，高中低全矩阵覆盖

　　全面丰富的交付方案

　　3大交付方案，完善丰富

　　公有云交付，即刻上手体验

　　私有化交付，保障企业核心生产数据私密性和安全性

　　支持一体机交付，满足不同算力需求

使用方法

　　1、完成软件安装双击软件即可启动软件进入软件操作界面

　　2、点击文件桌面新建进入文件应用创建界面，点击应用即可进行创建

　　3、点击新建文件按钮即可进行文件项目创建，点击代码输入行即可进行代码输入

　　4、点击指令按钮可以对软件控制台、图片查看、文件操作等功能列表进行操作

　　5、点击文件按钮弹出软件文件管理弹框，点击选择文件即可对文件进行新建、保存、导出、打印等操作

　　6、点击编辑按钮弹出软件编辑功能列表，该列表可以对编辑代码进行撤销、重置等操作

　　7、点击运行按钮可以对单一选择代码行运行，可以运行当前所有单元格等

　　8、点击设置按钮弹出软件设置功能列表，该列表可以设置软件操作主题和文档自动保存等

　　9、点击设置帮助按钮弹出软件帮助功能列表，点击即可打开软件使用指南，了解更多软件使用信息

官方教程　　

      创建并启动Notebook

　　在BML中，Notebook支持多种语言以及不同的AI框架，且可灵活切换。

　　创建Notebook

　　BML提供了多种Notebook类型，每种类型都支持多语言及多框架。

　　在BML左侧导航栏中单击“Notebook”。

　　在“Notebook”页面单击“新建”，在弹出框中填写详细信息，示例如下：

　　完成项目信息填写后单击“创建项目”，完成Notbeook创建。

　　配置并启动Notebook实例

　　Notebook运行在Docker容器中，用户可以在启动Notebook前配置适合自己的代码执行环境。

　　配置Notebook环境。

　　单击“配置”，在弹出框中完成开发环境以及规格的配置，如下所示：

　　完成配置后，单击“确认并启动”。

　　Notebook启动过程中需要完成资源的申请以及实例创建，请耐心等待。

　　等待Notebook启动后，单击“打开”，页面跳转到Notebook，如下所示：

　　文件夹：对应Notebook运行环境的“/home/work”目录，各预置的文件夹作用如下：

　　PretrainedModel：用于存储用户训练好的模型文件，可以将该文件夹下的模型文件保存为不同的模型版本。

　　data：用户导入的数据集保存在该文件夹下。

　　demo：该文件夹下保存了示例代码。

　　数据集：用于导入用户已在EasyDL专业版中已创建的数据集。

　　环境：用于查看环境资源和配置。

　　设置：用于配置系统自动关闭的时间以及数据自动保存间隔。

　　使用Notebook开发模型

　　在Notebook可以导入已创建的数据集并将其用于模型训练。

　　导入数据集

　　通过导入操作可以将已创建的数据集下载到Notebook的运行环境中，导入的数据集会保存在“data”目录下以数据集ID命名的文件夹中，对于已标注的图片，下载内容包括原始图片文件和同名的json标注文件。

　　单击Notebook左侧页签中的“数据集”。

　　在操作面板中，单击“导入数据集”，系统在弹出框中显示已创建的数据集及其标注情况，如下所示：

　　勾选待导入数据集前的复选框并单击“确认”，开始导入数据集，如下所示：

　　数据集导入操作是单向的，且当数据服务中的数据集有更新时，不会自动同步，需要手动重新刷新。

　　训练模型

　　用户可以在Notebook或终端中编写模型训练代码，并完成模型的训练。

　　本节给出如何使用示例代码完成导入数据集的建模。示例代码结构如下所示：

　　用户只需要执行train.sh脚本即可启动模型训练，其输入参数如下所示：

　　train.sh <数据目录> <模型保存目录>

　　数据目录：数据集保存目录的绝对路径

　　模型保存目录：请设置为/home/work/PretrainedModel/，否则会造成生成新模型版本时无法读取模型文件。

　　上述代码结构不是必须的，用户可以自行编写代码训练模型，只需要将模型保存到/home/work/PretrainedModel/目录即可。 使用示例代码完成模型训练的步骤如下所示：

　　使用示例代码完成模型训练的步骤如下所示：

　　在Notebook中执行如下代码查看已导入的数据集。

　　! ls /home/work/data/

　　在Notebook中执行train.sh脚本进行模型训练。

　　! bash demo/train.sh /home/work/data/96159/ /home/work/PretrainedModel/

　　请根据实际情况修改上述代码中的数据集路径。

　　查看生成的模型文件。

　　在Notebook左侧导航栏中单击“文件夹”，并打开“Pretrainedmodel”文件夹，如下所示：

　　保存Notebook中的模型

　　模型只有保存为特定版本后，才可以执行检验，校验通过后可以将其发布到模型仓库。

　　请确保要保存的模型文件在/home/work/PretrainedModel目录下。模型支持版本管理功能，在保存时可以生成新版本也可以覆盖已有的且尚未部署的模型版本，每个版本的模型都可以独立部署。每个模型版本中保存的模型文件大小上限为1.5GB。

　　在保存模式时也可以将训练模型的代码一并保存。代码支持版本管理功能，用户再次启动Notebook时，可以使用指定的代码版本来初始化Notebook工作空间即/home/work目录下data以外的空间。每个代码版本中保存的文件大小上限为150M。

　　单击Notebook页面右上角工具栏中的“保存模型”。

　　在“保存模型”对话框中配置模型属性，如下所示：

　　生成新版本：生成一个新的模型版本，版本号由系统自动生成，若当前最高版本为Vn，则新生成版本为Vn+1。

　　覆盖现有可升级模型：未部署的模型可以被覆盖。

　　框架版本：即生成模型时使用的Paddle版本。

　　单击“下一步”，选择要保存的模型文件：

　　当前项目文件为PreitraindModel目录下的文件列表。

　　单击“下一步”，选择代码版本文件：

　　生成新代码库版本：生成一个新的代码库版本，版本号由系统自动生成，若当前最高版本为Vn，则新生成版本为Vn+1。

　　选择现有代码库版本：选择一个已有的代码库版本。

　　代码库备注信息：用于记录代码库的描述信息。

　　单击“生成”，完成模型保存。

　　在完成模型保存后，可以关闭Notebook，从而避免产生不必要的费用。

更新日志

　　发布时间功能描述

　　2020/04/10

　　新增支持实体-属性，实体-关系场景的文本标注；新增可视化建模丰富算子：实体关系、实体抽取

　　2020/03/07

　　可视化建模增加图算法、自然语言处理算子

　　2020/01/17

　　上线数据集、可视化建模

　　2019/10/29

　　上线项目管理模块

　　2019/10/18

　　新增模型仓库，预测服务升级上线

　　2019/08/01

　　上线计费

　　2019/07/17

　　新增Tensorflow-2.0.0beta1框架，深度学习作业支持Tensorflow单机多卡、Notebook支持CDS高性能云磁盘存储

　　2019/07/09

　　机器学习作业上线Kmeans算法

　　2019/06/14

　　AutoDL作业上线迁移学习

　　2019/05/24

　　上线更多资源套餐类型、深度学习作业上线pytorch1.1.0框架，机器学习作业上线Rapids-cuML算法

　　2019/05/10

　　上线AIBook静态页、深度学习作业支持Python3