云计算 - 百度AIStudio使用小结
云计算 - 百度AIStudio使用小结
前言
本文以ffmpeg处理视频为例,小结一下AI Studio的使用体验及一些避坑技巧。
算力获得
免费的算力获得方式为:每日登录后运行一个项目(只需要点击运行,不需要真正运行)即可获得8小时算力卡。
项目哪里来?可以随便Fork一个项目例如:Project 5900035
然后点“环境启动”:
只需要弹出这个界面就说明今日获得8h算力了:
项目创建
项目分类
项目创建分为两种,一种是脚本类
,一种是NoteBook
类。
脚本类的项目是你提前编写好脚本,提交任务,任务执行完成后你可以下载输出结果;NoteBook类型的项目就像本地的Jupyter一样,可以交互。
脚本类项目在编辑时是不消耗算力的,而Notebook类项目只有在启动后才能编辑,只要启动了就会消耗算力时长。
创建运行
进入个人中心,点击项目 -> 创建和Fork的项目 -> 创建项目
:
之后选择什么类型的项目、什么配置按照需求即可,如果不知道如何选择,那就随便选吧(都能运行)。
本文以脚本类
项目为例:
查看详情:
编辑项目
忽略警告
编辑脚本并提交运行就好了
项目上传文件收到限制,不能上传大文件。因此若有处理大文件的需求,可以通过挂载数据集的方式来实现。
数据集创建
创建数据集
在个人中心,点击创建的数据集 -> 创建数据集
即可。
文件总大小不得超过50G,文件数量不得超过10个。因此多文件可以打包成一个压缩包再上传。
挂载数据集
添加“个人数据集”,最后保存即可:
数据集如何使用呢?脚本类
的项目数据集将被挂载到/root/paddlejob/workspace/train_data/datasets/
目录下。
通过点击数据集
可以查看所挂载数据集的具体路径。
上图中的Fonts.zip
的绝对路径为/root/paddlejob/workspace/train_data/datasets/data236492/Fonts.zip
所有输出到/root/paddlejob/workspace/output/
下的文件都将被作为输出文件
,在任务完成后,点击下载输出
即可下载该目录下所有文件的压缩包:
避坑技巧
- 脚本类型的项目,提交任务时不会自动获得算力卡,需要点击一个Notebook类型的项目运行一下
- 脚本类项目中,脚本执行完成后可能不会立即退出,大约15分钟后才会退出
- 输出日志中可能会有重复(一行显示好几遍)
- 4张V100(第二个选项)的算力大约是1张V100(第一个选项)的4倍(有时不只4倍,甚至能达到7.9倍),算力时长消耗4张是1张的8倍(但快确实爽)
原创不易,转载经作者同意后请附上原文链接哦~
同步发文于CSDN:https://letmefly.blog.csdn.net/article/details/132535648