新创建的AWS账号出于防恶意的角度,默认限制给的很低仅允许使用t3机型作为Notebook运行环境和推理节点。为进入正常业务使用,可能需要提升如下limit配额。
Continue reading “SageMaker新账号提升常用的Limit限制”Category: Generative AI and Machine Learning
Generative AI and Machine Learning
使用Rekognition识别视频中的名人
一、原理和架构
Rekognition服务目前在AWS海外区域可用,在中国区暂时不可用。
1、原理
Rekognition的原理是:
- 上传视频到S3中,获得完整的S3存储地址;
- 调用Rekognition的API发起对S3中的某个视频文件的识别,不同类型的识别有不同的接口,比如识别物体、人脸、名人为不同的调用接口,此任务为异步,返回 JobId 信息。
- 视频分析完毕后,Rekognition回call SNS通知服务,并可根据 JobId 查询;
- 应用程序接收到SNS通知后,从SNS消息总线中取出ID,然后再次调用Rekognition的获取分析接口,获得JSON格式的输出结果,输出结果包含人物ID、任务信息、时间线等;
- 最后调用获取名人信息接口,输入人物ID,获得名称和公开信息(URL网址)。
在Windows下安装Tensorflow
一、背景
Tensorflow可以在Windows下安装运行,有GPU版本和CPU版本。自行安装Tensorflow的一个主要问题就是版本不匹配。CUDA和Tensorflow的搭配是有特定版本要求的,并非越高越好。因此如果完全去Nvidia官网下载公开驱动,在运行Tensorflow过程中很可能报告找不到xxx.dll等错误,就是因为版本不匹配造成的。网上可以搜索到相关文章。相对于自行安装Python、自行下载CUDA、CUDNN、Tensor等组件并匹配版本,还要配置环境变量,复杂和麻烦。因此,本文推荐使用Anaconda一步到位。
Continue reading “在Windows下安装Tensorflow”Windows 10上安装 Jupyter Notebook
在Mac上安装 Jupyter Notebook 非常简单,一条命令 pip3 install jupyterlab 就可以搞定。请注意 Python version 如果是 3.x请用 pip3。安装后直接启动无问题。
在Windows 10 上,先后遇到 pip 库不是最新和 MS VC++ 库的问题。因此整理本文如下。
1、安装Python3
2、升级pip到最新版版本
在命令提示符(CMD)下,注意不是Powershell下,执行如下命令:
python -m pip install --upgrade pip
Continue reading “Windows 10上安装 Jupyter Notebook”