学习是不变的主题，学习在2024，一起前进！
Generative AI and Machine Learning
模型申请、开始使用
Amazon Bedrock 与多模态大语言模型Anthropic Claude 开箱 (上篇)
Prompt调优
Amazon Bedrock与多模态大语言模型Anthropic Claude 3 开箱(下篇) – Prompt Engineering
OpenAI接口兼容的迁移方式 – Bedrock Access Gateway
借助Bedrock Access Gateway实现OpenAI代码兼容的Claude 3模型调用
OCR
使用Claude 3进行OCR文字识别将影印件PDF并转换为Markdown文本格式
知识库
【10分钟开箱即用】使用Amazon Bedrock知识库构建RAG检索能力
本文介绍了如何使用Bedrock Access Gateway实现代码完全兼容的方式从OpenAI ChatGPT切换到Anthropic Claude3 完成模型调用。
Continue reading “借助Bedrock Access Gateway实现OpenAI代码兼容的Claude 3模型调用”RAG+LLM Chatbot解决方案是AWS中国团队开发的大语言模型的RAG对话机器人，它是一个基于Serverless无服务器技术构建、使用LangChain框架的解决方案，用于快速搭建一套可用于生产环境的知识问答机器人。RAG+LLM Chatbot 支持向量模型 & 大语言模型的灵活配置插拔，设计上采用无服务器方式，无需EC2，前后端分离，可集成到即时通信工具(如飞书)。
在这套解决方案中，包含了一个摄取PDF进行OCR文字识别的工具，其代码可从Github上这里获取。本文介绍使用这个代码调用Claude3模型实现OCR识别。
Continue reading “使用Claude 3进行OCR文字识别将影印件PDF并转换为Markdown文本格式”Bedrock知识库现已经支持Claude3的集成，在界面上选择模型时候可以选择Claude3，同时API请求上也支持Claude3。
Bedrock知识库是全托管的RAG体验，可实现内容摄取、向量生成、向量数据库创建和管理、向量查询和召回、大模型重写等一系列过程。关于Bedrock知识库服务配置，请参考这篇博客。本文仅为视频DEMO，不详细讲解配置。操作Bedrock创建知识库到可用的整个过程不超过10分钟，其中创建OpenSearch向量数据库部分需要大概五分钟，视频做了剪切加速。
如果您尚未使用过Bedrock服务，可参考如下：
Continue reading “Bedrock 知识库【十分钟开箱即用】视频演示”Bedrock知识库现已经支持Claude3的集成，可在单一API请求上完成RAG召回和大模型重写。
本文介绍如何使用Bedrock知识库快速搭建托管的RAG体验，在申请模型权限后，整个实验仅需要在AWS控制台上数次点击，10分钟内即可体验完整的RAG能力。本文对应的演示视频跳转到这里观看。
Continue reading “【10分钟开箱即用】使用Amazon Bedrock知识库构建RAG检索能力”本文针对2024年3月发布的Claude 3模型已经做了更新。
本文介绍了Claude 3 Prompt Engineering调优的最佳实践，并提供了几个场景的样例代码。关于如何配置Bedrock和Claude模型访问权限，请参考本文上篇：
注意：本文已经针对2024年3月初新发布的Claude 3进行了更新。
本文介绍了Amazon Bedrock服务的初始化，如何开始使用Claude模型，并讲解了Prompt Engineer调优的最佳实践，以及几个简单场景样例代码。
本文分成上下两篇：
Amazon CodeWhisperer是一款辅助开发的代码生成服务，可根据进行代码生成、代码补全、代码审查等。Amazon CodeWhisperer支持多种编程语言，包括Python、Java、JavaScript、TypeScript、C#、Go、Rust、PHP、Ruby、Kotlin、C、C++、Shell 脚本、SQL、Scala、JSON、YAML和HCL等。
目前，CodeWhisperer支持的IDE包括VS Code、IntelliJ IDEA、Visual Studio、PyCharm、WebStorm和Rider等。此外，CodeWhisperer还支持MacOS下的终端/Iterm2用于CLI交互。您可以使用这些IDE的插件/扩展连接到CodeWhisperer，并享受便捷的开发效率。
Continue reading “使用CodeWhisperer代码提示和补全提升开发效率”新创建的AWS账号出于防恶意的角度，默认限制给的很低仅允许使用t3机型作为Notebook运行环境和推理节点。为进入正常业务使用，可能需要提升如下limit配额。
Continue reading “SageMaker新账号提升常用的Limit限制”Rekognition服务目前在AWS海外区域可用，在中国区暂时不可用。
Rekognition的原理是：
Tensorflow可以在Windows下安装运行，有GPU版本和CPU版本。自行安装Tensorflow的一个主要问题就是版本不匹配。CUDA和Tensorflow的搭配是有特定版本要求的，并非越高越好。因此如果完全去Nvidia官网下载公开驱动，在运行Tensorflow过程中很可能报告找不到xxx.dll等错误，就是因为版本不匹配造成的。网上可以搜索到相关文章。相对于自行安装Python、自行下载CUDA、CUDNN、Tensor等组件并匹配版本，还要配置环境变量，复杂和麻烦。因此，本文推荐使用Anaconda一步到位。
Continue reading “在Windows下安装Tensorflow”在Mac上安装 Jupyter Notebook 非常简单，一条命令 pip3 install jupyterlab 就可以搞定。请注意 Python version 如果是 3.x请用 pip3。安装后直接启动无问题。
在Windows 10 上，先后遇到 pip 库不是最新和 MS VC++ 库的问题。因此整理本文如下。
在命令提示符（CMD）下，注意不是Powershell下，执行如下命令：
python -m pip install --upgrade pip