本文介绍了如何使用Bedrock Access Gateway实现代码完全兼容的方式从OpenAI ChatGPT切换到Anthropic Claude3 完成模型调用。

一、背景

RAG+LLM Chatbot解决方案是AWS中国团队开发的大语言模型的RAG对话机器人，它是一个基于Serverless无服务器技术构建、使用LangChain框架的解决方案，用于快速搭建一套可用于生产环境的知识问答机器人。RAG+LLM Chatbot 支持向量模型 & 大语言模型的灵活配置插拔，设计上采用无服务器方式，无需EC2，前后端分离，可集成到即时通信工具(如飞书)。

在这套解决方案中，包含了一个摄取PDF进行OCR文字识别的工具，其代码可从Github上这里获取。本文介绍使用这个代码调用Claude3模型实现OCR识别。

Bedrock知识库现已经支持Claude3的集成，在界面上选择模型时候可以选择Claude3，同时API请求上也支持Claude3。

Bedrock知识库是全托管的RAG体验，可实现内容摄取、向量生成、向量数据库创建和管理、向量查询和召回、大模型重写等一系列过程。关于Bedrock知识库服务配置，请参考这篇博客。本文仅为视频DEMO，不详细讲解配置。操作Bedrock创建知识库到可用的整个过程不超过10分钟，其中创建OpenSearch向量数据库部分需要大概五分钟，视频做了剪切加速。

如果您尚未使用过Bedrock服务，可参考如下：

• 关于Bedrock服务和Claude大模型权限开通，请参考这篇博客。
• 关于Prompt调优，请参考这篇博客。

Bedrock知识库现已经支持Claude3的集成，可在单一API请求上完成RAG召回和大模型重写。

本文介绍如何使用Bedrock知识库快速搭建托管的RAG体验，在申请模型权限后，整个实验仅需要在AWS控制台上数次点击，10分钟内即可体验完整的RAG能力。本文对应的演示视频跳转到这里观看。

本文针对2024年3月发布的Claude 3模型已经做了更新。

本文介绍了Claude 3 Prompt Engineering调优的最佳实践，并提供了几个场景的样例代码。关于如何配置Bedrock和Claude模型访问权限，请参考本文上篇：

• 上篇：Bedrock配置篇
• 下篇：Prompt调优篇（本篇）

本文更新了Converse API的使用，从原来的invoke_model的API更换为Converse API。

本文介绍了Amazon Bedrock服务的初始化，如何开始使用Claude模型，并讲解了最新的Converse API的使用，实现文本生成、图像理解、文档理解、流式输出等场景。