Amazon Bedrock与多模态大语言模型Anthropic Claude 3 开箱(下篇) – Prompt Engineering

本文针对2024年3月发布的Claude 3模型已经做了更新。

本文介绍了Claude 3 Prompt Engineering调优的最佳实践，并提供了几个场景的样例代码。关于如何配置Bedrock和Claude模型访问权限，请参考本文上篇：

Continue reading “Amazon Bedrock与多模态大语言模型Anthropic Claude 3 开箱(下篇) – Prompt Engineering”

Amazon Bedrock 与多模态大语言模型Anthropic Claude 开箱 (上篇)

注意：本文已经针对2024年3月初新发布的Claude 3进行了更新。

本文介绍了Amazon Bedrock服务的初始化，如何开始使用Claude模型，并讲解了Prompt Engineer调优的最佳实践，以及几个简单场景样例代码。

本文分成上下两篇：

Continue reading “Amazon Bedrock 与多模态大语言模型Anthropic Claude 开箱 (上篇)”

使用CodeWhisperer代码提示和补全提升开发效率

一、CodeWhisperer简介

Amazon CodeWhisperer是一款辅助开发的代码生成服务，可根据进行代码生成、代码补全、代码审查等。Amazon CodeWhisperer支持多种编程语言，包括Python、Java、JavaScript、TypeScript、C#、Go、Rust、PHP、Ruby、Kotlin、C、C++、Shell 脚本、SQL、Scala、JSON、YAML和HCL等。

目前，CodeWhisperer支持的IDE包括VS Code、IntelliJ IDEA、Visual Studio、PyCharm、WebStorm和Rider等。此外，CodeWhisperer还支持MacOS下的终端/Iterm2用于CLI交互。您可以使用这些IDE的插件/扩展连接到CodeWhisperer，并享受便捷的开发效率。

Continue reading “使用CodeWhisperer代码提示和补全提升开发效率”

EKS使用预加载机制加速EC2 Nodegroup上大镜像的启动速度

EKS动手实验合集请参考这里。

目录

  • 一、背景
  • 二、测试环境准备
  • 三、应用Yaml是否打开缓存开关的对比
  • 四、使用EventBridge构建预加载
  • 五、验证预缓存机制生效
  • 六、参考文档

一、背景

在机器学习等场景下，需要在EKS上运行较大体积的Pod，其Image体积可能达到数个GB。此时在第一次启动Pod时候，会遇到所谓的冷启动问题，也就是EC2 Nodegroup需要从ECR容器镜像仓库去拉取较大尺寸的镜像，然后才能启动Pod。后续启动相同镜像即可利用缓存无须重复下载。此时，可以使用本文介绍的方法优化冷启动时间长。

Continue reading “EKS使用预加载机制加速EC2 Nodegroup上大镜像的启动速度”

使用Kubecost管理EKS成本

EKS动手实验合集请参考这里。

一、简介

Kubecost是基于OpenCost的云原生的成本管理工具。在不使用Kubecost情况下，管理EKS的cost一般是基于预留实例的EC2 Node，并人为划分服务资源进行分割，某些情况下还需要搭配Cost and Usage Reports(CUR)详单。

使用Kubecost，可以在相对直观的看到各Deployment/Service对应的相应费用，并根据服务的运行时长显示对应成本。Kubecost免费版可通过Helm在EKS上快速部署。如果需要更多功能，还需要使用商业版的Kubecost。本文介绍如何部署免费版的Kubecost。

Continue reading “使用Kubecost管理EKS成本”

测试EKS服务上Pod使用VPC CNI对网络吞吐性能的影响

EKS动手实验合集请参考这里。

一、背景

在EC2的网络优化机型上，例如c6in.8xlarge(32vCPU/64GB)，其网络带宽达到50Gbps。在没有容器环境下，使用iperf2测试，其带宽可以49.7Gbps的吞吐，相当于标称值的99.4%，考虑统计差异，这个速度可认为几乎没有损耗。测试过程和方法参考这篇博客。

那么当场景来到EKS上，Pod的所有流量都是通过Node节点上的VPC CNI进行转发，此时压力测试的其中一端是非容器化的EC2，另一端是Pod容器，会发生什么情况？

Continue reading “测试EKS服务上Pod使用VPC CNI对网络吞吐性能的影响”

截止2023年reInvent最新一代CPU处理器型号详情

请注意：7系列的EC2 AMD处理器机型的vCPU内核定义有变化，默认禁用超线程，因此m7a/c7a/r7a性能大幅提升，相应机型定价也高于6系列。官方解释参考本文末尾。

一、背景

2023年AWS新发布了7i/7a系列EC2实例，再加上此前发布的7g系列，机型选择非常丰富。这里把常用几种CPU类型汇总如下。

Continue reading “截止2023年reInvent最新一代CPU处理器型号详情”

MySQL 5.7→8.0升级相关FAQ

MySQL 5.7 社区在2023年10月31日End-of-lift结束生命周期。AWS RDS MySQL 5.7 不会自动强制升级到8.0，但是会在 2024年3月1日强制升级到5.7.44，然后自动启用Extend Support，产生额外费用。具体参考2023年12 月21日最新通知。

目录

Continue reading “MySQL 5.7→8.0升级相关FAQ”