并避免 SQA 的缺点

barikulislam015 · 发表于 2023-11-26 12:37:25

通过为工作负载提供足够的资源（例如并发和内存）来扩展工作负载将可预测的工作负载（即批处理操作）与不可预测的工作负载（即来自报告工具的临时查询）隔离并保护起来您最多可以有 8 个队列，总共最多 50 个槽位。默认情况下，查询将在单个槽中运行。可以使用某些规则将查询路由到队列中。以正确的方式设置 WLM 将消除队列等待时间和基于磁盘的查询。要为您的工作负载设置 WLM，我们建议遵循四步流程：单独的用户定义工作负载将用户分组到工作负载中选择每个队列的槽数和内存百分比我们的设置 Redshift WLM 以提高性能的指南将引导您完成我们的四步流程，以消除队列等待时间并减少基于磁盘的查询。

两者都会降低集群速度，因此让我们仔细研究一下这种 Redshift 性能调整技术。通过将队列槽计数与峰值并发相匹配来消除队列等待时间如果您使用过 Redshift 一段时间，您可能会遇到过这样的情况：过去运行 电子邮件营销列表 两秒的查询开始运行速度变慢。最常见的原因是排队。该查询正在队列中等待，因为集群中的槽数对于正在执行的并发查询数而言太少。默认配置允许您在一个队列中运行五个并发查询。这意味着如果正在执行五个查询，第六个查询将排队直到有可用槽。目标是确保查询不会在队列中等待。这可以通过将队列的槽计数与该队列中运行的查询的实际并发性相匹配来完成。您可以通过以下方式消除排队等待时间：增加队列的槽数通过在一天中更均匀地分配查询来减少并发性。

这种方法还有另一个好处 – 您可以以正确的方式使用 Amazon Redshift短查询加速 (“SQA”)，。激活 SQA 会消耗集群内的内存 - 这使我们进行基于磁盘的查询。通过为队列分配足够的内存来减少基于磁盘的查询增加插槽数量以消除排队可能会产生不利的副作用：基于磁盘的查询。“基于磁盘”意味着查询耗尽 RAM，并开始使用硬盘驱动器。查询基于磁盘，因为查询内存超出了该队列中的“每槽内存”。每个插槽的内存计算如下：分配给该队列的内存/槽数由于每个队列都分配有固定百分比的集群内存（您在配置 WLM 队列时设置的值），因此添加更多插槽将减少每个插槽的内存。

Gregorymus · 发表于 2024-10-19 08:29:28

		自动登录	找回密码
密码			立即注册