我什么时候使用SNS和SQS,为什么它们总是耦合在一起?
当前回答
简单来说,
SNS -发送消息给订阅者使用推送机制,而不需要拉。 SQS——它是分布式应用程序使用的消息队列服务,用于通过轮询模型交换消息,并可用于分离发送和接收组件。
一种常见的模式是使用SNS将消息发布到Amazon SQS队列,以便可靠地将消息异步发送到一个或多个系统组件。
参考亚马逊SNS常见问题解答。
其他回答
来自AWS文档:
Amazon SNS允许应用程序发送时间紧迫的消息到 多个订阅者通过“推送”机制,消除了需求 定期检查或“轮询”更新。 Amazon SQS是分布式应用程序使用的消息队列服务 通过轮询模型交换消息,并可用于 分离发送和接收组件——不需要每个组件 组件要同时可用。
扇出到Amazon SQS队列
以下是AWS上主要消息传递技术(SQS, SNS, +EventBridge)之间的主要区别。为了选择特定的AWS服务,我们应该了解该服务提供的功能以及与其他服务的比较。
下图总结了该服务之间的主要相似点和不同点。
简单来说,
SNS -发送消息给订阅者使用推送机制,而不需要拉。 SQS——它是分布式应用程序使用的消息队列服务,用于通过轮询模型交换消息,并可用于分离发送和接收组件。
一种常见的模式是使用SNS将消息发布到Amazon SQS队列,以便可靠地将消息异步发送到一个或多个系统组件。
参考亚马逊SNS常见问题解答。
SNS和SQS之间有一些关键的区别:
SNS supports A2A and A2P communication, while SQS supports only A2A communication. SNS is a pub/sub system, while SQS is a queuing system. You'd typically use SNS to send the same message to multiple consumers via topics. In comparison, in most scenarios, each message in an SQS queue is processed by only one consumer. With SQS, messages are delivered through a long polling (pull) mechanism, while SNS uses a push mechanism to immediately deliver messages to subscribed endpoints. SNS is typically used for applications that need real time notifications, while SQS is more suited for message processing use cases. SNS does not persist messages - it delivers them to subscribers that are present, and then deletes them. In comparison, SQS can persist messages (from 1 minute to 14 days).
单独地,Amazon SQS和SNS用于不同的用例。但是,您可以在某些场景中将它们一起使用。
SQS和SNS耦合的一个原因是数据处理管道。
假设你正在生成三种产品,产品B和C都是从相同的中间产品a衍生而来的。对于每种产品(即管道的每个部分),你设置:
用于生成产品的计算资源(可能是lambda函数,或虚拟机集群,或自动伸缩kubernetes作业)。 用于跨计算资源对工作进行分区的队列(描述需要执行的工作单元)(以便每个工作单元只处理一次,但是可以以并行和彼此异步的方式分别处理单独的工作单元)。 新闻提要(宣布已生成的输出)。
然后进行排列,使B和C的输入队列都订阅A的输出通知。
这使得管道在基础设施级别上是模块化的。不同的管道阶段可以使用不同的硬件资源(例如,阶段B可能内存非常密集,但其他两个阶段可以使用更便宜的硬件/服务来执行),而不是拥有一个单独的服务器应用程序来同时生成所有三个产品。这也使得迭代一个管道段的开发变得更容易,而不会中断其他产品的交付。
推荐文章
- 警告:未受保护的私钥文件!当尝试SSH到Amazon EC2实例时
- 使用boto3连接CloudFront时,如何选择AWS配置文件
- 在亚马逊云服务器上设置FTP
- 无法将图像推送到Amazon ECR -由于“没有基本的身份验证凭据”而失败
- 如何测试AWS命令行工具的凭据
- 将Keypair添加到现有的EC2实例中
- AWS S3:您试图访问的桶必须使用指定的端点寻址
- 你会因为EC2上的“停止”实例而被收费吗?
- 下载一个已经上传的Lambda函数
- S3 - Access-Control-Allow-Origin头
- 何时使用Amazon Cloudfront或S3
- 如何处理错误与boto3?
- 什么数据存储在亚马逊EC2实例的临时存储?
- boto3 client NoRegionError:只能在某些时候指定区域错误
- AWS ssh访问“权限被拒绝(publickey)”问题