数据团队不需要将这一沉重的负担放在开发人员身上，而需要一个真正逐事件的提取引擎——一个可以自动保证“恰好一次”一致性的引擎。由于流交付索引服务会为每个事件分配一个分区和偏移量，因此使用利用流服务的本机连接是关键，确保每条消息只进入数据库一次。
几乎每项活动都会生成数据事件。人类的每 约旦手机号码数据 次点击都会生成一个事件，而其他事件则是机器生成的，无需人类启动，这导致事件数量大幅增加，流通常每秒包含数百万个事件。除非可以轻松扩展，否则任何数据库都无法跟上这种数量。数据库不仅必须能够查询数十亿个事件，还必须能够以极快的速度提取它们。使用传统的数据库扩展方法不是一个可行的选择——我们现在需要扩展。
处理大量且可变的数据采集和查询的唯一行之有效的方法是采用可独立扩展的组件架构。为了满足技术需求，数据库的不同部分（采集容量、查询容量、管理容量）必须能够根据需要进行扩展和缩减。这些变化必须是动态的，在添加或删除容量时不会造成停机，并且重新平衡和其他管理功能会自动进行。
该架构还应自动从故障中恢复并允许滚动升级。借助这种专为流提取而构建的数据库，数据团队可以自信地管理环境中的任何和所有流数据 即使这意味着每天处理数十亿行。