Storm框架 Storm开源的分布式实时计算系统

Storm是一个开源的分布式实时计算系统,由Twitter开发。Storm是一个可扩展、容错、易于使用、可用于处理实时数据流的强大工具。Storm可以用于各种应用,包括:

  • 实时分析:Storm可以用于实时分析来自各种来源的数据流,例如网站日志、社交媒体数据和传感器数据。
  • 事件处理:Storm可以用于处理实时事件,例如用户点击、订单创建和支付处理。
  • 流式计算:Storm可以用于流式计算,例如对数据流进行聚合、转换和过滤。
大数据实时计算框架
Storm框架举例 自来水厂处理自来水 图片来源: 爱寂寞撒的谎言

Storm是一个非常强大的工具,可以用于各种应用。它是开源的,易于使用,可扩展和容错。如果你需要处理大量实时数据,Storm是一个很好的选择。

在IT领域,Storm是指Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。它被用于解决越来越多的场景对Hadoop的MapReduce高延迟无法容忍的问题,例如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等。Storm为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架,让开发更加便利和高效。

Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。 Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm用于实时处理,就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。更棒的是你可以使用任意编程语言来做开发。

Storm框架 Storm开源的分布式实时计算系统