|
Apache Beam
Apache Beam是一个开源统一编程模型，用于定义和执行数据处理管道，包括ETL、批处理和流（连续）处理。[2] Beam流水线是使用提供的SDK之一定义的，并在Beam支持的一个运行器（分布式处理后端）中执行，包括Apache Apex、Apache Flink、Apache Gearpump（孵化中）、Apache Samza、Apache Spark和Google Cloud Dataflow。[3] 它被称为“大数据的超级API”。[4] 历史Apache Beam[3]是数据流模型文件的一种实现。[5]数据流模型基于以前关于Google的分布式处理抽象的工作，特别是FlumeJava[6]和Millwheel。[7][8] Google于2014年发布了数据流模型的开放式SDK，以及在本地（非分布式）和Google云平台服务中执行数据流的环境。 2016年，Google向Apache软件基金会捐赠了核心SDK以及本地运行程序的实现，以及用于访问Google云平台数据服务的一组IO（数据连接器）。其他公司和社区成员为现有的分布式执行平台提供了运行器，以及新的将Beam Runners与现有数据库、键值存储和消息系统集成的IO。此外，还提出了新的DSL，以支持Beam模型之上的特定领域需求。 时间线
参见
参考文献
Information related to Apache Beam |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
.svg){kind=logo}
Index:
pl ar de en es fr it arz nl ja pt ceb sv uk vi war zh ru af ast az bg zh-min-nan bn be ca cs cy da et el eo eu fa gl ko hi hr id he ka la lv lt hu mk ms min no nn ce uz kk ro simple sk sl sr sh fi ta tt th tg azb tr ur zh-yue hy my ace als am an hyw ban bjn map-bms ba be-tarask bcl bpy bar bs br cv nv eml hif fo fy ga gd gu hak ha hsb io ig ilo ia ie os is jv kn ht ku ckb ky mrj lb lij li lmo mai mg ml zh-classical mr xmf mzn cdo mn nap new ne frr oc mhr or as pa pnb ps pms nds crh qu sa sah sco sq scn si sd szl su sw tl shn te bug vec vo wa wuu yi yo diq bat-smg zu lad kbd ang smn ab roa-rup frp arc gn av ay bh bi bo bxr cbk-zam co za dag ary se pdc dv dsb myv ext fur gv gag inh ki glk gan guw xal haw rw kbp pam csb kw km kv koi kg gom ks gcr lo lbe ltg lez nia ln jbo lg mt mi tw mwl mdf mnw nqo fj nah na nds-nl nrm nov om pi pag pap pfl pcd krc kaa ksh rm rue sm sat sc trv stq nso sn cu so srn kab roa-tara tet tpi to chr tum tk tyv udm ug vep fiu-vro vls wo xh zea ty ak bm ch ny ee ff got iu ik kl mad cr pih ami pwn pnt dz rmy rn sg st tn ss ti din chy ts kcg ve
