本文目录一览：
大数据架构选择消息队列,我选kafka。面试官问为什么?
1、所以 中小型公司 ，技术实力较为一般，技术挑战不是特别高，用 RabbitMQ 是不错的选择； 大型公司 ，基础架构研发实力较强，用 RocketMQ 是很好的选择。
2、对于Kafka而言，pull模式更合适，它可简化broker的设计，consumer可自主控制消费消息的速率，同时consumer可以自己控制消费方式——即可批量消费也可逐条消费，同时还能选择不同的提交方式从而实现不同的传输语义。
3、Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
求教现在处理大数据量的web开发,框架选择
大数据计算框架有：批处理计算框架、流式计算框架、图计算框架、分布式数据库计算框架、深度学习计算框架。批处理计算框架 适用于对大规模的离线数据进行处理和分析。
JAVA开发框架应该是不少，支持大数据应该也有，搜索一下大数据开发框架应该就有的，.net就相对少一些，据我知道Erpcore可以做到。
Django框架 优点：是一个高层次Python Web开发框架，特点是开发快速、代码较少、可扩展性强。Django***用MTV(Model、Template、View)模型组织***，框架功能丰富，模板扩展选择最多。
五种大数据处理架构
五种大数据处理架构大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。
基础架构 云存储、分布式文件存储等。数据处理 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。
Storm Storm是Twitter主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流。
批处理 批处理是大数据处理傍边的遍及需求，批处理主要操作大容量静态数据集，并在核算进程完成后返回成果。鉴于这样的处理模式，批处理有个明显的缺点，便是面对大规模的数据，在核算处理的功率上，不尽如人意。
其生态系统从0版的三层架构演变为现在的四层架构：底层——存储层 现在互联网数据量达到PB级，传统的存储方式已无法满足高效的IO性能和成本要求，Hadoop的分布式数据存储和管理技术解决了这一难题。
大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。
“大数据架构”用哪种框架更为合适?
1、批处理计算框架 适用于对大规模的离线数据进行处理和分析。典型的批处理计算框架包括Apache Hadoop MapReduce、Apache Spark等。流式计算框架 适用于实时或近实时处理连续的数据流。
2、Apache Flink Apache Flink是一个开源框架，同样适用于批处理和流数据处理。它最适合于集群环境。该框架基于转换–流概念。它也是大数据的4G。它比Hadoop – Map Reduce快100倍。
3、Samza 是由 Linked In 开源的一项技术，是一个分布式流处理框架，专用于实时数据的处理，非常像Twitter的流处理系统Storm。不同的是Sam？za 基于 Hadoop，而且使用了 Linked In 自家的 Kafka 分布式消息系统。