大数据Hadoop2.x与Hadoop3.x相比较有哪些变化
1、改进架构和功能：Hadoop x带来了许多高级功能和改进，如容器化、GPU加速、高可用性、数据传输优化等，这些改进使得Hadoop更加适合处理现代大规模数据应用。
2、在Hadoopx时代，Hadoop中的MapReduce同时处理业务逻辑运算和***的调度，耦合性较大。在Hadoopx时代，增加了Yarn。Yarn只负责***的调度，MapReduce只负责运算。Hadoopx在组成上没有变化。
3、Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。
4、至于0.23和0.x系列的不同，那就是相比于0.2x，x增加了NameNode HA和Wire-compatibility两个重大特性。
hadoop三大核心组件
1、Hadoop的三大核心组件分别是：HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。YARN（Yet Another Resource Negotiator，另一种***协调者）：Hadoop 的***管理器。
2、Hadoop的核心组件包括HDFS（分布式文件系统）、MapReduce（分布式运算编程框架）和YARN（分布式***调度系统）。其中，HDFS用于存储文件，MapReduce用于分布式并行运算，而YARN则负责调度大量的MapReduce程序，并合理分配运算***。
3、核心组件：这些组件是 Hadoop 生态系统中最基本的组件，提供了分布式文件系统、分布式存储、分布式计算等功能。它们包括：Hadoop 文件系统（HDFS）：用于存储海量数据，提供高可靠性和高容错性。
4、Hadoop的三大核心组件是HDFS（Hadoop Distributed File System）、MapReduce和YARN（Yet Another Resource Negotiator）。虽然Hadoop主要用于分布式数据处理，但这些组件也提供了文件的查找和访问功能。
5、hadoop三大组件是指Hadoop分布式文件系统、MapReduce和Yet Another Resource Negotiator。HDFS：Hadoop分布式文件系统是Hadoop的分布式文件系统，它是将大规模数据分散存储在多个节点上的基础。
hdfs大规模存储原理,高可靠性工作原理?
hdfs框架的工作原理是基于分布式文件系统的架构，通过将文件拆分成多个数据块，并将这些数据块存储在不同的数据节点上来实现数据的可靠存储和处理。具体来说，hdfs框架包括一个名称节点（NameNode）和多个数据节点（DataNode）。
为了保证数据的一致性，HDFS***用了数据校验和(checkSum)机制。创建文件时，HDFS会为这个文件生成一个校验和，校验和文件和文件本身保存在同一空间中。
HDFS的文件读取原理，主要包括以下几个步骤：HDFS的文件写入原理，主要包括以下几个步骤：namenode如何选择在哪个datanode 存储副本（replication）？这里需要对可靠性、写入带宽和读取带宽进行权衡。
什么是大数据存储?
分布式存储 传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时***用了HDFS文件系统的大规模横向扩展功能。
大数据存储方式有分布式存储、存储虚拟化等。分布式存储是一种高度容错性、高吞吐量、支持批处理的数据存储方式，适用于大规模数据分析问题。
Hadoop是一个开源分布式计算平台，它提供了一种建立平台的方法，这个平台由标准化硬件(服务器和内部服务器存储)组成，并形成集群能够并行处理大数据请求。
大数据可以抽象地分为大数据存储和大数据分析，这两者的关系是：大数据存储的目的是支撑大数据分析。大数据三个层面 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。
在大数据平台hadoop可以做哪些应用
1、hadoop需要处理大数据的实时分析，包括实时数据挖掘、实时机器学习等。hadoop需要处理大数据的在线分析，包括在线数据挖掘、在线机器学习等。hadoop需要处理大数据的索引和搜索，包括文本、图像、***等。
2、HDFS（Hadoop Distributed File System）：既可以是Hadoop 集群的一部分，也可以是一个独立的分布式文件系统，是开源免费的大数据处理文件存储系统。
3、Map(映射)任务处理：读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。map函数接收前面产生的，进行处理，转换为新的输出。对转换后的进行分区。对不同分区中的数据按key进行排序、分组。
