大概5个小时Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
首先，Spark支持内存计算，这意味着它可以将数据存储在内存中进行处理，而不需要频繁地读写磁盘。相比之下，MapReduce主要依赖磁盘存储，其在处理数据时需要进行大量的磁盘I/O操作，这会导致显著的性能开销。
实时处理能力：通过Spark Streaming模块，Spark能够处理实时数据流，满足企业对实时数据分析和处理的需求。Spark的劣势： 对硬件要求较高：为了发挥Spark的最佳性能，需要高性能的硬件支持，如大内存、高速磁盘等。这在一定程度上增加了企业的硬件成本。
内存计算：Spark基于内存进行数据处理，而MapReduce则是基于磁盘的。Spark能够在内存中保留数据和计算结果，减少了磁盘I/O操作，从而显著提高了处理速度。这种内存计算的方式使得Spark在迭代计算和交互式查询等场景中表现尤为出色。
1、大数据处理软件有：Apache Hadoop、Apache Spark、大数据实时处理软件Storm等。 Apache Hadoop Apache Hadoop是一个分布式系统基础架构，主要用于处理和分析大数据。它能够利用集群的威力进行高速运算和存储，用户可以在不了解底层细节的情况下处理大规模数据集。
2、Hadoop Hadoop 是一个开源的软件框架，它能够高效、可靠且可扩展地在分布式系统上处理大量数据。它通过在多个节点上存储数据的多个副本来确保数据的可靠性，并在节点失败时重新分配任务。Hadoop 主要用 Java 编写，适合在 Linux 生产环境中运行，同时也可以支持其他语言，如 C++ 编写的应用程序。
3、大数据的软件有：Hadoop、Spark、大数据一体机软件等。Hadoop Hadoop是一个开源的分布式计算框架，专为大数据处理而设计。它允许在大量廉价计算机上分布式存储和处理数据，其核心组件包括分布式文件系统HDFS、MapReduce编程模型和YARN资源管理框架。
4、常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、 Jaspersoft BI 套件。Apache Hive Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL，对数据进行结构化处理，并对Hadoop上大数据文件进行查询和处理等。
5、SAS：SAS是一种高级统计分析系统，主要用于数据管理、高级分析、多变量分析等。它拥有强大的数据处理功能，适用于大型数据集的处理和分析。除了上述软件，还有如Hadoop、Spark等大数据处理工具，以及专门用于特定领域的数据处理软件，如生物信息学中的基因数据处理软件等。
获取Hive表的元数据信息：通过Spark SQL执行辅助命令，可以获取Hive表的元属性信息，包括统计信息、文件存储位置、文件大小、行数统计、表的owner、表类型、序列化与反序列化器等。这些信息可以直接用于后续操作，无需额外的数据格式处理。
在处理元数据信息时，可通过Spark-Sql执行辅助命令如show或describe操作，以获取所需元属性信息，数据格式处理已完成。这些元属性包括统计信息、数据文件存储位置、文件大小、行数统计、表的owner、类型（managed或external）、序列化与反序列化器以及判断是否为分区表和获取partition name等。
NameNode的内存数据将会存放到硬盘中，如果HDFS发生重启，将产生较长时间的元数据从硬盘读到内存的过程。不论在Hive还是在Spark中，每一个存储块都对应一个Map程序，一个Map呈现就需要一个JVM，启动一个JVM去读取或者写小文件是吃力不讨好的行为。
用beeline的方式。可以执行成功有beeline的方式，即hive原生hivesql能按条件删除；而使用spark-sql，或spark-beeline等方式执行会报错。
