构建与试用大数据平台

在现代信息技术中，大数据平台成为了不可或缺的一部分。本文将指导你如何搭建并试用一个大数据平台，重点介绍Hadoop和Spark的使用。

### 环境准备

首先，确保你的系统已经安装了Java环境，因为Hadoop和Spark都是基于Java开发的。你可以通过以下命令检查是否已安装Java：

        java -version
        

### 安装Hadoop

接下来，我们需要安装Hadoop。以下是安装步骤：

        # 下载Hadoop
        wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
        # 解压文件
        tar -zxvf hadoop-3.3.1.tar.gz
        # 设置环境变量
        export HADOOP_HOME=~/hadoop-3.3.1
        export PATH=$PATH:$HADOOP_HOME/bin
        

### 配置Hadoop

编辑`$HADOOP_HOME/etc/hadoop/hadoop-env.sh`文件，设置JAVA_HOME：

        export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
        

### 启动Hadoop集群

使用以下命令启动Hadoop集群：

        start-dfs.sh
        start-yarn.sh
        

### 安装Spark

接着，我们安装Apache Spark。同样地，首先下载Spark：

        wget https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz
        tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz
        export SPARK_HOME=~/spark-3.1.1-bin-hadoop3.2
        export PATH=$PATH:$SPARK_HOME/bin
        

### 测试Spark

最后，我们可以通过简单的Python脚本测试Spark是否正确安装：

        from pyspark import SparkContext

        sc = SparkContext("local", "Simple App")
        data = [1, 2, 3, 4, 5]
        distData = sc.parallelize(data)
        print(distData.collect())
        

运行上述Python脚本，如果能够正确显示数据列表，则说明Spark安装成功。