Windows下搭建hadoop-spark开发环境

hadoop + spark 集群环境一般搭建在Linux环境下,考虑到开发的便利性,于是在windows下搭建hadoop和spark的单机模式。我的环境:hadoop3.0.0 + spark-2.4.1-bin-hadoop2.7 如果不会编译hadoop 那么环境时,选择hadoop请参看 别人编译的hadoop-winutils安装 jdk下载 jdk 到本地并解压,配置环境变量 JAV

- 阅读全文 -

Hadoop 配置

常用配置参数待整理,待扩展配置 NameNode 时,为了使其能进行垃圾回收,需要在 hadoop-env.sh 中加入: export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}" HADOOP_LOG_DIR - 守护进程日志文件的存放目录HADOOP_HEAPSIZE - 最大可用堆

- 阅读全文 -

spark 安装

准备java sdkscalaspark 安装包开始安装安装 java 并配置 JAVA_HOME安装 scala 并配置 SCALA_HOME解压 spark 并配置# 进入 ${SPARK_HOME}/conf/ 并打开 spark-env.sh export JAVA_HOME=/opt/jdk export SCALA_HOME=/home/uplooking/app/scala expo

- 阅读全文 -

hadoop 安装

准备系统:linux/ubuntujava jdk 1.5 +sshrsynchadoop 稳定发行版开始安装安装 java 配置 JAVA_HOME手动下载 java 安装包, tar 命令解压,配置好 JAVA_HOME安装 ssh 和 rsyncsudo apt-get install ssh rsync解压 hadoopssh 无密码访问ssh localhost

- 阅读全文 -