浅墨散人 浅墨散人
  • 基础
  • 设计模式
  • JVM
  • Maven
  • SpringBoot
  • 基础
  • Flask
  • Diango
  • Pandas
  • SqlAlchemy
  • Sqoop
  • Flume
  • Flink
  • Hadoop
  • Hbase
  • Hive
  • Kafka
  • Kylin
  • Zookeeper
  • Tez
  • MySQL
  • Doris
  • Chrome
  • Eclipse
  • IDEA
  • iTerm2
  • Markdown
  • SublimeText
  • VirtualBox
  • WebStrom
  • Linux
  • Mac
  • Hexo
  • Git
  • Vue
  • VuePress
  • 区块链
  • 金融
数据仓库
数据治理
读书笔记
关于我
GitHub (opens new window)
  • 基础
  • 设计模式
  • JVM
  • Maven
  • SpringBoot
  • 基础
  • Flask
  • Diango
  • Pandas
  • SqlAlchemy
  • Sqoop
  • Flume
  • Flink
  • Hadoop
  • Hbase
  • Hive
  • Kafka
  • Kylin
  • Zookeeper
  • Tez
  • MySQL
  • Doris
  • Chrome
  • Eclipse
  • IDEA
  • iTerm2
  • Markdown
  • SublimeText
  • VirtualBox
  • WebStrom
  • Linux
  • Mac
  • Hexo
  • Git
  • Vue
  • VuePress
  • 区块链
  • 金融
数据仓库
数据治理
读书笔记
关于我
GitHub (opens new window)
  • Hadoop

    • Hadoop
    • Hadoop介绍
    • Hadoop的hdfs
    • Hadoop本地安装
      • 安装JDK
        • 卸载已经安装的JDK
        • 安装sun公司的JDK
      • 安装Hadoop(本地方式)
        • 解压并安装
        • 启动测试程序
    • Hadoop1.1.2伪分布式安装笔记
  • BigData
  • Hadoop
2019-01-15
目录

Hadoop本地安装

# 安装JDK

# 卸载已经安装的JDK

rpm -qa|grep jdk
rpm -qa|grep gcj
yum -y remove java java-1.4.2.......115
1
2
3

# 安装sun公司的JDK

  1. 解压jdk-6u24-linux-i586.bin文件到/opt/modules/下。解压完成后会出现一个jdk1.6.0_24的文件夹
./jdk-6u24-linux-i586.bin
1
  1. 配置环境变量:vi /etc/profile 在最后一行增加如下内容
# JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.6.0_24
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
1
2
3
4

# 安装Hadoop(本地方式)

# 解压并安装

  1. 解压hadoop-1.1.2.tar.gz到/opt/modules/下。解压完成后会出现一个hadoop-1.1.2的文件夹
tar -zxvf hadoop-1.1.2.tar.gz
1
  1. 配置环境变量:vi /etc/profile 在最后一行增加如下内容
# HADOOP_HOME
export HADOOP_HOME=/opt/modules/hadoop-1.1.2
export PATH=$PATH:$HADOOP_HOME/bin
1
2
3

# 启动测试程序

拷贝hadoop_home/conf/*.xml文件到/opt/data/input目录下

cp /opt/modules/hadoop-1.1.2/conf/*.xml /opt/data/input/
1

运行如下代码 必须存在:/opt/data/input 必须不存在:/opt/data/output/

hadoop jar hadoop-examples-1.1.2.jar grep /opt/data/input /opt/data/output/ 'dfs[a-z.]+'
1

查看/opt/data/output/目录下内容 会出现两个文件part-00000和_SUCCESS 其中_SUCCESS是空的,而part-00000文件中只有如下一行内容

1       dfsadmin
1
#Hadoop
最后更新时间: 2022/7/23 10:17:11
Hadoop的hdfs
Hadoop1.1.2伪分布式安装笔记

← Hadoop的hdfs Hadoop1.1.2伪分布式安装笔记→

最近更新
01
分区分桶
08-21
02
数据模型(重要)
08-21
03
安装和编译
08-21
更多文章>
Theme by Vdoing
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式