前言
Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。
这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目的。
本文分为五个部分、十三节、四十九步。
2024年09月09日
前言
Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。
这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目的。
本文分为五个部分、十三节、四十九步。
2024年09月09日
作者:2551529836
jps(Java Virtual Machine Process Status Tool)是JDK提供的一个显示当前所有Java进程pid的命令,简单实用,非常适合在Linux/unix平台上简单察看当前java进程的一些简单情况。
安装完jdk后,需要进行一下配置,即设置环境变量
1.编辑/etc/profile文件
vim /etc/profile
(注:在文件末尾插入下列内容)
2024年09月09日
Linux安装jdk1.8和配置环境变量
每次感觉配这个都很简单,但每次都要查一下,毕竟配错一点 后面都比较麻烦,记录一下,方便以后查看。
linux 下安装jdk和windows下的安装是一样的,之前在windows安装的时候是先下载压缩包,然后再配置环境变量。其实在linux下也是一样的。
第一步:创建jdk安装目录(该/usr/local/src 目录是空的,最好把我们自己下载的放到这,容易区分)
命令:mkdir -p /usr/local/src/jdk
2024年09月09日
1) 下载jdk7 下载完之后用Xshell工具的New File Transfer传输到服务器上。然后用Xshell远程连接服务器
2) 下载的不同的jdk后缀名解压方式不同,这里讲的是 .rpm 通过命令 rpm –ivh jdk-7u80-linux-x64.rpm 进行解压
扩展:
(01)安装一个包:# rpm -ivh
(02) 升级一个包:# rpm -Uvh
2024年09月09日
在Linux系统中,环境变量是用于定义系统和用户级设置的一种方法,它可以影响程序的行为和系统的运行方式。了解如何设置和查看环境变量对于Linux用户来说是非常重要的技能。
2024年09月09日
?linux基础操作:主要介绍了linux环境变量的设置和添加方法。
通常为了方便我们会将一些程序路径添加到环境变量中可以在任何目录访问和脚本文件中执行。
可以直接使用vim编辑环境变量文件:/etc/profile 实现类似windows下的环境变量效果。其中的JAVA_HOME、TOMCAT_HOME、HTTPD_HOME、PATH都是自己新建立的变量名字可以随意修改,PATH后面的$PATH表示的是将自己建立的变量里所指向的目录地址追加到系统的$PATH里面去。
2024年09月09日
背景
最近在通过shell脚本在Linux系统安装Java或Python的过程中,遇到了shell脚本中的“source /etc/profile”无法生效的问题,虽然也可以在执行完脚本后再次执行
2024年09月09日
最近有人提出能不能发一些大数据相关的知识,No problem ! 今天先从安装环境说起,搭建起自己的学习环境。
Hadoop的三种搭建方式以及使用环境:
这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,两个数据节点。
先决条件
2024年09月09日
遇到的问题及解决方法
1. 虚拟机 root用户默认密码修改: sudo passed 回车修改密码
2024年09月09日
1.下载Linux环境下的jdk1.8,请去(官网)中下载jdk的安装文件
点击以后,登录oracle系统,输入用户名密码登录成功后,即可下载。
2.将下载好的文件导入到 /home/app 目录下
3.解压 tar -zxvf jdk-8u271-linux-x64.tar.gz