最近有人提出能不能发一些大数据相关的知识,No problem ! 今天先从安装环境说起,搭建起自己的学习环境。
Hadoop的三种搭建方式以及使用环境:
- 单机版适合开发调试;
- 伪分布式适合模拟集群学习;
- 完全分布式适用生产环境。
这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,两个数据节点。
先决条件
- 准备3台服务器
2024年09月09日
最近有人提出能不能发一些大数据相关的知识,No problem ! 今天先从安装环境说起,搭建起自己的学习环境。
Hadoop的三种搭建方式以及使用环境:
这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,两个数据节点。
先决条件
2024年09月09日
遇到的问题及解决方法
1. 虚拟机 root用户默认密码修改: sudo passed 回车修改密码
2024年09月09日
1.下载Linux环境下的jdk1.8,请去(官网)中下载jdk的安装文件
点击以后,登录oracle系统,输入用户名密码登录成功后,即可下载。
2.将下载好的文件导入到 /home/app 目录下
3.解压 tar -zxvf jdk-8u271-linux-x64.tar.gz
2024年09月09日
迎关注我的头条号:Wooola,10年Java软件开发及架构设计经验,专注于Java、Go语言、微服务架构,致力于每天分享原创文章、快乐编码和开源技术。
本文采用gz包格式安装,从Oracle官网地址,选择Linux 64位选项
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2024年09月09日
环境变量是指在系统中用来指定系统运行环境的一些参数,当我们安装了某些开发环境,如Java开发环境,需要配置环境变量。当我们升级了系统,发现有些程序打不开,也有可能需要重新配置环境变量。
在不同的系统中,环境变量是怎么配置的?下面,我们一起来看看。
一、windows系统配置环境变量
2024年09月09日
我用的是VM虚拟机,操作系统是RedHat7.9的系统进行JDK和Hadoop的安装实施,
本过程只是作测试和学习参考用。
1、添加hadoop新用户
useradd -m hadoop -s /bin/bash # 添加hadoop用户
passwd hadoop # 配置hadoop用户的密码
2024年09月09日
迎关注我的头条号:Wooola,10年Java软件开发及架构设计经验,专注于Java、Go语言、微服务架构,致力于每天分享原创文章、快乐编码和开源技术。
本文采用gz包格式安装,从Oracle官网地址,选择Linux 64位选项
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2024年09月09日
今天父亲节,忙着陪孩子,今天写点轻松简单点的内容。
经常使用Linux操作的童鞋,少不了配置一些常规的工具变量,这里罗列一下,仅供参考。
以下工具例子我都放置在$HOME/3rd
2024年09月09日
Java Development Kit (JDK) 11,是Java平台的一个主要升级版,属于长期支持(LTS)版本,由Oracle公司于2018年9月发布。作为一个LTS版本,JDK 11将会得到长期的支持和更新,这使得它适用于那些寻求稳定性和长期支持的企业和应用程序。JDK 11的发布标志着Java平台的一个重要里程碑,不仅因为它的新特性和改进,也因为它是在Java发布模型改变后的第一个LTS版本。在Windows操作系统上安装Java Development Kit (JDK) 11并配置环境变量是一个简单的过程。如遇到任何问题,可以检查的环境变量设置,或重新检查JDK安装过程中的每个步骤。
2024年09月09日
我们平时部署Flask/Django web项目的时候,都会把一些敏感信息放到系统的环境变量中,以免代码流出的时候泄露敏感信息,在使用命令启动项目的时候是可以正常通过`os.getenv("key")`来获取环境变量中的值,但是使用supervisor启动的时候默认是获取不到环境变量的,所以需要在supersior的配置文件中配置environment这个参数。