Hadoop Chapter 4:HDFS Distributed File System(HDFS 分布式文件系统)
一、Introduction of Hadoop Shell Commands(Hadoop Shell 命令简介) Hadoop 分布式文件系统(HDFS)是一种分布式文件系统,基于“一次写入,多次读取”的理念,具有高容错性和高吞吐量。DataNode 负责处理来自文件系统客户端的读写请求。 HD
Hadoop Chapter 3:Hadoop Composition and Structure(Hadoop 的组成与结构)
一、Hadoop Architecture and Components(Hadoop 架构和组件) Hadoop 采用主从拓扑结构。在这种拓扑结构中,我们有一个主节点(Master Node)和多个从节点(Slave Nodes)。主节点的功能是向各个从节点分配任务并管理资源,而从节点执行实际的计
Hadoop Chapter 2:Hadoop and Big Data Architecture(Hadoop 与大数据架构)
一、Overview of Hadoop Operating Modes(Hadoop 运行模式概述) Hadoop 的四种主要运行模式: 本地运行模式(Local Runtime Mode) 伪分布式运行模式(Pseudo-Distributed Operating Mode) 完全分布式运行模式
Hadoop Chapter 1:Big Data Concept(大数据概念)
本章介绍了大数据的概念、类型、特征及其处理优势,并系统梳理了 Hadoop 生态系统工具和发展历程。大数据指的是体量巨大、类型多样、增长迅速且无法用传统工具高效处理的数据集合,常见类型包括结构化、非结构化和半结构化数据,具有体量大(Volume)、多样性(Variety)、速度快(Velocity)和真实性(Veracity)等特征。通过处理大数据,企业可提升决策效率、优化客户服务、降低风险并增强运营能力。Hadoop 是为大数据而生的开源框架,由 HDFS 和 YARN 组成,具备高可靠性、扩展性与容错性。本章还介绍了 Hadoop 的常用生态工具,如 HBase、Hive、Zookeeper、Sqoop、Storm 等,以及其自 2002 年以来的发展历史和主要发行版。最后通过性能、可扩展性和可靠性三方面介绍了评估 Hadoop 发行版的核心标准。
Hbase 学习笔记
一、Hbase 安装 有时间再写吧......😫 二、Hbase Shell HBase 提供一个 shell,您可以使用 shell 与 HBase 通信。 1、启动 HBase Shell cd [/opt/hbase-2.4.17/bin/] :进入 Hbase 主文件夹下的 bin 目录(
Linux-红帽认证 RHCSA-16-运行容器
文章详细介绍了容器技术的基本概念及其在Red Hat Enterprise Linux 9中的管理工具(如podman、skopeo和buildah),并对比了容器与虚拟机的区别,强调容器通过共享主机操作系统内核实现更高效的资源利用。文章还展示了如何使用podman命令管理容器,包括搜索、拉取镜像(podman pull)、运行容器(podman run)、查看运行状态(podman ps)、进入容器(podman exec)以及删除容器(podman rm)。此外,文章介绍了如何为容器配置持久存储(-v选项)和端口映射(-p选项),并通过systemd将容器配置为系统服务,实现开机自启和用户级服务管理(systemctl --user)。
NoSQL 学习笔记
Chapter 1:Introduction to NoSQL 一、Introduction to NoSQL(NoSQL 简介) 数据库是一个用于存储数据的平台,其设计目标是确保数据的安全性、可靠性和易于访问性。通常,数据库分为两种类型:关系型数据库和非关系型数据库。非关系型数据库通常被称为 No
Linux-红帽认证 RHCSA-15-管理存储堆栈
文章介绍了逻辑卷管理器(LVM)的基本概念和工作流程,包括物理设备、物理卷(PV)、卷组(VG)和逻辑卷(LV)的创建与管理。LVM通过将物理设备初始化为物理卷(pvcreate),再将物理卷组合成卷组(vgcreate),最后从卷组中创建逻辑卷(lvcreate),提供了灵活的存储管理方式。文章还详细展示了如何使用命令如pvdisplay、vgdisplay和lvdisplay查看物理卷、卷组和逻辑卷的状态,以及如何删除逻辑卷(lvremove)。逻辑卷的挂载步骤与普通卷一致,需先格式化文件系统后再挂载使用。
Linux-红帽认证 RHCSA-14-基本存储存储设备管理
文章详细介绍了Linux中的分区方案(MBR和GPT)、创建分区、文件系统管理以及交换空间的管理。MBR分区方案适用于BIOS系统,支持最多四个主分区或三个主分区加一个扩展分区,而GPT分区方案适用于UEFI系统,支持更多分区和更大的磁盘容量。文章还介绍了如何使用命令如lsblk查看块设备状态,parted创建和管理分区(如mklabel、mkpart、rm等),以及如何格式化文件系统(mkfs.xfs)和挂载分区(mount)。此外,还讲解了交换空间的概念及其创建和管理方法,包括使用mkswap格式化交换分区和通过swapon启用交换空间。
Linux-红帽认证 RHCSA-13-重置 root 密码
这篇文章讲解了如何在红帽系统中重置丢失的 root 密码。首先,通过重启系统进入救援模式,找到带有 rescue 选项的内核。然后按 e 编辑启动选项,修改启动项中的 `ro` 为 `rw rd.break`,并按 Ctrl + X 启动系统。在维护模式下,使用 chroot /sysroot 将根目录更改为 /sysroot,接着用 passwd root 修改 root 密码。为了确保 SELinux 正常工作,创建 .autorelabel 文件,强制系统在重启时重新标记文件安全上下文。最后,输入 exit 两次退出终端,重启系统后通过测试登录验证是否成功修改密码。