Spark Chapter 2:Operation Modes in Spark(Spark 的运行模式)
一、Introduction of Spark Running Mode(Spark 运行模式介绍) Spark 可以在多种模式下运行,可以在单机上以本地模式或伪分布式模式运行。当在集群中以分布式模式运行时,底层的资源调度可以使用 Mesos、YARN,或者 Spark 自带的 Standalone
Hive Chapter 1:Introduction to Hive(Hive 简介)
一、Hive Introduction(Spark 简介) Apache Hive 是一个开源的数据仓库软件,用于读取、写入和管理存储在 Apache Hadoop 分布式文件系统(HDFS)或其他数据存储系统(如 Apache HBase)中的大型数据集文件。Hive 允许 SQL 开发人员编写类
Spark Chapter 1:Introduction to Spark(Spark 简介)
一、Spark Introduction(Spark 简介) 设想一个场景:每个人都用过 QQ,它会不定期地给你推荐一些你可能认识的人。那么,这些数据是从哪里来的呢?实际上,它是通过分析每个人的好友列表数据得出的。一个人的好友列表数据量非常庞大,光是存储就是一个问题,更不用说数据处理了。这时,我们就
NoSQL Chapter 3:Working with MongoDB index, geospatial data and time series(MongoDB 索引、地理空间与时序数据处理)
LocalBites 是一家初创公司,他的目标是提供关于附近餐厅的实时信息、优化配送路线,并生成有关用户偏好和餐厅人气的有价值分析。关键内容包括索引的实现、地理空间索引以及聚合管道的使用。 LocalBites 所处的是一个竞争激烈的市场,在这里,快速的响应时间和准确的基于位置的数据对于用户满意度至
NoSQL Chapter 2:Working with MongoDB(使用 MongoDB)
一、Need for Schemas(模式需求) **模式(Schema)**在数据库管理系统中起着至关重要的作用,它为数据的组织和存储提供了蓝图。 虽然 MongoDB 是一个无模式(schema-less)的 NoSQL 数据库,但合理使用模式(Schema)可以显著提升数据库的结构性、一致性和
NoSQL Chapter 1:Introduction to NoSQL(NoSQL 简介)
一、Introduction to NoSQL(NoSQL 简介) 数据库是一个用于存储数据的平台,其设计目标是确保数据的安全性、可靠性和易于访问性。通常,数据库分为两种类型:关系型数据库和非关系型数据库。非关系型数据库通常被称为 NoSQL 数据库。 NoSQL数据库用于存储大量复杂且多样化的数据
Hadoop Chapter 5:Deep Insight of MapReduce(深入解析 MapReduce)
一、Introduction of MapReduce(MapReduce 简介) MapReduce 是 Hadoop 的处理层。MapReduce 编程模型旨在通过将工作划分为一组独立的任务,来并行处理海量数据。你只需将业务逻辑融入 MapReduce 的工作方式中,其余的部分将由框架自动处理。
Hadoop Chapter 4:HDFS Distributed File System(HDFS 分布式文件系统)
一、Introduction of Hadoop Shell Commands(Hadoop Shell 命令简介) Hadoop 分布式文件系统(HDFS)是一种分布式文件系统,基于“一次写入,多次读取”的理念,具有高容错性和高吞吐量。DataNode 负责处理来自文件系统客户端的读写请求。 HD