【腾讯云】腾讯云docker搭建单机hadoop
这里写目录标题 下载jdk hadoop修改hadoop配置编写Dockerfile构建镜像运行镜像创建客户端 下载jdk hadoop wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gzwget --no-check-certificate https...
【Hadoop】Hadoop 概述
Hadoop 概述 Hadoop 是什么Hadoop 发展历史Hadoop 三大发行版本Hadoop 优势（4 高）Hadoop 组成（面试重点）HDFS 架构概述YARN 架构概述MapReduce 架构概述HDFS、YARN、MapReduce 三者关系 大数据技术生态体系 Hadoop 是什么 Hadoop是什么？ 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，...
【大数据技术】Spark分布式实现词频统计（hadoop+python+spark）
Spark分布式实现词频统计（hadoop+python+spark） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 本机PyCharm远程连接CentOS虚拟机（Python） 搭建完全分布式高可用大数据集群（Scala+Spark） 在阅读本文前，请确保已经阅读过以上4篇文章，成功搭建了H...
【大数据技术】编写Python代码实现词频统计（python+hadoop+mapreduce+yarn）
编写Python代码实现词频统计（python+hadoop+mapreduce+yarn） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 本机PyCharm连接CentOS虚拟机 在阅读本文前，请确保已经阅读过以上三篇文章，成功搭建了Hadoop+MapReduce+Yarn+Python的...
【大数据技术】词频统计样例（hadoop+mapreduce+yarn）
词频统计（hadoop+mapreduce+yarn） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 在阅读本文前，请确保已经阅读过以上两篇文章，成功搭建了Hadoop+MapReduce+Yarn的大数据集群环境。 写在前面 WordCount示例是大数据计算里的”Hello World!”...
hadoop生态 apache-Flume-1.8.0 的安装和 使用
hadoop生态 怎么 安装 apache-Flume-1.8.0 Flume 1.8.0 是 Apache Flume 的一个版本，Flume 是一个分布式、可靠且可用的服务，用于高效地收集、聚合和传输大量日志数据到 Hadoop 存储。Flume 主要用于大数据生态系统中，尤其是与 Apache Hadoop 结合使用，来处理大规模的流数据。 主要常见的应用场景： 日志收集： Flume 常被用来收集应...
spark==centos安装hadoop集群，安装spark standalone集群，编写pyspark/java/scala代码使用集群
master地址 hadoop100:8080 历史服务器 hadoop100:18080 hdfs地址 http://hadoop100:9870/dfshealth.html#tab-overview 1 centos安装hadoop集群， 上传文件到hdfs 2 安装spark standalone集群，查看自带的pyspark使用的python版本，然后安装annaconda安装该版本的虚拟环境，安装...
[云] 大数据分析栈（Big Data Analytics Stack）+ Apache Hadoop分布式文件系统（HDFS）+Apache Spark
任务概述 本次作业旨在帮助你理解大数据分析栈（Big Data Analytics Stack）的工作原理，并通过实际操作加深认识。你将搭建Apache Hadoop分布式文件系统（HDFS）作为底层文件系统，并将Apache Spark作为执行引擎来运行应用程序。最终，你需要撰写一份简短报告，记录你的观察和收获。 作业分部分解与解析 Part 0: 环境设置 AWS Academy环境：作业要求在AWS A...
五、Hadoop 分布式文件系统（HDFS）的原理与架构专业解析
Hadoop 分布式文件系统（HDFS）的原理与架构专业解析 在当今大数据时代背景下，数据规模呈爆炸式增长态势，传统文件系统已然难以满足大规模数据存储及处理的迫切需求。Hadoop 分布式文件系统（HDFS）顺势而生，为海量数据提供了高度可靠、高效的存储解决方案。本文将对 HDFS 的原理与架构进行深入专业解析，并结合实际案例进行详尽讲解，以助力读者更深入地理解并有效应用这一强大的分布式文件系统。 一、HD...
计算机毕业设计Hadoop+大模型旅游推荐系统 旅游景点推荐 旅游可视化 旅游爬虫 景区客流量预测 旅游大数据 大数据毕业设计
开题报告 设计（论文）名称：Hadoop+大模型旅游推荐系统 设计（论文）类型：计算机科学与技术应用 指导教师：[指导教师姓名] 学院：计算机学院 专业：[具体专业名称] 姓名：[学生姓名] 学号：[学生学号] 班级：[具体班级] 一、选题依据 1. 项目研究的背景 随着人们物质生活水平的不断提升，精神享受成为更多人追求的目标，旅游行业因此迅速发展。根据国家旅游局统计的数据报告显示，每年国内旅游人数都在稳步...