【大数据技术】Kafka实时分析用户行为日志（python+zookeeper+kafka）
Kafka实时分析用户行为日志（python+zookeeper+kafka） 搭建完全分布式高可用大数据集群（ZooKeeper） 搭建完全分布式高可用大数据集群（Kafka） 本机PyCharm远程连接虚拟机Python 在阅读本文前，请确保已经阅读过以上3篇文章，成功搭建了ZooKeeper+Kafka+Python的大数据集群环境。 写在前面 本文主要介绍基于ZooKeeper+Kafka技术...
Win10环境借助DockerDesktop部署大数据时序数据库Apache Druid
Win10环境借助DockerDesktop部署最新版大数据时序数据库Apache Druid32.0.0 前言 大数据分析中，有一种常见的场景，那就是时序数据，简言之，数据一旦产生绝对不会修改，随着时间流逝，每个时间点都会有个新的状态值。这种时序数据的量级往往异常夸张，例如传感器的原始监控数据： https://lizhiyong.blog.csdn.net/article/details/1148...
大数据相关职位介绍之三（数据挖掘，数据安全 ，数据合规师，首席数据官，数据科学家 ）
大数据相关职位介绍之三（数据挖掘，数据安全 ，数据合规师，首席数据官，数据科学家 ） 文章目录 大数据相关职位介绍之三（数据挖掘，数据安全 ，数据合规师，首席数据官，数据科学家 ）1. 数据挖掘工程师（Data Mining Engineer）2. 数据安全工程师（Data Security Engineer）3. 数据合规师（Data Compliance Officer）4. 首席数据官（CDO ...
【大数据技术】本机PyCharm远程连接虚拟机Python
本机PyCharm远程连接虚拟机Python 注意：本文需要使用PyCharm专业版。 pycharm-professional-2024.1.4 VMware Workstation Pro 16 CentOS-Stream-10-latest-x86_64-dvd1.iso 写在前面 本文主要介绍如何使用本地PyCharm远程连接虚拟机，运行Python脚本，提高编程效率。 注意： 创建项目后再远...
【大数据技术】Spark分布式实现词频统计（hadoop+python+spark）
Spark分布式实现词频统计（hadoop+python+spark） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 本机PyCharm远程连接CentOS虚拟机（Python） 搭建完全分布式高可用大数据集群（Scala+Spark） 在阅读本文前，请确保已经阅读过以上4篇文章，成功搭...
【大数据技术】编写Python代码实现词频统计（python+hadoop+mapreduce+yarn）
编写Python代码实现词频统计（python+hadoop+mapreduce+yarn） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 本机PyCharm连接CentOS虚拟机 在阅读本文前，请确保已经阅读过以上三篇文章，成功搭建了Hadoop+MapReduce+Yarn+Pyth...
【大数据技术】词频统计样例（hadoop+mapreduce+yarn）
词频统计（hadoop+mapreduce+yarn） 搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell） 搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） 在阅读本文前，请确保已经阅读过以上两篇文章，成功搭建了Hadoop+MapReduce+Yarn的大数据集群环境。 写在前面 WordCount示例是大数据计算里的”Hello Worl...
大数据相关职位介绍之一（数据分析，数据开发，数据产品经理，数据运营）
大数据相关职位介绍之一 随着大数据、人工智能（AI）和机器学习的快速发展，数据分析与管理已经成为各行各业的重要组成部分。从互联网公司到传统行业的数字转型，数据相关职位在中国日益成为推动企业创新和提升竞争力的关键力量。以下是中国市场中常见的数据相关职位的介绍，包括其职责、技能要求以及职位之间的差异。 文章目录 大数据相关职位介绍之一数据分析师（Data Analyst）业务分析师-Business An...
大数据相关职位介绍之二（数据治理，数据库管理员， 数据资产管理师，数据质量专员）
大数据相关职位介绍之二（数据治理，数据库管理员， 数据资产管理师，数据质量专员） 文章目录 大数据相关职位介绍之二（数据治理，数据库管理员， 数据资产管理师，数据质量专员）数据治理工程师/专家（Data Governance Engineer/Expert）1.元数据管理师（Metadata Manager）2. 主数据管理师（Master Data Manager） 数据库管理员（DBA -Data...
【人工智能 | 大数据】基于人工智能的大数据分析方法
文章目录 前言一、大数据分析的重要性二、大数据下的IDA三、常见的数据分析方法四、基于机器学习的大数据分析方法（一）大数据聚类（二）大数据关联分析（三）大数据分类（四）大数据预测（五）大数据智能推荐 五、基于深度学习的大数据分析方法（一）Submarine（Hadoop生态系统）（二）DL4J（deeplearning4j，java深度学习框架) 六、以计算智能为基础的大数据分析七、人工智能与大数据的...