【大数据OLAP引擎】StartRocks存算分离
存算分离的原因 降低存储成本：同样的存储大小对象存储价格只有SSD的1/10，所以号称存储成本降低80%不是吹的。 存算一体到存算分离 存算一体 作为 MPP 数据库的典型代表，StarRocks 3.0 版本之前使用存算一体 (shared-nothing) 架构，BE 同时负责数据存储和计算，在查询时可以直接访问 BE 本地数据，进行本地计算，避免数据传输与拷贝，从而能够得到极速的查询分析性能。存算...
【大数据面试】常见数仓建模面试题附答案
常见面试题 数据仓库面试题-理论相关 什么是数据仓库？ 如何构建数据仓库？ 概念模型、逻辑模型、物理模型分别介绍一下？ SCD常用的处理方式有哪些？ 模型设计的思路？业务驱动？数据驱动？ 数仓架构为什么要分层？ 事实表的类型？ 维度建模步骤？ 维度建模的三种模式？ 数仓架构进化？ 数据仓库如何保证数据质量？ 开发流程/你们是怎么测试的？ 维度建模过程？ 维度建模的三种模式？ 事实表都有哪几种？ 如何做数...
【大数据面试】Flink面试题附答案
目录 1、背压问题 2、Flink是如何支持批流一体的 3、Flink任务延迟高，想解决这个问题，你会如何入手 4、Flink的监控页面，有了解吗，主要关注那些指标？ 5、你们之前Flink集群规模有多大？部署方式是什么？你了解哪些部署方式？ 6、Flink如何做压测和监控 7、Flink checkpoint 的相关查考？如何做checkpoint，如何监控，存储在哪里？等 8、Flink Savep...
大数据毕设分享 flink大数据淘宝用户行为数据实时分析与可视化
少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。 为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是 🚩 flink大数据淘宝用户行为数据实时分析与可视化 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数：3分工作量：3分创新点：4分 1、环境准备 1.1 flink 下载相关 jar 包 flink-sql 连接...
大数据Doris（四十五）：物化视图选择最优
文章目录 物化视图选择最优 物化视图选择最优 下面详细解释一下第一步最优物化视图是被如何选择出来的。 这里分为两个步骤： 对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算（取部分行，部分列，或部分行列的聚合）出都可以留在候选集中，过滤完成后候选集合大小 >= 1。 从候选集合中根据聚合程度，索引等条件选出一个最优的也就是查询花费最少物化视图。 这里再举一个相对复杂的例子，来体现这个过程。 ...
【大数据面试知识点】Spark的DAGScheduler
Spark数据本地化是在哪个阶段计算首选位置的？ 先看一下DAGScheduler的注释，可以看到DAGScheduler除了Stage和Task的划分外，还做了缓存的跟踪和首选运行位置的计算。 DAGScheduler注释： DAGScheduler的运行时机 DAGScheduler运行时机：Driver端初始化SparkContext时。DAGScheduler是在整个Spark Applica...
大数据前馈神经网络解密：深入理解人工智能的基石
文章目录 大数据前馈神经网络解密：深入理解人工智能的基石一、前馈神经网络概述什么是前馈神经网络前馈神经网络的工作原理应用场景及优缺点 二、前馈神经网络的基本结构输入层、隐藏层和输出层激活函数的选择与作用网络权重和偏置 三、前馈神经网络的训练方法损失函数与优化算法反向传播算法详解避免过拟合的策略 四、使用Python和PyTorch实现FNN4.1 准备数据集选择合适的数据集数据预处理PyTorch数据...
【完整思路】2023 年中国高校大数据挑战赛 赛题 B DNA 存储中的序列聚类与比对
2023 年中国高校大数据挑战赛 赛题 B DNA 存储中的序列聚类与比对 任务 1.错误率和拷贝数分析：分析“train_reads.txt”和“train_reference.txt”数据集中的错误率（插入、删除、替换、链断裂）和序列拷贝数。 2.聚类模型开发：开发一个模型来聚类“train_reads.txt”中的序列，评估准确性（包括聚类数量和纯度）和聚类速度。 3.在测试数据上的应用：将开发...
2023 年中国高校大数据挑战赛 赛题 B DNA 存储中的序列聚类与比对
近年来，随着新互联网设备的大量涌入和对其服务需求的指数级增长，越来越多的数据信息被产生与收集。预计到 2021 年，数据中心内部的IP流量将达到 ZB，数据中心之间的流量将达到 2.8 ZB。如何储存与运输如此庞大的数据已经成为了难题。 DNA存储技术是一项着眼于未来的具有划时代意义存储技术，正成为应对数据爆炸的关键技术之一。DNA存储技术指的是使用人工合成的脱氧核糖核苷酸（DNA）作为介质进行信息存...
大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战
文章目录 大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战1. 概述1.1 什么是文本摘要？1.2 为什么需要文本摘要？ 2. 发展历程2.1 早期技术2.2 统计方法的崛起2.3 深度学习的应用2.4 文本摘要的演变趋势 3. 主要任务3.1 单文档摘要3.2 多文档摘要3.3 信息性摘要 vs. 背景摘要3.4 实时摘要 4. 主要类型4.1 抽取式摘要4.2 生成式摘要4.3 指...