Spark内存并行计算框架

news/2025/2/24 7:28:39

1. Spark是什么

Apache Spark™ is a unified analytics engine for large-scale data processingspark是针对于大规模数据处理的统一分析引擎

spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。 ​ spark是基于内存计算框架，计算速度非常之快

输入 计算 输出

分发 计算 收集

第一步 保存中间结果 第二步

2. Spark

2.1 速度快

相对于hadoop来说，有使用hadoop MR经验会有体会

  • 运行速度提高100倍

    Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。

  • spark比mapreduce快的2个主要原因

    基于内存

    mapreduce任务后期再计算的时候，每一个job的输出结果会落地到磁盘，后续有其他的job需要依赖于前面job的输出结果，这个时候就需要进行大量的磁盘io操作。性能就比较低。 ​ spark任务后期再计算的时候，job的输出结果可以保存在内存中，后续有其他的job需要依赖于前面job的输出结果，这个时候就直接从内存中获取得到，避免了磁盘io操作，性能比较高

    进程与线程

    mapreduce任务以进程的方式运行在yarn集群中，比如程序中有100个MapTask，一个task就需要一个进程，这些task要运行就需要开启100个进程。 ​ spark任务以线程的方式运行在进程中，比如程序中有100个MapTask，后期一个task就对应一个线程，这里就不在是进程，这些task需要运行，这里可以极端一点：只需要开启1个进程，在这个进程中启动100个线程就可以了。进程中可以启动很多个线程，而开启一个进程与开启一个线程需要的时间和调度代价是不一样。 开启一个进程需要的时间远远大于开启一个线程。

2.2 易用性

  • 可以快速去编写spark程序通过 java/scala/python/R/SQL等不同语言

2.3 通用性

  • spark框架不在是一个简单的框架，可以把spark理解成一个生态系统，它内部是包含了很多模块，基于不同的应用场景可以选择对应的模块去使用

    sparksql、api

    通过sql去开发spark程序做一些离线分析

    sparkStreaming

    主要是用来解决公司有实时计算的这种场景

    Mlib

    它封装了一些机器学习的算法库

    Graphx 图计算

2.4 兼容性

  • spark程序就是一个计算逻辑程序，这个任务要运行就需要计算资源（内存、cpu、磁盘），哪里可以给当前这个任务提供计算资源，就可以把spark程序提交到哪里去运行

    standAlone

    少量的节点，比较纯粹的spark任务

    它是spark自带的集群模式，整个任务的资源分配由spark集群的老大Master负责

    yarn

    yarn有接口，可以对接其他的计算框架 mr flink spark java

    可以把spark程序提交到yarn中运行，整个任务的资源分配由yarn中的老大ResourceManager负责

    mesos

    云原生支持的比较快

    它也是apache开源的一个类似于yarn的资源调度平台。

3. Spark与Yarn

mesos standalone yarn cpu 磁盘 内存

spark提交任务到yarn

  • Driver

    它会执行客户端写好的main方法，它会构建一个名叫SparkContext对象

  • Task

    spark任务是以task线程的方式运行在worker节点对应的executor进程中

spark是调用了yarn的接口，将任务提交给yarn来执行计算，实际的计算逻辑就是我们driver中的代码

4. Spark集群安装部署

  • 下载安装包

  • 解压安装包到指定的安装目录/root

  • 重命名解压目录

    mv spark-3.1.1-bin-hadoop3.2 spark

  • 修改配置文件，进入到spark的安装目录下对应的conf文件夹

    vim spark-env.sh ( mv spark-env.sh.template spark-env.sh)

    vim slaves ( mv slaves.template salves)

    #指定spark集群的worker节点
hadoop01
hadoop02
hadoop03

  • 分发安装目录到其他机器

    xsync /root/spark /root/spark

  • 8、修改spark环境变量(也可以不配置，这里主要是为了)

    vim /etc/profile

    export SPARK_HOME=/root/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

当启动好spark集群之后，可以访问这样一个地址http://hadoop01:8080

5. Spark怎么使用

5.1 生产环境
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
examples/jars/spark-examples_2.12-3.1.1.jar \
10
​
##参数说明
--class：指定包含main方法的主类
--master：指定spark集群master地址
--executor-memory：指定任务在运行的时候需要的每一个executor内存大小
--total-executor-cores： 指定任务在运行的时候需要总的cpu核数
​
5.2 临时调试环境

spark整合HDFS，在hadoop01节点vim /root/spark/conf/spark-env.sh

export HADOOP_CONF_DIR=/opt/bigdata/hadoop/etc/hadoop

分发到其他节点

xsync /root/spark/conf/spark-env.sh /root/spark/conf/spark-env.sh

执行spark-shell --master yarn 

sc.textFile("/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
​
sc.textFile("hdfs://hadoop01:9000/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
5.3 开发环境

构建maven工程，添加pom依赖

 <dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.1.1</version>
    </dependency>
</dependencies>
​
 <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
 </build>

提交任务使用的脚本

spark-submit \
--class com.mejava.day02.WordCount \
--master yarn \
--executor-memory 1G \
scala_learn-1.0-SNAPSHOT.jar

http://www.niftyadmin.cn/n/5864079.html

相关文章

论文笔记（七十二）Reward Centering（四）

论文笔记（七十二）Reward Centering（四）

Reward Centering&#xff08;四&#xff09; 文章概括摘要附录A 伪代码 文章概括 引用&#xff1a; article{naik2024reward,title{Reward Centering},author{Naik, Abhishek and Wan, Yi and Tomar, Manan and Sutton, Richard S},journal{arXiv preprint arXiv:2405.09999…
阅读更多...
动手学深度学习2025.2.23-预备知识之-线性代数

动手学深度学习2025.2.23-预备知识之-线性代数

3.线性代数 &#xff08;1&#xff09;向量维数和张量维数的区别&#xff1a; (2)普通矩阵乘法&#xff1a; 要求左矩阵的列数等于右矩阵的行数 import torch ​ # 创建两个矩阵 A torch.tensor([[1, 2], [3, 4]], dtypetorch.float32) B torch.tensor([[5, 6], [7, 8]], d…
阅读更多...
安装 tensorflow 遇到的问题

安装 tensorflow 遇到的问题

Q1: 没发现满足需求的版本 ERROR: Could not find a version that satisfies the requirement keras-nightly~2.5.0.dev (from tensorflow) (from versions: none) ERROR: No matching distribution found for keras-nightly~2.5.0.dev 按照官方文档Installation — TensorFl…
阅读更多...
图片爬取案例

图片爬取案例

修改前的代码 但是总显示“失败” 原因是 修改之后的代码 import requests import os from urllib.parse import unquote# 原始URL url https://cn.bing.com/images/search?viewdetailV2&ccidTnImuvQ0&id5AE65CE4BE05EE7A79A73EEFA37578E87AE19421&thidOIP.TnI…
阅读更多...
AWQ和GPTQ量化的区别

AWQ和GPTQ量化的区别

一、前言 本地化部署deepseek时发现&#xff0c;如果是量化版的deepseek&#xff0c;会节约很多的内容&#xff0c;然后一般有两种量化技术&#xff0c;那么这两种量化技术有什么区别呢&#xff1f; 二、量化技术对比 在模型量化领域&#xff0c;AWQ 和 GPTQ 是两种不同的量…
阅读更多...
Python|OpenCV-实现人物眨眼检测(21)

Python|OpenCV-实现人物眨眼检测(21)

前言 本文是该专栏的第23篇，后面将持续分享OpenCV计算机视觉的干货知识，记得关注。 通过OpenCV库来实现人物的眨眼检测，首先是需要了解眨眼检测的基本原理。一般来说，是需要通过检测眼睛的状态，比如眼睛是否闭合来判断是否眨眼。对此，如果基于OpenCV，通过Python如何去实…
阅读更多...
50周学习go语言：第1周 环境搭建

50周学习go语言：第1周 环境搭建

以下是为零基础学习者准备的详细第1周教程&#xff0c;包含环境搭建、工具配置和首个Go程序的完整操作指南&#xff1a; 一、Go语言环境安装&#xff08;Windows/macOS/Linux通用&#xff09; 1. 下载安装包 官网地址&#xff1a;https://go.dev/dl//根据系统选择对应版本&am…
阅读更多...
RPC 框架项目剖析

RPC 框架项目剖析

RPC 框架项目剖析 说明 本文用于梳理一个 rpc项目的实现细节&#xff0c;此项目基于cpp语言 大概三千行左右&#xff0c;用于学习目的。 项目链接&#xff1a;rpc项目 项目底层类 1.抽象消息类 描述&#xff1a; 各种消息的基类 属性&#xff1a; 消息id&#xff0c;消息类型…
阅读更多...
最新文章

Copyright @ 2022~2023