scala - 我们应该如何解决Spark的sbt文件中的本地依赖关系

我有这个sbt文件:

offline := true
name := "hello"
version := "1.0"
scalaVersion := "2.11.7-local"
scalaHome := Some(file("/home/ubuntu/software/scala-2.11.7"))
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" % "provided"

我如何告诉它将此地址用于Spark而不是使用Web？

/home/ubuntu/software/spark-1.5.0-bin-hadoop2.6

因为它只是尝试连接到Internet以获取Spark依赖关系，并且由于安全问题，我的VM无法访问Internet。

我最终想运行以下简单代码:

import org.apache.spark.SparkContext._
import org.apache.spark.api.java._
import org.apache.spark.api.java.function.Function_
import org.apache.spark.graphx._
import org.apache.spark.graphx.lib._
import org.apache.spark.graphx.PartitionStrategy._
//class PartBQ1{

object PartBQ1{
val conf = new SparkConf().setMaster("spark://10.0.1.31:7077")
             .setAppName("CS-838-Assignment2-Question2")
             .set("spark.driver.memory", "1g")
             .set("spark.eventLog.enabled", "true")
             .set("spark.eventLog.dir", "/home/ubuntu/storage/logs")
             .set("spark.executor.memory", "21g")
             .set("spark.executor.cores", "4")
             .set("spark.cores.max", "4")
             .set("spark.task.cpus", "1")

val sc = new SparkContext(conf=conf)
val sql_ctx = new SQLContext(sc)
val graph = GraphLoader.edgeListFile(sc, "data2.txt")
}

最佳答案

我猜你可以使用类似的东西(假设火花在你的类路径中)

run in Compile <<= Defaults.runTask(fullClasspath in Compile, mainClass in (Compile, run), runner in (Compile, run))

如建议

https://stackoverflow.com/a/21803413/1706351

https://github.com/sbt/sbt-assembly#-provided-configuration

关于scala - 我们应该如何解决Spark的sbt文件中的本地依赖关系，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/33337536/