我试图让Apache Spark与IntelliJ一起工作。我已经在IntelliJ中创建了一个SBT项目,并执行了以下操作:
1.转到文件->项目结构->库
2.单击中间部分中的“ +”,单击Maven,单击“从Maven存储库下载库”,键入文本“ spark-core”和org.apache.spark:spark-core_2.11:2.2.0,这是最新的可用的Spark版本
我将jar文件和源代码下载到项目文件夹中的./lib中
3. Spark库现在显示在库列表中
4.然后,我右键单击org.apache.spark:spark-core_2.11:2.2.0,然后单击“添加到项目”和“添加到模块”
现在,当我单击左侧的“模块”,然后单击主项目文件夹,然后单击右侧的“依赖关系”选项卡时,我可以将外部库视为Maven库,但是单击“应用”后,重新构建项目并重新启动IntelliJ。 ,它不会在项目中显示为外部库。因此,我无法访问Spark API命令。
请问我做错了什么?我已经查看了IntelliJ上的所有文档以及其他一百个来源,但找不到答案。

另外,我还需要在build.SBT文件中包括以下文本,以及将Apache Spark指定为外部库依赖项吗?我假设我需要在build.SBT文件中包含代码,或者手动将Spark添加为外部依赖项,但不能同时添加两者。
我在build.SBT文件中包含了以下代码:

name := "Spark_example"

version := "1.0"

scalaVersion := "2.12.3"

val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)


我收到一个错误:sbt.ResolveException:未解决的依赖项:org.apache.spark#spark-core_2.12; 2.2.0:找不到

请帮忙!谢谢

最佳答案

Spark没有针对Scala 2.12.x的版本。因此,将Scala版本设置为2.11.x

scalaVersion := "2.11.8"

val sparkVersion = "2.0.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)

关于scala - 试图让Apache Spark与IntelliJ一起使用,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45491017/

10-12 05:26