使用谷歌可乐时如何打开电光用户界面？

问题描述

如何通过电光Web UI监控作业进度？在本地运行电光，我可以使用http://localhost:4040.

通过4040端口访问电光UI

推荐答案

按照此colab notebook，您可以执行以下操作。

首先，配置电光UI，启动电光会话：

import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark import SparkContext, SparkConf


conf = SparkConf().set('spark.ui.port', '4050')
sc = SparkContext(conf=conf)
spark = SparkSession.builder.master('local[*]').getOrCreate()

在下一次单元格运行中：

!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
get_ipython().system_raw('./ngrok http 4050 &')

它将安装ngrok并创建一个地址，您可以通过该地址访问电光UI(等待10秒，等待其启动)。

现在，要访问该URL，请调用：

!curl -s http://localhost:4040/api/tunnels

它打印出如下所示的JSON(截断)：

{"tunnels":[{"name":"command_line","uri":"/api/tunnels/command_line","public_url":"https://1b881e94406c.ngrok.io","proto":"https", ... }

--您正在查找上面的this"public_url"，这是您的电光UI的url。

或者，运行此命令：

!curl -s http://localhost:4040/api/tunnels | python3 -c "import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

我已经测试过，它适合我。

这篇关于使用谷歌可乐时如何打开电光用户界面？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！