Jupyterhub

发布日期:2025-01-04 11:10    点击次数:60
Jupyterhub是一个支持多用户的Notebook服务器,用于创建、管理和代理多个Jupyter Notebook实例。本文为您介绍如何访问Jupyterhub的Web UI,以及Jupyterhub的使用示例。添加Linux用户通过SSH方式连接集群。执行如下命令,添加Linux用户。执行如下命令,设置Linux用户的密码。执行如下命令,编辑jupyterhub_config.py。添加用户至白名单。访问Jupyterhub的Web UI添加12443端口到安全组。访问Web UI。示例本文通过以下三种方式为您展示Jupyterhub的使用:WordCount通过SSH方式连接集群。详情请参见登录集群。创建测试数据hello.txt,内容如下:hello world hello alibaba hello taobao创建测试数据的上传目录。hadoop fs -mkdir hdfs://emr-header-1:9000/user/spark/上传测试数据至HDFS。hadoop fs -put hello.txt hdfs://emr-header-1:9000/user/spark/在Jupyterhub页面,选择新建 > Python 3。访问Jupyterhub的Web UI,详情请参见访问Jupyterhub的Web UI。拷贝如下代码至Cell中并单击运行。MatPlot在Jupyterhub页面,选择新建 > Python 3。访问Jupyterhub的Web UI,详情请参见访问Jupyterhub的Web UI。拷贝如下代码至Cell中并单击运行。spark-submit通过SSH方式连接集群。详情请参见登录集群。执行如下命令,查找JAR包。find / -name spark-examples_2.11-2.4.5.jar进入JAR包目录。cd /opt/apps/ecm/service/spark/2.4.5-hadoop2.8-2.0.1/package/spark-2.4.5-hadoop2.8-2.0.1/examples/jars/根据相应模式提交Spark任务。local模式spark-submit --master local --class org.apache.spark.examples.SparkPi spark-examples_2.11-2.4.5.jar 100yarn-client模式spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi spark-examples_2.11-2.4.5.jar 100yarn-cluster模式spark-submit --master yarn-cluster --class org.apache.spark.examples.SparkPi spark-examples_2.11-2.4.5.jar 100安装numpy包您可以根据以下步骤,安装numpy包至Jupyterhub环境中。通过SSH方式连接集群。执行如下命令,安装numpy包。

上一篇:Turofexorate is
下一篇:红鞋日记