博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
用windows浏览器打开Linux的Jupyter notebook开发、调试示例
阅读量:6573 次
发布时间:2019-06-24

本文共 2363 字,大约阅读时间需要 7 分钟。

1.场景,在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook开启远程服务,Spark、python计算环境在Linux服务器中,而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。涉及的配置文件

场景如下

通过windows登录Linux服务器的Jupyter notebook(开发环境都在Linux中),windows中只需有个浏览器即可。

登录Jupyter notebook

然后在windows下开发、调试

在Jupyter notebook上spark编程

开始达到上述需求。

2.安装python和jupyter notebook(spark部署略可参考我其他博文,无spark也没关系)

xiaolei@ubuntu:~$ sudo apt install pythonxiaolei@ubuntu:~$ sudo pip install jupyter

3.配置Linux服务器上的jupyter notebook(重要)

3.1.生成jupyter notebook配置文件

#主要.jupyter 是隐藏文件,可以用ls -a 查看#以下命令生成文件在 /home/xiaolei/.jupyter/jupyter_notebook_config.pyxiaolei@ubuntu:~$ jupyter notebook --generate-config

3.2.为jupyter notebook生成密码

xiaolei@ubuntu:~$ pythonfrom notebook.auth import passwd: from notebook.auth import passwd: passwd()Enter password:Verify password:Out[2]: 'sha1:bcd259ccf...
<你自己生成的hash密码>
'

3.3.生成mycert.pem和mykey.key(SSL和HTTPS加密)

#以下命令生成文件在 /home/xiaolei/.jupyter/jupyter_notebook_config.pyxiaolei@ubuntu:~$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mykey.key -out mycert.pem

3.4.通过certfile安全的模式开启jupyter notebook。

xiaolei@ubuntu:~$ jupyter notebook --certfile=/home/xiaolei/.jupyter/mycert.pem --keyfile /home/xiaolei/.jupyter/mykey.key

3.5.配置/home/xiaolei/.jupyter/jupyter_notebook_config.py

a.增加以下内容或者找到原内容去掉#修改

xiaolei@ubuntu:~$ vim /home/xiaolei/.jupyter/jupyter_notebook_config.py

b.修改或增加内容如下里面的/home/xiaolei根据自己文件定

# Set options for certfile, ip, password, and toggle off# browser auto-openingc.NotebookApp.certfile = u'/home/xiaolei/.jupyter/mycert.pem'c.NotebookApp.keyfile = u'/home/xiaolei/.jupyter/mykey.key'# Set ip to '*' to bind on all interfaces (ips) for the public serverc.NotebookApp.ip = '*'c.NotebookApp.password = u'sha1:bcd259ccf...
<你自己生成的hash密码>
'c.NotebookApp.open_browser = False# It is a good idea to set a known, fixed port for server accessc.NotebookApp.port = 9999

4.在windows的chrome中登录并开发、调试程序

4.1.打开 jupyter notebook

a.在Linux服务器中以不打开本地浏览器中

xiaolei@ubuntu:~$ jupyter notebook --no-browser

b.在windows中的chrome浏览器(若IE,我试着不行)打开

此时输入你设置的密码如123456

在windows上登录Linux的Jupyter notebook

c.写个简单的测试 1+1 (Shift+Enter执行)

在Jupyter notebook中测试

如果没有安装Spark,那么到这里就完成配置了,已经可以在windows中开发Linux环境下的程序了!

4.2.打开 spark的 jupyter notebook

a.在Linux服务器中以不打开本地浏览器中(需正确部署了spark)

xiaolei@ubuntu:~$ PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' /opt/spark-2.0.2-bin-hadoop2.7/bin/pyspark

在Linux中启动Jupyter notebook

b.在windows下chrome浏览器登入(IE不可使)

Jupyter notebook开发spark示例

转载于:https://www.cnblogs.com/lanzhi/p/6467652.html

你可能感兴趣的文章
@PathVariable、@RequestHeader与@CookieValue注解的使用案例
查看>>
【笔记】jquery判断两个日期之间相差多少天
查看>>
PYTHON1.day01
查看>>
CSS 定位 (Positioning) 实例
查看>>
css怎么写链接到图片和地址
查看>>
js--小结⑥---typeof
查看>>
从别的网站摘抄的,挺有用的
查看>>
更改一个主键的列的类型的步骤
查看>>
neo4j 如何删除所以的节点和关系
查看>>
Markdown的常用使用语法
查看>>
iOS开源库
查看>>
第4次作业类测试代码+105032014065+方绎杰
查看>>
Python绘制KS曲线
查看>>
DbUtils类的添加,修改,删除
查看>>
前端渲染和后端渲染
查看>>
项目代码matlab
查看>>
Reboot运维开发Python-03
查看>>
Javascript中括号“[]”的多义性
查看>>
.NET中异常类(Exception)
查看>>
Python windows serial
查看>>