1.场景,在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook开启远程服务,Spark、python计算环境在Linux服务器中,而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。涉及的配置文件
场景如下
通过windows登录Linux服务器的Jupyter notebook(开发环境都在Linux中),windows中只需有个浏览器即可。
然后在windows下开发、调试
开始达到上述需求。
2.安装python和jupyter notebook(spark部署略可参考我其他博文,无spark也没关系)
xiaolei@ubuntu:~$ sudo apt install pythonxiaolei@ubuntu:~$ sudo pip install jupyter
3.配置Linux服务器上的jupyter notebook(重要)
3.1.生成jupyter notebook配置文件
#主要.jupyter 是隐藏文件,可以用ls -a 查看#以下命令生成文件在 /home/xiaolei/.jupyter/jupyter_notebook_config.pyxiaolei@ubuntu:~$ jupyter notebook --generate-config
3.2.为jupyter notebook生成密码
xiaolei@ubuntu:~$ pythonfrom notebook.auth import passwd: from notebook.auth import passwd: passwd()Enter password:Verify password:Out[2]: 'sha1:bcd259ccf... <你自己生成的hash密码> ' 你自己生成的hash密码>
3.3.生成mycert.pem和mykey.key(SSL和HTTPS加密)
#以下命令生成文件在 /home/xiaolei/.jupyter/jupyter_notebook_config.pyxiaolei@ubuntu:~$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mykey.key -out mycert.pem
3.4.通过certfile安全的模式开启jupyter notebook。
xiaolei@ubuntu:~$ jupyter notebook --certfile=/home/xiaolei/.jupyter/mycert.pem --keyfile /home/xiaolei/.jupyter/mykey.key
3.5.配置/home/xiaolei/.jupyter/jupyter_notebook_config.py
a.增加以下内容或者找到原内容去掉#修改
xiaolei@ubuntu:~$ vim /home/xiaolei/.jupyter/jupyter_notebook_config.py
b.修改或增加内容如下里面的/home/xiaolei根据自己文件定
# Set options for certfile, ip, password, and toggle off# browser auto-openingc.NotebookApp.certfile = u'/home/xiaolei/.jupyter/mycert.pem'c.NotebookApp.keyfile = u'/home/xiaolei/.jupyter/mykey.key'# Set ip to '*' to bind on all interfaces (ips) for the public serverc.NotebookApp.ip = '*'c.NotebookApp.password = u'sha1:bcd259ccf... <你自己生成的hash密码> 'c.NotebookApp.open_browser = False# It is a good idea to set a known, fixed port for server accessc.NotebookApp.port = 9999 你自己生成的hash密码>
4.在windows的chrome中登录并开发、调试程序
4.1.打开 jupyter notebook
a.在Linux服务器中以不打开本地浏览器中
xiaolei@ubuntu:~$ jupyter notebook --no-browser
b.在windows中的chrome浏览器(若IE,我试着不行)打开
此时输入你设置的密码如123456
c.写个简单的测试 1+1 (Shift+Enter执行)
如果没有安装Spark,那么到这里就完成配置了,已经可以在windows中开发Linux环境下的程序了!
4.2.打开 spark的 jupyter notebook
a.在Linux服务器中以不打开本地浏览器中(需正确部署了spark)
xiaolei@ubuntu:~$ PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' /opt/spark-2.0.2-bin-hadoop2.7/bin/pyspark