安裝tensorflow、pyspark等遇到的問題

出現這些問題，很多時候是因爲，忘記了機器上有兩個Python環境。

默認環境是py2，而自己的工作環境是py3。

比如Linux上默認有py2.7，自己又安裝了py3.5。比如Windows上，安裝了py2，也安裝了py3。

命令行直接輸入python、pip等使用的是默認是py2，應該切換到py3的bin目錄。

再使用./pip 等形式來運行。

一、pip無法安裝tensorflow

其實就應該用anaconda prompt窗口運行pip命令，就能避免這個問題。

1、pip安裝

通常我們用下面這種方式安裝一個庫

C:\Users\Administrator>pip install tensorflow
Collecting tensorflow
  Could not find a version that satisfies the requirement tensorflow (from versions: )
No matching distribution found for tensorflow

2、但是報錯 No matching version

於是想到去網站上自己下載一個whl文件，再本地安裝。

https://pypi.org/

或者

https://www.lfd.uci.edu/~gohlke/pythonlibs/

可選的文件就這有兩個，於是選擇了cp36的版本。

3、本地安裝

PS D:\ML> pip install .\tensorflow-1.7.0-cp36-cp36m-win_amd64.whl
tensorflow-1.7.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

但是也報錯，版本不匹配。於是搜索了下這個錯誤信息。

參考這篇文章：https://www.jianshu.com/p/dd8b4869d4fb

這個文件是amd64平臺的版本，顯然我的電腦不是。

4、在谷歌裏面搜索tensorflow-1.7.0-cp36-cp36m-win32.whl

找到了win32版本 https://github.com/fo40225/tensorflow-windows-wheel/blob/master/1.7.0/py36/CPU/sse2/tensorflow-1.7.0-cp36-cp36m-win32.whl

下載之。

5、再次本地安裝

D:\>pip install tensorflow-1.7.0-cp36-cp36m-win32.whl
tensorflow-1.7.0-cp36-cp36m-win32.whl is not a supported wheel on this platform.

還是報錯，再換一種方式。

6、用anaconda導航界面安裝

測試

D:\>python
Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)] on win32

>>> import tensorflow as tf

D:\ProgramData\Anaconda3\lib\site-packages\h5py\__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters


>>> w = tf.Variable([[0.5,1.0]])
>>> x = tf.Variable([[2.0],[1.0]])
>>> y = tf.matmul(w,x)
>>> y
<tf.Tensor 'MatMul:0' shape=(1, 1) dtype=float32>
>>>

如果用pycharm，要選擇對應的環境

上面的tensorflow裝在anaconda的py3.6環境。

7、總結

上面爲什麼出現pip命令無法安裝tensorflow呢？

本地安裝了原生的Python2.7，也安裝了anaconda3.6。

因爲直接用pip命令，電腦默認是調用Python2.7的pip命令。要切換到anaconda目錄下，使用py3.6的pip命令（tensorflow只有py3的）。

D:\ProgramData\Anaconda3\Scripts> pip install jieba

優先用命令行pip安裝，因爲使用方便。

有的包在anaconda導航裏搜索不到，但是用pip可以安裝（比如jieba）。

二、安裝pyspark

用pip install pyspark命令，在Windows上安裝成功，但是在linux上，每次都是到99%失敗。 (在Windows上用anaconda安裝pyspark，老是安裝不成功。)

1.提示信息

linux上報錯信息

[root@txy bin]# pip install pyspark  ## 【錯誤】如果直接用pip，調用的是系統默認的py2，而我的工作環境是py3。
Collecting pyspark
  Downloading https://files.pythonhosted.org/packages/ee/2f/709df6e8dc00624689aa0a11c7a4c06061a7d00037e370584b9f011df44c/pyspark-2.3.1.tar.gz (211.9MB)
    99% |████████████████████████████████| 211.9MB 57.2MB/s eta 0:00:01Killed

Windows上的安裝過程提示

(base) C:\Users\Administrator>pip install pyspark
Collecting pyspark
  Downloading https://files.pythonhosted.org/packages/ee/2f/709df6e8dc00624689aa0a11c7a4c06061a7d00037e370584b9f011df44c/pyspark-2.3.1.tar.gz (211.9MB)
    100% |████████████████████████████████| 211.9MB 57kB/s

Collecting py4j==0.10.7 (from pyspark)
  Downloading https://files.pythonhosted.org/packages/e3/53/c737818eb9a7dc32a7cd4f1396e787bd94200c3997c72c1dbe028587bd76/py4j-0.10.7-py2.py3-none-any.whl (197kB)
    100% |████████████████████████████████| 204kB 1.1MB/s
Building wheels for collected packages: pyspark

Successfully installed py4j-0.10.7 pyspark-2.3.1

2.linux下安裝pyspark

linux出現到99%失敗的原因未知，不過我應該使用如下的安裝命令。

[root@txy bin]# cd /root/anaconda3/bin

[root@txy bin]# ./pip install pyspark

3.spark的pyspark

下載Apache spark，解壓配置好PATH後,也可以使用pyspark，要注意環境是py2還是py3。