原创 最新版spark-2.2.0安裝教程

1.jdk的安裝;(java1.8) 2.hadoop安裝;(hadoop2.7.2) 3.scala安裝;(scala2.11.8) 4.spark安裝。(spark2.2.0) 0.環境:mac OS X 10.12 1.jd

原创 HIVE中常用函數大全

一、關係運算: 1. 等值比較: = 語法:A=B 操作類型:所有基本類型 描述:如果表達式A與表達式B相等,則爲TRUE;否則爲FALSE 舉例: hive>selec

原创 python 中時間datetime的處理與轉換

python中日期類datetime功能比較強大,使用起來很方便,把常用的兩種用法總結如下: from datetime import datetime from datetime import timedelta # 日期格式轉換爲字

原创 IntelliJ IDEA 配置JDK

IDEA 是最好用的JAVA IDE,之前用的eclipse,後面在mac電腦上安裝了IDEA 發現很好用,尤其是代碼助手和debug的時候太方便了。於是在windows系統也裝了一個,但是好像需要自己配置SDK(之前在mac 上裝的時候

原创 StructType can not accept object %r in type %s" % (obj, type(obj)))

在將string類型的數據類型轉換爲spark rdd時,一直報這個錯,StructType can not accept object %r in type %s” % (obj, type(obj))) . . . s = str(t

原创 java中保留2位小數的四種方法

在寫程序的時候,有時候可能需要設置小數的位數,那麼java中有哪幾種保留小數位數的方法呢?本文以兩位小數爲例給出四種方法。 package CodeJava_Leet; import java.math.BigDecimal; impo

原创 Rotated Array 旋轉數組的解題報告--leetcode

Rotated Array即旋轉數組的定義是:將一個有序數組的某個位置k之後的子數組移動到數組前面,是原數組的前半部分和後半部分都是有序的。例如:0,1,2,3,4,5,6,取k=4,則旋轉之後的數組爲:4,5,6,0,1,2,3. le

原创 “構造隊列”的兩種解法-網易有道17屆校招內推在線筆試題

題目: 小明同學把1到n這n個數字按照一定的順序放入了一個隊列Q中。現在他對隊列Q執行了如下程序: while(!Q.empty()) //隊列不空,執行循環 { int x=Q.front();

原创 mac 安裝reportlab工具

1.安裝pip $sudo easy_install pip 2.安裝reportlab: $pip install rlextra -i https://www.reportlab.com/pypi/ Downloading/unpa

原创 網易17校招內推二筆試題(3)--顏色組合問題

問題: 你就是一個畫家!你現在想繪製一幅畫,但是你現在沒有足夠顏色的顏料。爲了讓問題簡單,我們用正整數表示不同顏色的顏料。你知道這幅畫需要的n種顏色的顏料,你現在可以去商店購買一些顏料,但是商店不能保證能供應所有顏色的顏料,所以你需要自

原创 IntelliJ IDEA 的快捷鍵 for mac and windows對比

從eclipse轉到 idea,剛開始真的有點不習慣,尤其是快捷鍵的使用上面。於是在網上查,結果發現好像有不同的版本,快捷鍵也有些不同,於是,自己也整理了一份自己電腦上的快捷鍵設置,並與網上找到的版本作一個簡單的對比,編輯在這裏方便以後查

原创 canopy中導入reportlab模塊包

搗騰python的時候,發現canopy比pycharm更加方便,於是開始研究canopy了。canopy是Enought下的python開發IDE,裏面集成了numPy, pandas等常用的工具,但是免費版的並沒有reportlab包

原创 ubuntu詳細教程[軟件安裝,命令大全,常用快捷鍵]

作爲一個程序猿,當從windows轉到Linux上的時候,還是很不習慣的,畢竟windows用起來確實蠻方便的,但是有些時候,尤其是開發,linux卻有很大的優勢,學習一下linux還是有必要的。 本文主要介紹了ubuntu 系統的軟件安

原创 ubuntu15.10下安裝hadoop2.7.2

網上和很多書上都有不少的hadoop在linux系統下的安裝教程,但是嘗試過的讀者會發現,就算是按照這些教程一步步的操作,還是會在某個地方出錯,主要原因是版本問題。尤其是書上的版本一般都較老,所以並不建議對着書上的教程來操作,但是可以作爲