原创 Scala File 文件操作

寫文件 package com.bi import java.io.{File, PrintWriter} /** * Created by xxx on 2017/6/30. */ object FileHandle

原创 Scala JDBC 查詢和更新MySQL

package com.bi import java.sql.{Connection, DriverManager, Timestamp} import java.util.Calendar /** * Created

原创 Linux下ls根據文件大小排序展示

Linux下根據文件大小展示 按文件從大到小 其是按照由大到小排序 ls -Sl or ll -S 如果想要從小到大: ls -Slr or ll -Sr 如果想要輸入是按照“便於人類閱讀的方式”,那麼就再加一個-h

原创 LeetCode.601.Human_Traffic_of_Stadium

601.Human_Traffic_of_Stadium https://leetcode.com/problems/human-traffic-of-stadium/ Solution-for-3_or_more consecu

原创 scala 枚舉類

object PageLevel extends Enumeration{ type PageLevel = Value val entrance = Value(1) val entrance2, guide, gu

原创 Scala 字符串插值: s插值

val pageLevelId = 3 val pageLevelName = "entrance" val funnel = Map(2 -> List(11111), 4 -> List(7), 3 -> List(402,

原创 org.apache.hadoop.mapreduce.task.reduce.Shuffle error in shuffle in fetcher

文章目錄ShuffleError 錯誤信息:Default Configuration 默認參數:Solution 處理方案:限制reduce的shuffle內存使用hive sqlMapReduce ShuffleError 錯

原创 Scala Iterator(迭代器)

Scala Iterator(迭代器)不是一個集合,它是一種用於訪問集合的方法。 迭代器 it 的兩個基本操作是 next 和 hasNext。 調用 it.next() 會返回迭代器的下一個元素,並且更新迭代器的狀態。 調

原创 硅谷之謎

硅谷之謎 叛逆和寬容 你可以隨便跳槽,只要你夠牛,縱使有竟業協議,那也沒什麼卵用,你們今天可能還是共同奮鬥的摯友,下週你們可能就成爲了敵人,沒錯這裏沒有國內所謂的職業道德,“八叛徒”創立仙童公司又各自分道揚鑣,“Paypal黑幫”

原创 shell 兩個日期之間循環

shell 日期循環 #!/bin/bash if [ $# == 2 ]; then datebeg=$1 dateend=$2 else echo "請輸入開始時間和結束日期,格式爲2017-04-0

原创 iCloud文件同步至Mac本地磁盤

iCloud文件同步至Mac本地磁盤 參考資料 iCloud 照片無法下載怎麼辦? 在 Mac 上的“照片”中創建更多照片圖庫 如何從iCloud 下載照片 確保Mac 上的「照片」app 已經退出。否則後面將無法創建新的照片圖庫

原创 sparkf:spark-sql替換hive查詢引擎

sparkf:spark-sql替換hive查詢引擎 CONSOLE# WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future

原创 大數據應用建設開源工具-update2019-07

大數據應用建設開源工具 作業調度工具 Hera 分佈式任務調度系統 hera項目地址 hera 分佈式任務調度系統 大數據任務調度系統 任務調度 (數據部門專用) hera分佈式任務調度系統是根據前阿里開源調度系統(zeus)進行的二

原创 hivef:hive 執行 sql 文件

hivef:hive 執行 sql 文件 #!/bin/bash yesterday=`date -d -1days '+%Y-%m-%d'` today=`date '+%Y-%m-%d'` tomarrow=`date -d 1day

原创 手機號碼段:中國工信.三大運營商號段-update2019-09

中國工信.三大運營商號段 正則匹配 SELECT t.cellphone_num, CASE WHEN TRIM(t.cellphone_num) REGEXP '^13[5-9]|^134[0-8]|^14