原创 TesorFlow 測試曼德布洛特(Mandelbrot) 實戰
代碼： # Import libraries for simulation import tensorflow as tf import numpy as np # Imports for visualization impor
2020-06-22 15:22:20
原创 cdh5.7.1 ＋kerberos ＋ livy server v0.2.0 安裝測試步驟
Livy 是一個開源的 REST接口，負責和Apache Spark進行交互。 支持執行片段代碼和程序在一個Spark context 裏面，可以運行在locally 或者 Apache Hadoop Yarn 模式。 交付式
2020-06-22 14:38:44
原创 增強分析之美
AI在分析領域的成功關鍵是什麼？增強分析- 是這樣一種方法，它結合了機器智能和人類感性經驗去加速洞察，去挖掘新的或者沒有預期到的發現，驅動任何角色和技術水平的用戶都能夠擁有數據探查能力。 強調了人工智能和人類的互動、視角結
2020-05-22 15:01:11
原创 RISELab 之 Ray介紹
UC Berkeley 創立了一個新的實驗室RISELab，創建者都是從AMPlab出來的，未來五年在實時輸入數據上面進行人工智能開發。 一種區別與spark、mapreduce分佈式執行系統，更關注應對興起的AI和機器學習領
2020-02-22 17:19:29
1
原创 Apache Spark 讀寫Apache ignite 代碼實戰
package com.zhw.bigdata.ignite; import org.apache.ignite.spark.IgniteDataFrameSettings; import org.apache.spark.sql.D
2020-02-22 17:19:29
1
原创 Spark SQL 操作Apache ignite 代碼實戰
package com.zhw.bigdata.ignite; import org.apache.ignite.spark.IgniteDataFrameSettings; import org.apache.spark.sql.D
2020-02-22 17:19:29
原创 基於kubernetes1.6.0+Zeppelin0.7.1 實戰
Kubernetes概述 Kubernetes是Google開源的Docker容器集羣管理系統，爲容器化的應用提供資源調度、部署運行、服務發現、擴容縮容等一整套功能。Kubernetes起源的希臘語，是領航或者舵手之意，工程領域同
2020-02-22 17:19:29
原创 docker＋centos7＋nginx1.2.0+ldap ＋jupyter實戰
最近在搭建JupyterHub 的時候遇到只支持python3，爲了滿足在大數據平臺需要python2的問題，只能選擇搭建Jupyter，但是Jupyter不支持ldap權限認證，只能使用Nginx 對jupyter端口鏡像權限
2020-02-22 17:19:29
原创 編程題：兩個線程，一個線程輸出奇數，一個線程輸出偶數，保證輸出順序是：2、1、4、3、……、50、49、52、51、54、53、……、100、99
解法1：使用Synchronized package printNum; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executo
2020-02-22 17:19:29
原创 TensorFlow 模擬水滴落入水池 實戰
import tensorflow as tf import numpy as np import PIL.Image from cStringIO import StringIO from IPython.display imp
2020-02-22 17:19:29
原创 深入理解 Scala 中Closures
closules的理解：“An object is data with functions. A closure is a function with data.” — John D. Cook 那麼scala的closure 怎
2020-02-22 17:19:29
原创 hadoop Yarn distributedshell使用方法
hadoop Yarn distributedshell 相當於MapReduce的wordcount，可以見證Yarn的威力，各位也嘗試一下吧 [root@HDP02 hadoop-yarn]# hadoop org.apach
2020-02-22 17:19:29
原创 Java ExecutorService 實現隊列消費
package MultiThread; import java.util.ArrayList; import java.util.concurrent.ExecutorService; import java.util.concur
2020-02-22 17:19:29
原创 HDFS HA java API 實戰
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; impor
2020-02-22 17:19:29
原创 從源碼編譯Cloudera CDH 5.7.1的Spark2.1.1
參考：https://rui.sh/build_cloudera_spark_from_source.html $ ./make-distribution.sh -DskipTests \ -Dhadoop.versio
2020-02-22 17:19:29