原创 mycmd Demo
import os import shutil import time currPath=os.path.dirname(os.path.abspath(__file__))#動態獲取當前路徑 n=currPath def help
2020-02-20 22:09:24
原创 Python Mysql
我們來學習一下python如何操作Mysql數據庫 首先，我們需要下載PyMySQL模塊，利用PIP命令：pip install PyMySQL ok..，讓我們開始操作數據庫吧 -----------------------
2018-09-02 22:54:35
原创 CentOs7搭建hadoop集羣（僞分佈式）下
在yarn-site.xml新增 ` <property> <name>yarn.nodemanager.vmem-check-enabled</name>
2018-09-02 22:54:34
原创 CDH環境搭建遇到問題
問題描述：啓動agent時失敗，檢查日誌文件，發現如下 /opt/cloudera-manager/cm-5.3.8/lib64/cmf/agent/build/env/bin/python: error while loading
2018-09-02 22:54:34
2
原创 Django中使用easyui
---Django中使用easyui 1.我們在上一篇的demo基礎上，新建easyui目錄， 並將easyui的有關支持（locale包、themes包、jquery.easyui.min.js、jquery.min.js）放該目錄下
2018-09-02 22:54:34
11
原创 flume篇
flume介紹 日誌數據收集器 flume使用步驟 定義source，channel(通道),sink(轉存的位置) 啓動agent 如果有數據，就已經開始接受轉存了 flume運行機理 flume type介紹 sou
2018-09-02 22:54:34
原创 Spark編程、RDD 功能介紹、RDD 元素變換、RDD 元素操作、DATAFRAME、SparkSQL
spark中起到driver和worker之間的橋樑的是？SparkContext sc 組織rdd之間依賴關係劃分stage的是 DAGSchedule 管理taskSet的是？ TaskSchedu
2018-09-02 22:54:34
3
原创 使用scala，python完成統計數據demo
環境變量修改爲： export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_152 export PATH=PATH: JAVA_HOME/bin export HADOOP_HOME=/home/hadoo
2018-09-02 22:54:34
5
原创 Kafka篇
Kafka介紹 百度介紹 Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可>以處理消費者規模的網站中的所有動作流數據。 自我理解 kafka 消息中間件 mq 消息隊列:一種應用程序對應用程序的通信方法。
2018-09-02 22:54:34
原创 Spark簡介及其生態圈及Spark-core運行機理
hdfs:hadoop分佈式系統 spark主要使用了hadoop中hdfs 1 spark 用什麼語言實現的? Spark使用Scala語言進行實現，Scala 建立在JAVA之上 scala:是一個多範式編程語言，學
2018-09-02 22:54:34
4
原创 PySpark統計字母出現次數的平均值，及利用IPython (Jupyter) Notebook統計datas.csv數據
spark： 步驟： 1.start-dfs.sh 2.pyspark 3.[('a',3),('b',1),('c',4),('d',2),('a',7),('b',3),('c'
2018-09-02 22:54:34
20
原创 簡述大數據
大數據： 學術解釋：滿足以下四個特徵的數據： Volume（大量） Velocity（高速） Variety（多樣） Veracity（價值） 自我解釋：一臺機器不能存儲，一臺物理機器短時間內不能計算出（處理） 源於G
2018-09-02 22:54:33
1
原创 Scoket網絡編程(python/Java版)
''' 網絡：計算機與計算機之間的通信 協議： TCP：可靠，有狀態，長連接的協議（具有應答機制） 主叫方 被叫方
2018-09-02 22:54:33
原创 簡單操作play框架
play簡介： play framework是一個full-stack（全棧的）Java Web的應用框架，包括一個簡單的無狀態MVC模型，具有Hibernate的對象持續，一個基於Groovy的模板引擎，以及建立一個現代Web應用所需
2018-09-02 22:54:33
2
原创 正則
正則對數據處理，數據分析，數據校驗方面十分有用。 讓我們來學習下python中的正則模塊吧 ---------------------分割線--------------------- python中正則模塊re（regex的意思） 常用
2018-09-02 22:54:33
3