原创 Hive留存計算

準備表 CREATE EXTERNAL TABLE ods_app_log ( sdk_ver string ,time_zone string ,commit_id string ,commit_tim

原创 ODPS之合併與拆分-Lateral View

原文鏈接:https://help.aliyun.com/document_detail/87722.html?spm=a2c4g.11186623.2.9.41a11230wnHcpj Lat

原创 Python封裝mysql操作方法

class DBTool(object): conn = None cursor = None def __init__(self, conn_dict): self.conn = pymysq

原创 Shell實現Hive表結構全備份

登錄hive服務器,新建一個shell腳本,內容如下 #!/bin/bash #原樣輸出一段文字可以用CAT cat<<EOF **************************************************** 功

原创 Hive-ORC文件存儲格式

原文鏈接:http://www.lai18.com/content/24596525.html?from=cancel Hive-ORC文件存儲格式 轉自:http://www.lai18.co

原创 三種常見字符編碼簡介:ASCII、Unicode和UTF-8

三種常見字符編碼簡介:ASCII、Unicode和UTF-8 什麼是字符編碼?        計算機只能處理數字,如果要處理文本,就必須先把文本轉換爲數字才能處理。最早的計算機在設計時採用8個比特(bit)作爲一個字節(byte),所以,

原创 DB2 SQL實現小計 總計彙總

SELECT DECODE(ID,1,TO_CHAR(DATA_PRD,'YYYYMMDD'),2,TO_CHAR(DATA_PRD,'YYYYMMDD'),3,'總計') 調度日期 ,DECODE(ID,1,JOB_STS ,2

原创 排序算法整合(冒泡,快速,希爾,拓撲,歸併)

原文鏈接:https://blog.csdn.net/onceing/article/details/99838520 版權聲明:本文爲博主原創文章,遵循 CC 4.0 by-sa 版權協議,轉

原创 hadoop-3.1.0雙NameNode集羣安裝筆記-colby陳倫

1、修改主機名稱 vim /etc/hosts 重啓 2、修改該hosts文件,添加主機跟ip的映射關係 虛擬機網絡host-only 這個必須註釋掉 #127.0.0.1 localhost localhost.localdom

原创 MYSQL查詢json指定key的值

key:代表你要查詢的json的字段的key 以下SQL會去掉查詢結果的雙引號 select id,trim(both '"' from cast(JSON_EXTRACT(extended_para,'$.key') as char)

原创 數據建模經驗總結

主題域 主題域比較抽象,可以理解成我們要分析業務的範圍,實際開發中接觸更多的是主題,一個主題對應一個單獨的模型,一個模型則有多個實體,多個維度、多個度量。   主題 主題就是我們要分析的對象,業務關心數據實體,比如我們的訂單主題、用戶客戶

原创 Python爬蟲代理IP結合BeautifulSoup MongoDB

安裝包準備: pymongo、BeautifulSoup 實現代碼 #coding=utf-8 import requests import pymongo from bs4 import BeautifulSoup from c

原创 Linux搭建SVN服務器詳細指南

1 安裝SVN # yum install subversion: 1.新建一個目錄用於存儲SVN所有文件 1.  # mkdir /svn   2. 新建一個資源倉庫 1.  # svnadmin create /svn/edwh

原创 Python實現八大排序

原文鏈接:https://www.jianshu.com/p/060c4438de7b 1、插入排序 描述 插入排序的基本操作就是將一個數據插入到已經排好序的有序數據中,從而得到一個新的、個數加

原创 gitee碼雲git快捷入門

開源中國git,13661892653/jk**ac,https://gitee.com/profile/sshkeys 1、初始化git目錄,新建目錄test chenlun@kf-0531 MINGW32 /e/project/t