原创 Excel 分列和行轉列

最近收到需求將給定的表字段和對應字段長度做整理。原文檔爲TXT格式,截圖如下: 看到後直接頭大,所以在excel中做了分列和行轉列處理。 一、分列 1.將字段信息粘貼到單元箇中。 2.找到”數據“-->"分列" 3.選擇逗號

原创 Excel VBA(Visual Basic)編程入門

Visual Basic for Applications(VBA),是依附在應用程序(例如Excel)中的VB語言。只要你安裝了Office Excel就自動默認安裝了VBA,同樣Word和PowerPoint也能調用VBA對軟

原创 Excel必知必會函數—看看你會哪幾個?

數據集: 注意:函數使用前一定要加= 第一類:文本處理函數 ● Trim函數:去空格 作用:除了單詞之間的單個空格之外,移除文本中的所有空格。 語法:TRIM(text),Text爲必需項,爲要移除空格的文本。 ● Concat

原创 三分鐘讀懂用戶畫像

一、 什麼是用戶畫像 用戶畫像是指根據用戶的屬性、偏好、生活習慣、行爲等信息,抽象出來的標籤化用戶模型。通俗說就是給用戶打標籤,而標籤是通過對用戶信息分析而來的高度精煉的特徵標識。通過打標籤可以利用一些高度概括、容易理解的特徵來描

原创 【Cassandra】 數據存儲結構

Cassandra 的數據模型是基於列族(Column Family)的四維或五維模型。它借鑑了 Amazon 的 Dynamo 和 Google’s BigTable 的數據結構和功能特點,採用 Memtable 和 SSTab

原创 代碼實現MySQL到MongoDB數據庫的數據同步

一、數據準備 MySQL 5.7 --創建數據庫 CREATE DATABASE test01; -- 建表語句 CREATE TABLE `saleorder` ( `order_id` int(11) NOT NULL,

原创 【Cassandra】數據類型和基礎語法

1.cassandra的數據類型 CQL提供了一組豐富的內置數據類型,包括集合類型。除了這些數據類型,用戶還可以創建自己的自定義數據類型。 (1)普通類型: (2)集合類型: list 列表(或稱數組)是一個或多個有序元素的集合

原创 【Cassandra】CQL查詢語句的特殊規則

表結構: CREATE TABLE employee ( name TEXT, age SMALLINT, phone TEXT, bornDate DAT

原创 行爲數倉分層案例ODS& DWD& DWS&DM& ADS

本案例只是舉例了一個通常的模型,有的項目會比現有的層數多或者少。 一、數倉分層 ODS: Operation Data Store 原始數據 DWD(數據清洗/DWI) data warehouse detail 數據明細詳情,去

原创 Hive數倉開發規範

爲了避免底層業務變動對上層需求影響過大,屏蔽底層複雜的業務邏輯,儘可能簡單、完整的在接口層呈現業務數據,建設高內聚鬆耦合的數據組織,使數據從業務角度可分割,顯得尤爲重要。從整個集團業務條線出發,形成數據倉庫總體概念框架,並對整個系

原创 Airflow調度工具簡介和使用

Airflow是airbnb家的基於DAG(有向無環圖)的任務管理系統, 最簡單的理解就是一個高級版的crontab。它解決了crontab無法解決的任務依賴問題。 本文將介紹 Airflow 這一款優秀的調度工具。主要包括 Ai

原创 前端開發5大流行框架

前端框架就是已經搭建好了的web前端基本架構並且封裝了一些功能比如html文檔操作,漂亮的各種控件等,一般用於簡化網頁設計。當我們選擇好某個前端框架進行項目開發時,只要添加自己需要的東西,就可以快速高效的完成網頁的設計。 本篇文章

原创 Confluence安裝部署

一、安裝Java 解壓縮 [root@localhost soft]# tar -xvf jdk-8u211-linux-x64.tar.gz 將文件移動到指定目錄 [root@localhost soft]# mv jdk1.

原创 Presto簡介和部署

一、Presto是什麼? Presto是一個開源的分佈式SQL查詢引擎,適用於交互式分析查詢,數據量支持GB到PB字節。 Presto的設計和編寫完全是爲了解決像Facebook這樣規模的商業數據倉庫的交互式分析和處理速度的問題。

原创 大數據十大開源查詢引擎

1.Hive Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張數據庫表,並提供完整的SQL查詢功能,可以將SQL語句轉換爲Map-Reduce任務進行運行,可以理解爲披着SQL外衣的Map-Reduc