原创 CentOS 安裝 Hadoop

環境需求 jdk 1.8 安裝資源 https://hadoop.apache.org/releases.html 步驟 1 環境準備 ssh免密登錄 ssh-keygen -t rsa # 一路回車 cat ~/.ssh/i

原创 Python使用presto

1 使用pyhive 官網: https://github.com/dropbox/PyHive pip install pyhive ​import pandas as pd from sqlalchemy.engine imp

原创 Centos 安裝R語言環境 3.6

前言 目前R語言最新版已經是4.0以上了, 所以安裝舊版本可以通過下載源碼方式安裝。 源碼地址 https://cran.r-project.org/src/base/R-3/ 步驟 1. 下載源碼 wget https://cr

原创 JAVA 6 ~ 13 新特性總結

java 6 (2006-12-11) 命名方式變更、腳本語言、 編譯API和微型HTTP服務器API 、 鎖與同步 、垃圾收集 、 類加載 、JDBC 4.0(jdbc高級)、Java Compiler (Java™ 編程語言編

原创 NetCDF簡介

一、概述 NetCDF全稱爲network Common Data Format,中文譯法爲“網絡通用數據格式”,它是由美國大學大氣研究協會的Unidata項目科學家針對科學數據的特點開發的,是一種面向數組型並適於網絡共享的數據描

原创 CentOS 安裝Presto

前言 Presto是一個開源的分佈式SQL查詢引擎,適用於交互式分析查詢,數據量支持GB到PB字節。Presto支持在線數據查詢,包括Hive, Cassandra, 關係數據庫以及專有數據存儲。 一條Presto查詢可以將多個數

原创 CentOS 安裝Hive 3.1.2

環境需求 jdk 1.8 Hadoop 3 mysql 8 安裝資源 https://hive.apache.org/downloads.html 步驟 1 解壓, 配置環境變量 tar -xf apache-hive-3.1

原创 Linux 環境變量加載順序

概述 系統級別 /etc/profile: 此文件爲系統的每個用戶設置環境信息,當用戶第一次登錄時,該文件被執行,並從/etc/profile.d目錄的配置文件中搜集shell的設置 /etc/bashrc: 爲每一個運行

原创 Python使用國內鏡像安裝軟件包

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名 其他鏡像: 阿里雲 http://mirrors.aliyun.com/pypi/simple/ 中國

原创 Python 左側自動補0

需求 1 -> 001 方法一 '1'.rjust(3, '0') 方法二 '1'.zfill(3, '0') 方法三 '%03d' % 1 方法四 '{:03d}'.format(1)

原创 批量將文件名改爲小寫

Linux系統可以用: for f in *; do mv $f `echo $f|tr [A-Z] [a-z]`; done Windows下的語句是: FOR /R %%A IN (.) DO cd %%A && (FOR

原创 Python3 獲取調用棧信息 sys._getframe

sys._getframe([depth]) Return a frame object from the call stack. If optional integer depth is given, return the f

原创 Java 左側自動補0

需求 1 -> 01 實現 String.format("%02d", 1); 說明 %表示佔位符 0表示用0補齊 2表示補齊字符 d表示傳入值是數字

原创 MyBatis Plus到底有多好用

一句話:MyBatis Plus很好用! 基本的使用就不贅述了,移至官網(https://mp.baomidou.com/),在這裏我分享點高級的。 1. 多表關聯 思路:多表關聯查詢類似於對一個視圖(View)進行檢索,如果數據

原创 Spring 靜態成員變量注入值

需求 ObjectMapper 實際上在Spring Web的容器中已經存在,沒有必要重新new一個, 1處的objectMapper需要從Spring容器中拿到,並且在容器啓動時注入。 public class JSONUtil