原创 Java各種各樣的鎖

本人Java經驗不是很多,在開發的過程中,經常會聽到悲觀鎖樂觀鎖 可重入鎖 遞歸鎖 共享鎖獨佔鎖 偏向鎖 自旋鎖 是不是被各種各樣的鎖概念搞的暈頭轉向 悲觀鎖: 悲觀鎖指的是數據對外界的修改採取保守策略,它認爲線程很容易會把數據

原创 python 使用sys.stdin和fileinput讀入標準輸入的方法

使用sys.stdin 讀取標準輸入 [root@c6-ansible-20 script]# cat demo02.py #! /usr/bin/env python from __future__ import prin

原创 IDEA Structure窗口簡單說明

一般選擇默認 加上按字母排序,顯示public方法,通過方法入口進入查看調用鏈 Show Fields類中(內部類)變量 Show Properties 類中變量對應的getter setter方法

原创 阿里數據中臺架構圖

更多 來自公共號木東居士

原创 坑坑坑!!!idea引入maven項目,jar包導入都正常,但是代碼引入包報錯

通過idea導入一個maven項目之後,代碼中引入包報錯,不知道咋回事,查了好久,各種方法都試了,最後解決了 reimport和clean都做過還是一樣報錯 重新啓動了idea還是不行 刪掉本地倉重新導入不行 刪除文件夾下的.i

原创 twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.

➜ /Users/liuzhiwei/PycharmProjects/py_code> git:(master) ✗ pip install pycryptodome Collecting pycryptodome Dow

原创 Mac 修改pip源

今天在使用pip安裝第三包的過程中發現特別慢 ,還容易失敗重試,記得在之前看過有國內源之類的 國內pip源列表 阿里雲 http://mirrors.aliyun.com/pypi/simple/ 中國科技大學 https:

原创 hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wh

原创 hive-2.3.6 使用transform

現有原始 json 數據(rating.json)如下 {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":"661","rate":"

原创 開啓Hadoop/Yarn的日誌監控功能

配置 yarn-site.xml 開啓日誌聚合 日誌聚集是YARN提供的日誌中央化管理功能,它能將運行完成的Container/任務日誌上傳到HDFS上,從而減輕NodeManager負載,且提供一箇中央化存儲和分析機制。默認情

原创 Hadoop WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exi

/Users/liuzhiwei/app/hadoop/logs> code yarn-liuzhiwei-nodemanager-lzw-mac.lan.log 2020-03-09 00:22:48,081 WARN org

原创 解決idea 每次新建項目需要重新配置maven

File->Other Settings-->Setting for New Projects->設置maven倉庫即可

原创 Hive優化

https://blog.csdn.net/wxfghy/article/details/81361400

原创 Hive導入導出方式

Hive中追加導入數據的4種方式是什麼?請寫出簡要語法 從本地導入: load data local inpath ‘/home/1.txt’ (overwrite)into table student; 從Hdfs導入:

原创 Mac os command line: wget: command not found

使用wget 命令提示 sudo: wget: command not found 說明系統未安裝過wget 使用brew install wget Homebrew簡稱brew,Homebrew是一款Mac OS平臺下的軟