原创 linux安裝更新gcc

1、安裝gcc套裝: yum install cpp yum install binutils yum install glibc yum install glibc-kernheaders yum install glibc-commo

原创 python 3 安裝

1、安裝相關依賴庫,若已安裝,可忽略,若依賴庫版本低,需要更新,如yum update openssl yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqli

原创 python urllib2 發送http請求

import urllib import urllib2 url = "http://yyy/zzz/xxx.php" params = { "receiver" : "aaa", "msginfo" : "hell

原创 hadoop NameNode和SecondaryNameNode

一、NameNode Namenode 是 HDFS 的元數據服務器,管理並協調數據節點 Datanode 的工作,其內存中保存整個分佈式文件系統的兩類元數據: (1)文件系統的名字空間,即系統目錄樹(恢復這個需要FsImages和Ed

原创 Http請求頭Host字段作用

HTTP/1.0不支持Host請求頭;而在HTTP/1.1中,Host請求頭部必須存在,否則會返回400 Bad Request Host的作用是實現多個虛擬主機 假如在192.168.9.10機器上部署三個站點:www.baidu.

原创 nginx之proxy_pass配置

proxy_pass後面的url加/,表示絕對根路徑;如果沒有/,表示相對路徑,把匹配的路徑部分也傳給後端服務 如請求 http://192.168.9.10/proxy/test.html 第一種: location /pro

原创 nginx之location匹配順序

`=` 開頭表示精確匹配 `^~` 開頭表示uri以某個常規字符串開頭,不是正則匹配 `~` 開頭表示區分大小寫的正則匹配; `~*` 開頭表示不區分大小寫的正則匹配 `/` 通用匹配, 如果沒有其它匹配,任何請求都會匹配到 優先級

原创 nginx之server_name配置

server_name 指定虛擬主機的域名或者IP nginx匹配虛擬主機順序如下: 1、準確的server_name匹配,例如: server { listen 80; server_name do

原创 windows驅動環境搭建vs2017+wdk

一、安裝visual studio 2017,如下圖所示,勾選 “使用C++的桌面開發”,在右邊勾選需要的Windows 10 SDK版本,可以選擇安裝多個SDK版本,但要確保SDK版本與WDK版本一致,若不確定需要安裝哪個SDK版本,可

原创 mysql insert ignore into以及replace into用法

假設有表t1(     id int,     name varchar(32),     PRIMARY KEY (id) ) 1、insert ignore into 當插入數據時,若出現錯誤時,比如重複數據,將不返回錯誤,只以警告形

原创 docker常見錯誤

1、docker啓動報錯:docker Error starting daemon: Error initializing network controller: list bridge addresses failed: no avai

原创 hive元數據信息表

一、hive表與視圖相關的元數據表 有TBLS、TABLE_PARAMS、TBL_PRIVS,這三張表通過TBL_ID關聯。每張表只有一個TBL_ID和CD_ID 1、TBLS 該表中存儲Hive表、視圖、索引表的基本信息。 元數據表字

原创 Spark 任務性能優化淺談

1 spark on yarn(cluster模式)框架                                                                                          

原创 windows c++窗口應用程序靜默運行

一、靜默運行 1、在代碼中加上以下代碼,在cmd命令窗口執行xxx.exe時,會靜默執行 #pragma comment(linker, "/SUBSYSTEM:WINDOWS") #pragma comment(linker, "/E

原创 HDFS刪除並清空回收站

刪除文件不放入回收站:   hdfs dfs -rm -f -skipTrash /xxx 清空回收站:   hdfs dfs -expunge (執行完之後會打一個checkpoint,並不會立即執行,稍後會執行清空回收站操作)