原创 分佈式系統複習筆記2019年秋
Introduction 分佈式系統定義（集合、單一、一致） 獨立計算機的集合，對外呈現一個單一的、一致的系統。 分佈式系統的目標（MDOS） (Make resources available)讓資源可用 (Distribution t
2020-06-21 12:22:47
1
原创 windows任務欄預覽窗口（縮略圖）設置超過1個不顯示
wind10 任務欄如果是合併狀態的話，窗口較多時會導致在一堆預覽窗口中選擇比較困難，因爲窗口太小，往往我們是根據窗口的標題去選擇，但是標題卻因爲預覽窗口寬度限制顯示不完全，還不如直接顯示標題來的方便。 我個人習慣是儘可能少的改動
2020-06-21 12:22:47
6
原创 c/c++輸入流刷新，解決不合法輸入導致的死循環問題
首先給出代碼，這段代碼的原意是，從鍵盤輸入a，然後判斷a是否讀取成功，如果沒有就打印信息，並且再次讓用戶輸入，直到用戶輸入一個合法輸入才停止。 c++代碼 #include <iostream> using namespace s
2020-06-21 12:22:47
4
原创 C++ 項目 使用 CMake 和 Google Test（傻瓜式教程）
本指南將向您展示如何通過Google的測試框架使用CMake和單元測試來設置新的C ++項目。 通過此設置，您可以立即開始使用C ++進行測試驅動的開發。 弄清楚如何將gtest添加到現有項目並開始在舊的（現有）代碼庫上進行TDD也很簡單
2020-06-21 12:22:47
222
原创 tmux 啓用鼠標控制
tmux啓用鼠標配置，網上大部分博客寫的比較老，採用的是tmux2.1之前的配置，最終蒐羅到了這篇博客，清楚的將兩個版本區別開，感謝。 查看tmux當前版本： tmux -V（大寫V） 編輯tmux配置文件 ： vim ~/.tm
2020-05-17 21:56:17
原创 分佈式數據處理--學習筆記
背景 關係完整性 關係(Relation)：D1×D2×…×Dn的子集叫做在域D1,D2,…Dn上的關係，表示爲R(D1,D2,…Dn)。R表示關係的名字，n是關係的目或度(degree)，假設有k條記錄，則k爲關係R的基維(c
2020-02-25 17:48:10
原创 Java讀寫CSV
csv文件 是比較通用的表格文件，一般我們用的CSV都是用,號分隔的，如果CSV裏面的每個格子的數據都不帶回車，那可以直接按行讀取然後用逗號分割，但如果每個格子的數據可能帶些回車，那就沒法按行讀取了，比較方便的方法是採用現成的工具
2019-07-18 02:26:57
原创 spark 調優
由於大多數spark的計算都是內存計算，因此在spark集羣中有以下瓶頸：CPU,網絡帶寬還有內存。如果內存足夠的話，主要可能就是網絡帶寬。目前主要有兩種調優方案：數據序列化和內存調整。 1. 數據序列化 序列化在任何分佈式應用中都有
2019-03-25 16:00:01
1
原创 spark學習筆記--RDD基礎
文章目錄創建RDDRDD操作轉化操作map(func)flatMap(func)filter (func)sample集合操作union、intersection、subtract、cartesian去重distinct()行動操作r
2019-03-16 04:12:11
原创 ubuntu16.04 安裝 pyspark2.4
記錄下安裝pyspark2.4那點事 首先把 java1.8 配置好（這個so easy），我這個是基於python3.7,如果沒有安裝，移步這裏 然後下載包spark-2.4.0-bin-hadoop2.7.tgz $ tar -z
2019-03-05 13:25:16
原创 ubuntu16.04 安裝SMAC
SMAC是一個基於貝葉斯優化的開源的超參調優工具，github在這裏，今天就說下如何在ubuntu16.04的環境上安裝 首先，如果系統python3是python3.5.2(默認)，那麼此時想安裝smac最後一步會報錯！！！ 所以，
2019-03-05 13:24:52
2
原创 如何學習一個開源項目源碼
你有個任務，需要用到某個開源項目;或者老大交代你一個事情，讓你去了解某個東西。怎麼下手呢？如何開始呢？我的習慣是這樣： 首先，查找和閱讀該項目的博客和資料，通過google你能找到某個項目大體介紹的博客，快速閱讀一下就能對項目的目
2019-03-05 13:24:52
原创 Ubuntu 16.04安裝python3.7+解決terminal終端打不開
爲了安裝給普通用戶，免得以後裝包老是sudo，將其裝到了/opt下 # 將/opt 歸屬給普通用戶ubuntu，看個人需求 $ sudo chown -R ubuntu /opt $ wget https://www.python.o
2019-03-05 13:24:52
原创 最詳細的Hadoop+Hbase+Hive完全分佈式環境搭建教程（二）
繼續上次的教程，這次安裝hbase與hive 一、hbase2.1.1安裝 在master節點： $ tar -zxvf hbase-2.1.1-bin.tar.gz -C /opt $ cd /opt/hbase-2.1.1/con
2018-11-14 11:10:52
1
原创 最詳細的Hadoop+Hbase+Hive完全分佈式環境搭建教程（一）
一、準備工作 1. 預備安裝包 (我將需要的包全部放到百度盤裏了，可以一次搞定，這個鏈接只管7天，評論留下郵箱私戳)： 鏈接: https://pan.baidu.com/s/15dZ9DLPln0uf0K5iVMS9pQ 提取碼:
2018-11-13 00:29:35