原创 docker容器,docker commit創建ssh容器

在寫這個之前給大家推薦一個很好用的docker image 下載地方——daocloud(http://get.daocloud.io/) 對於docker容器的操作,我們可以通過 docker exec -it  <容器名 或 容器i

原创 docker二進制安裝

最近一直在弄docker離線安裝,把我的安裝步驟寫入下,希望能對感興趣的有所幫助, 安裝環境:Ubuntu-server-16.04 一.docker對於安裝環境要求很高,下面就讓我們來看看其要求: 1.必須是64位的操作系統 2.檢測

原创 docker安裝

目前Docker已經支持非常多的lInux的平臺,比如Ubuntu,centos,RHEL; docker也可以在windows和OS X中用Docker Toolbox安裝。 在這裏介紹的是在Ubuntu和centos上安裝docker

原创 docker指令介紹

運行第一個Docker容器 運行指令爲:docker <指令> 讓我們來看看docker指令的運用吧 環境:宿主機是 Ubuntu-server16 -1.info :查看docker程序工作 sudo docker in

原创 Dockerfile 創建第一個鏡像,docker

在上一篇 《運行第一個docker容器》中我說過docker build 指令是一個相對 其他指令比較複雜的指令,這裏呢就跟大家一起來分享一下該指令。 docker build指令是用來創建一個鏡像的指令, 但是創建鏡像需要一個文件叫做

原创 docker commit 創建鏡像

上一篇寫了用docker build和Dockerfile來創建我們的鏡像,這次將介紹我們如何用docker commit指令來創建我們的鏡像 說明

原创 java網絡通信——socket

最近閒來沒事,在慕課網上看了socket網絡編程,在此做些筆記,希望對感興趣的同志有所幫助。 在java中對於網絡的支持,它是根據不同的網絡層次,java有不同的類的支持。 1.InetAddress:用於標識網絡上硬件資源的(網絡的i

原创 python爬取百度音樂(二)——保存數據到mysql中

上篇博客只是爬取了網頁上的數據並打印出來,但是在實際開發應用中,數據是要持久保存起來的,數據可以保存到關係型數據庫如:mysql中或NoSQL數據庫中如:mongodb 這篇博客是把數據保存到mysql數據庫中 採用的模塊是pymysq

原创 MapReduce重寫FileInputFormat和FileOutputFormat

在mapreduce中默認的mapper輸入時LongWritable和Text,reducer輸出是part-r-00000文件。但是我們可以通過重寫FileInputFormat和FileOutputFormat類來實現自定義的map

原创 mapreduce鏈接job流

在我們的日常的數據處理中,往往不是一個MapReduce就可以把需求解決,而是要用多個MR作業來完成對一個問題的求解。但是多個MR作業是如何鏈接的呢? 在MR框架中提供了三種方法,分別是線性MR job流,複雜MR job流,job設置

原创 docker操作web化(一)

近段時間在學習docker和django,感覺光看資料沒什麼進步和實際應用經驗,於是做了一個採用django開發了一個web版操作docker的項目。 項目源碼地址:https://github.com/ldysix/dockerweb.

原创 docker操作web化(三)

 前一章節中,講解了項目的建立。從後面的章節就主要講系統的開發。 本章節講解docker版本信息開發 1.前端界面(jquery+bootstrap) 頁面代碼: <div style="width: 65%;margin: 0 aut

原创 Python-爬取百度音樂

最近閒來無事,無意間就看到了百度音樂,於是就寫了一個小爬蟲來爬取其音樂。 使用的模塊:urllib2,beautifulsoup urllib2的使用鏈接:https://docs.python.org/2/library/urllib

原创 hive簡介——java連接和數據管理的方式

在hadoop中hive擔任的是數據倉庫的角色,主要用來存儲數據,而且存儲的數據是不再修改的數據。hive集成了SQL技術,提供了類SQL的查詢語句,稱爲HQL(和類SQL語句操作一樣,在此就不再詳細介紹)。在類SQL的增刪改查操作中,H

原创 MapReduce程序編程模型

在hadoop平臺中,有一個很重要的組件——MapReduce(hadoop自帶的,不用單獨安裝),它是一個分佈式計算框架,該框架提供兩個很重要的部件——Mapper和Reducer。 MR的基本執行流程: 從圖中,我們可以看出,