原创 MapReduce企業優化,Hadoop企業優化

MapReduce企業優化,Hadoop企業優化 MapReduce跑的慢的原因 Mapreduce 程序效率的瓶頸在於兩點: 1.計算機性能 CPU、內存、磁盤健康、網絡 2.I/O 操作 (1)數據傾斜 (2)map和redu

原创 Hive 數據操作 DML 數據導入 導出 上傳 下載

Hive 的DML數據操作 數據導入(上傳) 向表中裝載數據(Load) 1.語法 hive> load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite

原创 大數據是啥?大數據特點 大數據概念

大數據 大數據概念 大數據(bigdata):指無法在一定時間範圍內用常規軟件工具進行捕捉,管理和處理的數據集合,是海量,高增長率和多樣性的信息資產。 主要解決海量數據的存儲和海量數據的分析計算問題。 大數據特點 簡稱:4V 大量

原创 mybatis中mapper.xml文件中的模糊查詢 like '%XXX%'

mybatis中mapper.xml文件中的模糊查詢 like concat( ‘%’,#{XXX},’%’) sql語句: SELECT * FROM table WHERE Method LIKE CONCAT('%', #{

原创 layUI前臺"2020-04-01T16:00:00.000+0000"日期格式轉換

layUI前臺"2020-04-01T16:00:00.000+0000"日期格式轉換 實現: 2020-04-01T16:00:00.000+0000 => 2020-04-02 00:00:00 注:由於我的數據庫timeZo

原创 前端獲取頁面上輸入的值

layui前端獲取頁面上輸入的值 <div class="layui_page"> <div> <input type="text" name="title" id="txt"value="

原创 前端js,jQ獲取後端(ModelAndView)的數據

一、前端js,jQ獲取後端(ModelAndView)的數據 1、將model中的值賦給hidden,然後Js獲取隱藏域的值。 後臺的實現: @RequestMapping("/QEditorMod1") public S

原创 Sqoop簡介 原理

Sqoop簡介 Apache Sqoop™是一種旨在有效地在Apache Hadoop和諸如關係數據庫等結構化數據存儲之間傳輸大量數據的工具。 Sqoop是一款開源的工具,主要用於在Hadoop(Hive)與傳統的數據庫(mysq

原创 kafka的ack機制

kafka的ack機制 kafka的ack機制有3種:0,1,-1 這3種會圍繞持久性和延時性來比較 0:最差的持久性,最低的延時性 producer不等待broker同步完成的確認,就繼續發送下一批消息,當服務器發生故障時,就很

原创 數據庫時區問題,爲什麼前端取到的時間和數據庫中不一致

數據庫時區問題,爲什麼前端取到的時間和數據庫中不一致 原因: 時區不一致,多數情況下,你數據庫中的time_zone的值爲SYSTEM 解決辦法: url=jdbc:mysql://127.0.0.1:3306/yourDB? s

原创 layui中的字體顏色設置 字符串顏色改變

layui中的字體顏色設置 字符串顏色改變 layui改變顏色非常方便 '字符串'.fontcolor("顏色英文單詞"); 例子: {field:'state', width:160, title: '訂單狀態',

原创 HDFS的讀寫數據流

HDFS的數據流 HDFS寫數據流程 1)客戶端通過Distributed FileSystem模塊向NameNode請求上傳文件,NameNode檢查目標文件是否已存在,父目錄是否存在。 2)NameNode返回是否可以上傳。

原创 layui動態模板中的if else

layui js中的if else <script type="text/html" id="titleTpl"> {{# if(xxxx){ }} {{# } else if(xxxxx) { }} {{# } else {

原创 layui中的templet中的if語句

layui中的templet中的if語句 {fixed: 'right', title:'操作', width:90, templet:function(data){ if(data.state ==0)

原创 虛擬機 網絡不可達 連不上網 Destination Host Unreachable

虛擬機網絡 分兩種類型: 1,可以連外網,不可以連內網 2,可以連內網,不可以連外網 第一種的解決辦法 配置net連接 第二種的解決辦法 輸入命令:route add default gw 網關地址