原创 jquery 給當前頁面或者跳轉後頁面添加class

html :部分  <ul class="nav"> <li ><a href="/" >首頁</a></li> <volist name="c_nav" id="vo"> <li ><a href="{$

原创 查詢數據庫 數據表佔用空間情況

查看mysql數據庫和表所佔用空間 1、數據庫所佔空間 SELECT CONCAT(TRUNCATE(SUM(data_length)/1024/1024,2),'MB') AS data_size, CONCAT(TRUNCATE

原创 PHP 生成唯一會話ID ,帶橫線 字符串

<?php function create_guid(){ $charid = strtoupper(md5(uniqid(mt_rand(), true))); $hyphen = ch

原创 thinkcmf漏洞導致網站被掛webshell木馬

大概是10月22日開始漏洞入侵,入侵版本爲thinkCMFX的所有版本,就是thinkphp3.2版本的thinkcmf   修復方法 將 HomebaseController.class.php 和 AdminbaseControlle

原创 centos tar壓縮文件,排除某個目錄

tar -zcvf  20191203.tar.gz public_html --exclude=public_html/Uploads

原创 七、flink--異步IO

一、flink異步IO概述 1.1 異步IO的需求 ​ Async I/O 是阿里巴巴貢獻給社區的一個呼聲非常高的特性,於1.2版本引入。主要目的是爲了解決數據流與外部系統交互時的通信延遲(比如等待外部系統的響應)成爲了系統瓶頸的問題。

原创 五、flink--state狀態管理機制

一、flink狀態原理 1.1 什麼是flink中的狀態?爲什麼需要狀態管理? ​ flink運行計算任務的過程中,會有很多中間處理過程。在整個任務運行的過程中,中間存在着多個臨時狀態,比如說某些數據正在執行一個operator,但是隻

原创 六、flink--容錯機制

一、flink容錯機制 1.1 flink 的容錯概述 在使用了flink的狀態管理之後,因爲此時所有的state的讀寫都只是在task本地的內存中進行,也就是state數據此時只存儲在內存中。假設當任務出現故障之後,這些在內存中的stat

原创 二、flink--集羣環境搭建

一、Flink環境搭建 1.1 flink部署方式 Flink可以選擇的部署方式有:Local、Standalone(資源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。我們主要對Standalone模式和Ya

原创 一、Elasticsearch原理與基本使用

[TOC] 一、Elasticsearch概述 1.1 什麼是搜索 ​ 搜索,就是在任何場景下,找尋想要的信息。通過關鍵字檢索出與此關鍵字有關的信息。這和查詢還不太一樣,查詢通常是在表格類型的數據中查找,字段的內容的長度往往不大。 1.

原创 二、logstash原理和使用

一、概述 1.1 logstash簡介 ​ logstash是一個數據分析軟件,主要目的是分析log日誌。整一套軟件可以當作一個MVC模型,logstash是controller層,Elasticsearch是一個model層,kiba

原创 三、kibana原理和使用

一、Kibana概述 ​ Kibana是一個開源的分析和可視化平臺,設計用於和Elasticsearch一起工作。你用Kibana來搜索,查看,並和存儲在Elasticsearch索引中的數據進行交互。你可以輕鬆地執行高級數據分析,並且

原创 六、spark--spark調優

[TOC] 一、spark調優概論 1.1 什麼是spark調優 ​ spark的計算本質是分佈式計算,程序的性能受集羣中的任何因素的影響,如:CPU、網絡帶寬、內存等。一般情況下,如果內存足夠大,那麼其他因素影響性能。然後出現調優需求

原创 三、spark--spark調度原理分析

[TOC] 一、wordcount程序的執行過程 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordC

原创 二、spark--spark core原理與使用

[TOC] 一、spark中一些基本術語 RDD:彈性分佈式數據集,是spark的核心重點算子:操作RDD的一些函數application:用戶的寫的spark程序(DriverProgram + ExecutorProgram)job:一