原创 jquery 給當前頁面或者跳轉後頁面添加class
html :部分 <ul class="nav"> <li ><a href="/" >首頁</a></li> <volist name="c_nav" id="vo"> <li ><a href="{$
原创 查詢數據庫 數據表佔用空間情況
查看mysql數據庫和表所佔用空間 1、數據庫所佔空間 SELECT CONCAT(TRUNCATE(SUM(data_length)/1024/1024,2),'MB') AS data_size, CONCAT(TRUNCATE
原创 PHP 生成唯一會話ID ,帶橫線 字符串
<?php function create_guid(){ $charid = strtoupper(md5(uniqid(mt_rand(), true))); $hyphen = ch
原创 thinkcmf漏洞導致網站被掛webshell木馬
大概是10月22日開始漏洞入侵,入侵版本爲thinkCMFX的所有版本,就是thinkphp3.2版本的thinkcmf 修復方法 將 HomebaseController.class.php 和 AdminbaseControlle
原创 centos tar壓縮文件,排除某個目錄
tar -zcvf 20191203.tar.gz public_html --exclude=public_html/Uploads
原创 七、flink--異步IO
一、flink異步IO概述 1.1 異步IO的需求 Async I/O 是阿里巴巴貢獻給社區的一個呼聲非常高的特性,於1.2版本引入。主要目的是爲了解決數據流與外部系統交互時的通信延遲(比如等待外部系統的響應)成爲了系統瓶頸的問題。
原创 五、flink--state狀態管理機制
一、flink狀態原理 1.1 什麼是flink中的狀態?爲什麼需要狀態管理? flink運行計算任務的過程中,會有很多中間處理過程。在整個任務運行的過程中,中間存在着多個臨時狀態,比如說某些數據正在執行一個operator,但是隻
原创 六、flink--容錯機制
一、flink容錯機制 1.1 flink 的容錯概述 在使用了flink的狀態管理之後,因爲此時所有的state的讀寫都只是在task本地的內存中進行,也就是state數據此時只存儲在內存中。假設當任務出現故障之後,這些在內存中的stat
原创 二、flink--集羣環境搭建
一、Flink環境搭建 1.1 flink部署方式 Flink可以選擇的部署方式有:Local、Standalone(資源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。我們主要對Standalone模式和Ya
原创 一、Elasticsearch原理與基本使用
[TOC] 一、Elasticsearch概述 1.1 什麼是搜索 搜索,就是在任何場景下,找尋想要的信息。通過關鍵字檢索出與此關鍵字有關的信息。這和查詢還不太一樣,查詢通常是在表格類型的數據中查找,字段的內容的長度往往不大。 1.
原创 二、logstash原理和使用
一、概述 1.1 logstash簡介 logstash是一個數據分析軟件,主要目的是分析log日誌。整一套軟件可以當作一個MVC模型,logstash是controller層,Elasticsearch是一個model層,kiba
原创 三、kibana原理和使用
一、Kibana概述 Kibana是一個開源的分析和可視化平臺,設計用於和Elasticsearch一起工作。你用Kibana來搜索,查看,並和存儲在Elasticsearch索引中的數據進行交互。你可以輕鬆地執行高級數據分析,並且
原创 六、spark--spark調優
[TOC] 一、spark調優概論 1.1 什麼是spark調優 spark的計算本質是分佈式計算,程序的性能受集羣中的任何因素的影響,如:CPU、網絡帶寬、內存等。一般情況下,如果內存足夠大,那麼其他因素影響性能。然後出現調優需求
原创 三、spark--spark調度原理分析
[TOC] 一、wordcount程序的執行過程 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordC
原创 二、spark--spark core原理與使用
[TOC] 一、spark中一些基本術語 RDD:彈性分佈式數據集,是spark的核心重點算子:操作RDD的一些函數application:用戶的寫的spark程序(DriverProgram + ExecutorProgram)job:一