原创 高併發場景下秒殺系統的設計思路 原

1 概述 秒殺系統之所以難做,是因爲在極短的時間內涌入大量的請求,來同時訪問有限的服務資源,從而造成系統負載壓力大,甚至導致系統服務癱瘓以及宕機的可能。本文會介紹秒殺系統中存在的痛點以及針對這些點的優化思路。 2 秒殺系統是什麼鬼 如:

原创 SpringBoot + Mybatis + RESTful(Jersey) 頂 原 薦

概述 Spring Boot是由Pivotal團隊提供的全新框架,其設計目的是用來簡化新Spring應用的初始搭建以及開發過程。Spring Boot 內置了大量的常用習慣性的配置,使你無需手動配置,使用 Spring Boot 你可以不

原创 Spring 4 + Quartz(任務調度框架)詳解 頂 原 薦

簡介     Quartz是一個完全由java編寫的開源作業調度框架,它可以用來創建簡單或爲運行十個,百個,甚至是好幾萬個Jobs這樣複雜的程序。爲確保可伸縮性,Quartz採用了基於多線程的架構。啓動時,框架初始化一套worker線程,

原创 大數據平臺Hadoop的分佈式集羣環境搭建 原 薦

1 概述 本文章介紹大數據平臺Hadoop的分佈式環境搭建、以下爲Hadoop節點的部署圖,將NameNode部署在master1,SecondaryNameNode部署在master2,slave1、slave2、slave3中分別部署

原创 分佈式實時日誌分析解決方案ELK部署架構 頂 原 薦

一、概述 ELK 已經成爲目前最流行的集中式日誌解決方案,它主要是由Beats、Logstash、Elasticsearch、Kibana等組件組成,來共同完成實時日誌的收集,存儲,展示等一站式的解決方案。本文將會介紹ELK常見的架構以及

原创 分佈式消息隊列Kafka的集羣部署 原 薦

1 概述 Apache Kafka 是一個分佈式高吞吐量的流消息系統,Kafka建立在ZooKeeper同步服務之上。它與Apache Storm和Spark完美集成,用於實時流數據分析,與其他消息傳遞系統相比,Kafka具有更好的吞吐量

原创 如何理解並正確使用MySql索引 頂 原 薦

1、概述 索引是存儲引擎用於快速查找記錄的一種數據結構,通過合理的使用數據庫索引可以大大提高系統的訪問性能,接下來主要介紹在MySql數據庫中索引類型,以及如何創建出更加合理且高效的索引技巧。 注:這裏主要針對的是InnoDB存儲引擎的

原创 Spring Boot整合WebSocket介紹 頂 原

WebSocket 簡介 WebSocket 是 HTML5 一種新的協議。它實現了瀏覽器與服務器全雙工通信,能更好的節省服務器資源和帶寬並達到實時通訊,它建立在 TCP 之上,同 HTTP 一樣通過 TCP 來傳輸數據,但是它和 HTT

原创 WebSocket子協議STOMP詳解 頂 原

1. STOMP簡介 STOMP即Simple (or Streaming) Text Orientated Messaging Protocol,它是一個簡單的文本消息傳輸協議,提供了一個可互操作的連接格式,允許STOMP客戶端與任意S

原创 SpringBoot集成Redis來實現緩存技術方案 頂 原 薦

概述 在我們的日常項目開發過程中緩存是無處不在的,因爲它可以極大的提高系統的訪問速度,關於緩存的框架也種類繁多,今天主要介紹的是使用現在非常流行的NoSQL數據庫(Redis)來實現我們的緩存需求。 Redis簡介 Redis 是一個開

原创 大型分佈式文件系統HDFS的整體架構 原

1 概述 HDFS是分佈式文件系統,具有高度容錯能力,運行在廉價的機器上。HDFS提供對應用程序數據的高吞吐量訪問,適用於具有大型數據集的應用程序。 2 HDFS特性 (1)可用於存儲超大文件,如(GB,TB,PB)級別的文件。 (2)

原创 Kafka架構設計簡介 原 薦

1、概述 Apache Kafka 是一個分佈式高吞吐量的流消息系統,Kafka建立在ZooKeeper同步服務之上。它與Apache Storm和Spark完美集成,用於實時流數據分析,與其他消息傳遞系統相比,Kafka具有更好的吞吐量

原创 搭建Keepalived + Nginx + Tomcat的高可用負載均衡架構 原 薦

1 概述 初期的互聯網企業由於業務量較小,所以一般單機部署,實現單點訪問即可滿足業務的需求,這也是最簡單的部署方式,但是隨着業務的不斷擴大,系統的訪問量逐漸的上升,單機部署的模式已無法承載現有的業務量,需要進行服務集羣化部署,本文主要介紹

原创 大數據框架MapReduce的map與reduce任務數合理設置 原

1 概述 MapReduce是一個高度抽象的大數據作業執行組件,整個作業過程主要有兩個,分別是map與reduce,本文主要介紹MapReduce中的map與reduce任務數設置的方式,以及如何合理的設置map與reduce的任務數。 

原创 生產環境消息隊列ActiveMQ的數據積壓優化過程 原

1 概述 最近生產環境的消息通知隊列發生了大量的數據積壓問題,從而影響到整個平臺商戶的交易無法正常進行,最後只能通過臨時關閉交易量較大的商戶來緩解消息隊列積壓的問題,經線上數據分析,我們的消息隊列在面對交易突發洪峯的情況下無法快速的消費並