原创 springboot 中CommandLineRunner/ApplicationRunner接口的作用

先看CommandLineRunner 接口的API: package org.springframework.boot; import org.springframework.core.Ordered; import org.sprin

原创 12306”的架構到底有多牛逼

12306 搶票,極限併發帶來的思考   雖然現在大多數情況下都能訂到票,但是放票瞬間即無票的場景,相信大家都深有體會。   尤其是春節期間,大家不僅使用 12306,還會考慮“智行”和其他的搶票軟件,全國上下幾億人在這段時間都在搶票。

原创 用zookeeper實現簡單的發佈訂閱功能

發佈方Provider的代碼 package com.zhuyun.release.subscribe;   import org.apache.zookeeper.CreateMode; import org.apache.zookee

原创 BI的體系架構及相關技術

一個BI系統爲了滿足企業管理者的要求,從浩如煙海的資料中找出其關心的數據,必須要做到以下幾步: 1)爲了整合各種格式的數據,清除原有數據中的錯誤記錄——數據預處理的要求。 2)對預處理過數據,應該統一集中起來——元數據(Meta Data

原创 MySQL事務日誌

作者 | Amazing10 還記得剛上研究生的時候,導師常掛在嘴邊的一句話,“科研的基礎不過就是數據而已。”如今看來,無論是人文社科,還是自然科學,或許都可在一定程度上看作是數據的科學。 倘若剝開研究領域的外衣,將人的操作抽象出來,那麼

原创 MYSQL讀寫分離,主從複製的原理

作爲一名java程序員,求職面試時時常會遇到類似這樣的問題: 你有沒有做過MySQL讀寫分離?如何實現MySQL的讀寫分離?說說MySQL主從複製原理?如何解決 MySQL主從同步延時問題?1、MySQL的讀寫分離 說到讀寫分離,我們先了

原创 Linux上elasticSearch的安裝和部署流程

elasticsearch的安裝和部署流程(單節點) 1.將elasticsearch-6.6.1上傳到服務器指定位置之後進行解壓到/usr/local/ tar -zxvf elasticsearch-6.6.1 2.將解壓後的包放到指

原创 Python 操作字符串大全

python字符串操作實方法大合集,包括了幾乎所有常用的python字符串操作,如字符串的替換、刪除、截取、複製、連接、比較、查找、分割等,需要的朋友可以參考下 1、去空格及特殊符號 s.strip().lstrip().rstrip('

原创 Java大數據技術棧

大數據技術板塊劃分 數據採集     flume kafka logstash filebeat ...          數據存儲     mysql redis hbase hdfs ...          數據查詢     hiv

原创 Hadoop3.2.1版本的環境搭建(僞分佈式模式)

Hadoop的安裝包括3中模式: (1)單機模式:只在一臺機器上運行,存儲採用本地文件系統,沒有采用分佈式文件系統HDFS。 (2)僞分佈式模式:存儲採用分佈式文件系統HDFS,但是HDFS的節點和數據節點都在同一節點。 (2)分佈式模式

原创 requests.get爲什麼得到的內容和查看源文件不一樣?

由於初學爬蟲 嘗試着在beausoup庫和re正則間來回爬去加強對兩種方法的理解 但是利用正則的時候出現了一個這麼個問題 源文件打開 找到的元素 在requests.get竟然沒有.當我們輸出一下html.text時我們發現 竟然和源文件

原创 DASH、HLS和MP4格式有什麼播放體驗區別

視頻點播支持視頻轉碼的輸出格式主要有DASH、HLS和MP4,這三種的播放體驗如表1所示。 表1 視頻播放體驗比較 視頻格式 播放體驗 流量佔用情況 DASH 對視頻進行切片,按切片播放,緩存小起播快; 拖動時間軸到任

原创 redis使用過程中的緩存穿透,緩存擊穿緩,存雪崩問題

一、前言 在我們日常的開發中,無不都是使用數據庫來進行數據的存儲,由於一般的系統任務中通常不會存在高併發的情況,所以這樣看起來並沒有什麼問題,可是一旦涉及大數據量的需求,比如一些商品搶購的情景,或者是主頁訪問量瞬間較大的時候,單一使用數據

原创 Hash算法和一致性Hash算法詳解

Hash算法在路由算法應用中,爲了保證數據均勻的分佈,例如有3個桶,分別是0號桶,1號桶和2號桶;現在有12個球,怎麼樣才能讓12個球平均分佈到3個桶中呢?使用Hash算法的做法是,將12個球從0開始編號,得到這樣的一個序列:0,1,2,

原创 Java中volatile和內存模型(JMM)

volatile 應該算是Java 後端面試的必考題,因爲多線程編程基本繞不開它,很適合作爲併發編程的入門題。 開場 面試官:你先自我介紹一下吧! 安琪拉:   我是安琪拉,草叢三婊之一,最強中單(鍾馗不服)!哦,不對,串場了,我是**,