原创 深入淺出系列之 -- Kafka 權限管理實戰
原文鏈接：https://www.jianshu.com/p/09129c9f4c80 一、概述 1、Kafka的權限分類 1）、身份認證（Authentication）：對client
2019-08-23 04:16:43
原创 深入淺出系列之 -- Kafka核心設計與實踐原理
一、基礎概念 體系結構 Producer：生產者 Consumber：消費者 Broker：服務代理節點（kafka實例） 消息存儲 主題（Topic）：kafka消息以topic爲單位進行歸類，邏輯概念 分區（Pa
2019-08-23 04:16:43
原创 深入淺出系列之 -- kafka高可用機制|存儲機制
對於一個複雜的分佈式系統，如果沒有豐富的經驗和牛逼的架構能力，很難把系統做得簡單易維護，我們都知道，一個軟件的生命週期中，後期維護佔了70%，所以系統的可維護性是極其重要的， kafka 能成爲大數據領域的事實標準，很大原因是因爲
2019-08-14 04:02:58
原创 深入淺出系列之 -- 如何爲kafka集羣選擇合適的Topics/Partitions數
這是許多kafka使用者經常會問到的一個問題。本文的目的是介紹與本問題相關的一些重要決策因素，並提供一些簡單的計算公式。 越多的分區可以提供更高的吞吐量 首先我們需要明白以下事實：在kafka中，單個patiti
2019-08-14 04:02:58
3
原创 深入淺出系列之 -- kafka分區分配策略
生產者的分區分配 對於用戶而言，當調用send方法發送消息之後，消息就自然而然的發送到了broker中。其實在這一過程中，有可能還要經過攔截器、序列化器和分區器（Partitioner）的一系列作用之後才能被真正地發往broker。
2019-08-10 05:05:51
原创 深入淺出系列之 -- acks參數對消息持久化的影響
寫在前面 : 面試大廠時，一旦簡歷上寫了Kafka，幾乎必然會被問到一個問題：說說acks參數對消息持久化的影響？ 這個acks參數在kafka的使用中，是非常核心以及關鍵的一個參數，決定了很多東西。所以無論是爲了面試還是實際項目使用，大
2019-08-10 05:05:51
原创 深入淺出系列之 -- kafka消費者的三種語義
本文主要詳解kafka client的使用，包括kafka消費者的三種消費語義at-most-once，at-least-once，和exact-once message，生產者的使用等。 創建主題 bin/kafka-to
2019-08-09 04:59:12
原创 深入淺出系列之 -- kafka調優
背景引入：很多同學看不懂kafka參數 今天給大家聊一個很有意思的話題，大家知道很多公司都會基於Kafka作爲MQ來開發一些複雜的大型系統。而在使用Kafka的客戶端編寫代碼與服務器交互的時候，是需要對客戶端設置很多的參數的。所
2019-08-08 04:37:36
原创 深入淺出系列之 -- kafka介紹
前言： 官網解釋： Kafka是最初由Linkedin公司開發，是一個分佈式、支持分區的（partition）、多副本的（replica），基於zookeeper協調的分佈式消息系統，它的最大的特性就是可以實時的處理大量數
2019-08-08 04:37:36
原创 MySQL深層優化原理
說起MySQL的查詢優化，相信大家積累一堆技巧：不能使用SELECT *、不使用NULL字段、合理創建索引、爲字段選擇合適的數據類型….. 你是否真的理解這些優化技巧？是否理解其背後的工作原理？在實際場景下性能真有提升嗎？我想未
2019-07-30 03:27:55
原创 hadoop 3.0新特性簡單介紹
過去十年，Apache Hadoop從無到有，從理論概念演變到如今支撐起若干的生產集羣。接下來的十年，Hadoop將繼續壯大，並發展支撐新一輪的更大規模、高效和穩定的集羣。 本文將向大家全面介紹即將到來的Apache Ha
2019-07-30 03:27:55
原创 Hadoop 3.x版本增添特性--糾刪碼介紹
在hadoop 3.0版本中增添了一些新的特性,比如NameNode聯邦,糾刪碼,yarn時間線服務等。糾刪碼可以將HDFS的存儲開銷降低約50%，同時與三分本策略一樣，還可以保證數據的可用性。更準確的說是糾刪碼是一種比副本存儲更
2019-07-30 03:27:54
1
原创 hadoop fs常用到的命令整理
一、hdfs基本操作 hadoop fs 與hdfs dfs等價 1.如何查看hdfs子命令的幫助信息,如ls hdfs dfs -help rmdir 2.查看hdfs文件系統中已經存在的文件 hdfs dfs -ls / had
2019-07-30 03:27:54
原创 GRPC協議
本文會介紹gRPC和協議緩衝。gRPC可以使用協議緩衝作爲它的IDL和底層信息交換格式。如果你剛接觸gRPC或者協議緩衝，那就看本文！如果你想深入或者實戰，查看Quick Starts。 概述在GRPC裏，客戶端可以直接
2019-07-30 03:27:54
原创 hadoop balancer簡單介紹及balancer平衡速度的優化
hadoop balance官網介紹: HDFS data might not always be be placed uniformly across the DataNode. One common reason is addi
2019-07-30 03:27:54