原创 API接口接口-如何設計？安全如何保證？簽名如何實現？防重如何實現？
說明：在實際的業務中，難免會跟第三方系統進行數據的交互與傳遞，那麼如何保證數據在傳輸過程中的安全呢（防竊取）？除了https的協議之外，能不能加上通用的一套算法以及規範來保證傳輸的安全性呢？ 下面我們就來討論下常用的一些API設計的安全方
2020-07-02 19:02:29
原创 spark的性能優化boss版
1.分配資源 提交spark作業時，用的spark-submit shell腳本，裏面調整對應的參數 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.cor
2020-06-16 15:45:26
原创 將註冊中心從 Consul 無縫的遷移到 Nacos ？
近日，國外的商業軟件公司HashiCorp在官網宣佈：不允許中國境內使用、部署和安裝該企業旗下的【企業版】產品和軟件。 PLEASE NOTE THAT THE SOFTWARE MAY NOT BE USED, DEPLOYED OR
2020-06-16 15:45:26
原创 滴滴HBase大版本滾動升級之冒險
原創 唐天航 滴滴技術 桔妹導讀：滴滴HBase團隊日前完成了0.98版本 -> 1.4.8版本滾動升級，用戶無感知。新版本爲我們帶來了豐富的新特性，在性能、穩定性與易用性方便也均有很大提升。我們將整個升級過程中面臨的挑戰、進行
2020-06-16 15:45:26
原创 Elasticsearch分佈式一致性原理剖析之節點篇
前言 “Elasticsearch分佈式一致性原理剖析”系列將會對Elasticsearch的分佈式一致性原理進行詳細的剖析，介紹其實現方式、原理以及其存在的問題等(基於6.2版本)。 ES目前是最流行的分佈式搜索引擎系統，其使用Luce
2020-06-16 15:45:26
原创 架構進階篇之解決方案架構設計實踐的方法、模型與思維
本文旨在探討解決方案架構設計過程的方法，原則與邏輯思想以及根據經驗提煉出的一套解決方案架構的方法。 這是我前一段時間幫公司面試解決方案架構師時的感慨。跟幾位 10+ 年經驗的技術軟件架構師面試下來，感覺技術能力都很過關, 尤其是對
2020-06-16 15:45:26
原创 業務修養篇-業務理解有偏差，產品和開發如何達成共識？
阿里妹導讀：在考慮如何對業務模型進行抽象從而建立領域模型之前，必須解決業務與產品、開發之間“溝通”的問題。如何讓業務人員和開發人員順暢溝通，在業務流程設計中不遺漏成敗攸關的業務場景？如何才能讓業務溝通的過程順暢過渡到架構設計、編碼乃至測試
2020-06-16 15:45:26
原创 ES系列13：搞懂徹底掌握相關度：從TF-IDF、BM25到對相關度的控制
帶着問題學習才高效 ES 5.0 之前，默認的相關性算分採用的是 TF-IDF，而之後則默認採用 BM25。 1、什麼是相關性/相關度？Lucene 是如何計算相關度的？ 2、TF-IDF 和 BM25 究竟是什麼？ 3、相關度
2020-06-16 15:45:26
原创 Elasticsearch分佈式一致性原理剖析之Meta篇
前言 “Elasticsearch分佈式一致性原理剖析”系列將會對Elasticsearch的分佈式一致性原理進行詳細的剖析，介紹其實現方式、原理以及其存在的問題等(基於6.2版本)。前一篇的內容包括了ES的集羣組成、節點發現與Maste
2020-06-16 15:45:26
原创 Kryo對象序列化的來龍去脈
本文主要梳理Kryo序列化基本實現。重點剖析Kryo#writeClassAndObject、Kryo#readClassAndObject方法。 kryo對象序列化入口爲Kryo的writeClassAndObject。 Kryo#w
2020-06-16 15:45:26
原创 高併發：RocketMQ 削峯帶項目地址的實戰
MQ的主要特點爲解耦、異步、削峯，該文章主要記錄與分享個人在實際項目中的RocketMQ削峯用法，用於減少數據庫壓力的業務場景，其中RocketMQ的核心組件概念如下： Producer：生產發送消息 Broker：存儲Produc
2020-06-16 15:45:26
原创 Oozie的基本操作
四大服務組件概覽： Oozie Workflow： 該組件用於定義和執行一個特定順序的mapreduce、hive和pig作業。 Oozie Coordinator：該組件用於支持基於事件、系統資源存在性等條件的workflow的自動化
2020-06-03 00:15:57
原创 Hive的核心入門到上手
hive ------------------ 在hadoop處理結構化數據的數據倉庫。 不是: 關係數據庫 不是OLTP 實時查詢和行級更新。 hive特點 ----------
2020-06-03 00:15:47
原创 MapReduce的性能優化之概覽
一、調優的目的 充分的利用機器的性能，更快的完成mr程序的計算任務。甚至是在有限的機器條件下，能夠支持運行足夠多的mr程序。 二、調優的總體概述 從mr程序的內部運行機制，我們可以瞭解到一個mr程序由mapper和reduc
2020-06-03 00:15:47
原创 Sqoop的從入門到簡單上手
下載地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.3.6.tar.gz 參考： http://archive.cloudera.com/cdh5/cdh/5/
2020-06-03 00:15:47