原创 當Java 22遇到 SpringBoot 3.3.0！

工程 | JOSH LONG | 0條評論 Java 22發佈快樂！ Java 22 是一個重大的進步，是一個值得升級版本。有一些重大的最終發佈功能，如 Project Panama及一系列更優秀的預覽功能。我不可能覆蓋它們全部，但我確

2024-03-24 14:00:36 6

原创 01-Spark的Local模式與應用開發入門

1 Spark 的 local 模式 Spark 運行模式之一，用於在本地機器上單機模擬分佈式計算的環境。在 local 模式下，Spark 會使用單個 JVM 進程來模擬分佈式集羣行爲，所有 Spark 組件（如 SparkContext

2024-03-23 14:01:32

原创 ClickHouse最大QPS到底咋估算？

ClickHouse是用於分析的OLAP數據庫，因此典型的使用場景是處理相對較少的請求 — 從每小時幾個到每秒幾十甚至幾百個不等 — 但會影響到大量數據（幾GB/數百萬行）。 但是在其他情況下，它的表現如何？讓我們嘗試用大量小請求來測試Cl

2024-03-23 14:01:32

原创 離線數倉建設之數據導出

爲了方便報表應用使用數據，需將ADS各項指標統計結果導出到MySQL，方便熟悉 SQL 人員使用。 1 MySQL建庫建表 1.1 創建數據庫 創建car_data_report數據庫： CREATE DATABASE IF NOT EXI

2024-03-17 14:02:22

原创 數倉開發之ODS層

優秀可靠的數倉體系，需要良好的數據分層結構。合理的分層，能夠使數據體系更加清晰，使複雜問題得以簡化。以下是該項目的分層規劃。 1 設計要點 （1）ODS層的表結構設計依託於從業務系統同步過來的數據結構 （2）ODS層要保存全部歷史數據，故其

2024-03-16 14:01:30

原创 tsv文件在大數據技術棧裏的應用場景

是的，\t 是指製表符（tab），它通常用作字段分隔符在 TSV（Tab-Separated Values）格式的文件中。TSV是一種簡單的文本格式，它使用製表符來分隔每一列中的值，而每一行則代表一個數據記錄。 TSV文件例： ID\tNa

2024-03-12 14:03:19

原创 9款世界級垂直領域軟件架構師Visio平替作圖工具！

1 LucidChart 一個基於HTML5的在線流程圖繪製和協作應用平臺，用戶可以通過它方便快速的實現流程圖表的繪製，同時還可以實現與他人進行實時的流程圖繪製和修改功能，對需要羣組協作功能的團隊來說，這點非常方便。 由於LucidCha

2024-03-08 14:00:44 2

原创 大廠的視頻推薦索引構建解決方案

關注我，緊跟本系列專欄文章，咱們下篇再續！ 作者簡介：魔都技術專家兼架構，多家大廠後端一線研發經驗，各大技術社區頭部專家博主。具有豐富的引領團隊經驗，深厚業務架構和解決方案的積累。 負責： 中央/分銷預訂系統性能優化 活動&優惠券等營銷

2024-03-07 14:01:21

原创 Docker容器實戰(00)-基礎命令大全

1 容器生命週期管理 1.1 docker start 啓動一或多個已被停止的容器。 # 啓動已被停止的容器myrunoob docker start myrunoob 1.2 docker stop 停止一個運行中的容器 docker

2024-03-05 14:02:54

原创 大廠報價查詢系統性能優化之道！

0 前言 機票查詢系統，日均億級流量，要求高吞吐，低延遲架構設計。提升緩存的效率以及實時計算模塊長尾延遲，成爲制約機票查詢系統性能關鍵。本文介紹機票查詢系統在緩存和實時計算兩個領域的架構提升。 1 機票搜索服務概述 1.1 機票搜索的業務特

2024-03-05 14:02:24 2

原创 服務發現：CP or AP？

1 服務發現的意義 爲高可用，生產環境中服務提供方都以集羣對外提供服務，集羣裏這些IP隨時可能變化，也需要用一本“通信錄”及時獲取對應服務節點，這獲取過程即“服務發現”。 對服務調用方和服務提供方，其契約就是接口，相當於“通信錄”中的姓名，

2024-03-04 14:01:24

原创 來看大廠如何設計運營後臺系統的？

0 背景 重運營的應用。對於App裏的頂導航、我的頁面、彈窗等，需要根據模式、版本、平臺、語言、渠道等不同的維度進行運營管理。隨着業務快速發展，版本快速迭代，如何： 保持運營資源能夠被高效、穩定和靈活地配置 高效穩定的爲新的運營需求提供支

2024-02-26 14:09:41 1

原创 大廠的數據質量中心繫統設計

日常工作中，數據開發上線完一個任務後並不是就可以高枕無憂，時常因上游鏈路數據異常或者自身處理邏輯的 BUG 導致產出的數據結果不可信。而問題發現可經歷較長週期（尤其離線場景），往往是業務方通過上層數據報表發現數據異常後 push 數據方去定

2024-02-21 14:01:33

原创 大廠的供應鏈採購系統設計

關注我，緊跟本系列專欄文章，咱們下篇再續！ 作者簡介：魔都技術專家兼架構，多家大廠後端一線研發經驗，各大技術社區頭部專家博主，編程嚴選網創始人。具有豐富的引領團隊經驗，深厚業務架構和解決方案的積累。 負責： 中央/分銷預訂系統性能優化

2024-02-16 14:03:23

原创 大廠的供應鏈域數據中臺設計

關注我，緊跟本系列專欄文章，咱們下篇再續！ 作者簡介：魔都技術專家兼架構，多家大廠後端一線研發經驗，各大技術社區頭部專家博主，編程嚴選網創始人。具有豐富的引領團隊經驗，深厚業務架構和解決方案的積累。負責： 中央/分銷預訂系統性能優化 活

2024-02-11 14:00:31