Hbase 多版本

原創 看穿数据之美 2020-04-16 16:26

hbase支持多版本存儲，其一條數據的多版本是以timestamp來標識的。

設置多版本

  1. .新建測試表
hbase(main):032:0* create 'tmp_mutilversion', {NAME => 'f', VERSIONS => 5}
0 row(s) in 2.2860 seconds

hbase(main):006:0> desc 'tmp_mutilversion'
Table tmp_mutilversion is ENABLED                                                                                                                                                                                                                                             
tmp_mutilversion                                                                                                                                                                                                                                                              
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                                                                                   
{NAME => 'f', BLOOMFILTER => 'ROW', VERSIONS => '5', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}  
1 row(s) in 0.0290 seconds
  1. put 測試數據
put 'tmp_mutilversion','rk1111','f:q1','v10'
put 'tmp_mutilversion','rk1112','f:q1','v20'
put 'tmp_mutilversion','rk1113','f:q1','v30'
put 'tmp_mutilversion','rk1114','f:q1','v40'
put 'tmp_mutilversion','rk1115','f:q1','v50'
put 'tmp_mutilversion','rk1116','f:q1','v60'
put 'tmp_mutilversion','rk1112','f:q1','v21'
put 'tmp_mutilversion','rk1113','f:q1','v31'
put 'tmp_mutilversion','rk1114','f:q1','v41'
put 'tmp_mutilversion','rk1117','f:q1','v70'
put 'tmp_mutilversion','rk1118','f:q1','v80'
put 'tmp_mutilversion','rk1119','f:q1','v90'
put 'tmp_mutilversion','rk1113','f:q1','v32'
put 'tmp_mutilversion','rk1114','f:q1','v42'
  1. scan表看結果，直接看是看不到多個版本的，直接查看到的是最新的那條數據
hbase(main):047:0> scan 'tmp_mutilversion'
ROW                                                                  COLUMN+CELL                                                                                                                                                                                              
 rk1111                                                              column=f:q1, timestamp=1586916990543, value=v10                                                                                                                                                          
 rk1112                                                              column=f:q1, timestamp=1586916990644, value=v21                                                                                                                                                          
 rk1113                                                              column=f:q1, timestamp=1586916990718, value=v32                                                                                                                                                          
 rk1114                                                              column=f:q1, timestamp=1586916991906, value=v42                                                                                                                                                          
 rk1115                                                              column=f:q1, timestamp=1586916990615, value=v50                                                                                                                                                          
 rk1116                                                              column=f:q1, timestamp=1586916990630, value=v60                                                                                                                                                          
 rk1117                                                              column=f:q1, timestamp=1586916990683, value=v70                                                                                                                                                          
 rk1118                                                              column=f:q1, timestamp=1586916990694, value=v80                                                                                                                                                          
 rk1119                                                              column=f:q1, timestamp=1586916990707, value=v90                                                                                                                                                          
9 row(s) in 0.0350 seconds
  1. 查看多版本

hbase(main):001:0> get 'tmp_mutilversion','rk1114',{COLUMN => 'f:q1', VERSIONS => 2}
COLUMN                                                               CELL                                                                                                                                                                                                     
 f:q1                                                                timestamp=1586916991906, value=v42                                                                                                                                                                       
 f:q1                                                                timestamp=1586916990671, value=v41                                                                                                                                                                       
1 row(s) in 0.2300 seconds

hbase(main):002:0> get 'tmp_mutilversion','rk1114',{COLUMN => 'f:q1', VERSIONS => 5}
COLUMN                                                               CELL                                                                                                                                                                                                     
 f:q1                                                                timestamp=1586916991906, value=v42                                                                                                                                                                       
 f:q1                                                                timestamp=1586916990671, value=v41                                                                                                                                                                       
 f:q1                                                                timestamp=1586916990598, value=v40                                                                                                                                                                       
1 row(s) in 0.0090 seconds
  1. 查看wal日誌
Sequence=4 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1111, column=f:q1
Sequence=5 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1112, column=f:q1
Sequence=6 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1113, column=f:q1
Sequence=7 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1114, column=f:q1
Sequence=8 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1115, column=f:q1
Sequence=9 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1116, column=f:q1
Sequence=10 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1112, column=f:q1
Sequence=11 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1113, column=f:q1
Sequence=12 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1114, column=f:q1
Sequence=13 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1117, column=f:q1
Sequence=14 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1118, column=f:q1
Sequence=15 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1119, column=f:q1
Sequence=16 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:30 CST 2020
row=rk1113, column=f:q1
Sequence=17 , region=0b085a4a81c0fa739c4117970f75ac7c at write timestamp=Wed Apr 15 10:16:31 CST 2020
row=rk1114, column=f:q1
  1. 查看hfile文件，可能需要手動flush一下這個表
K: rk1111/f:q1/1586916990543/Put/vlen=3/seqid=4 V: v10
K: rk1112/f:q1/1586916990644/Put/vlen=3/seqid=10 V: v21
K: rk1112/f:q1/1586916990566/Put/vlen=3/seqid=5 V: v20
K: rk1113/f:q1/1586916990718/Put/vlen=3/seqid=16 V: v32
K: rk1113/f:q1/1586916990659/Put/vlen=3/seqid=11 V: v31
K: rk1113/f:q1/1586916990583/Put/vlen=3/seqid=6 V: v30
K: rk1114/f:q1/1586916991906/Put/vlen=3/seqid=17 V: v42
K: rk1114/f:q1/1586916990671/Put/vlen=3/seqid=12 V: v41
K: rk1114/f:q1/1586916990598/Put/vlen=3/seqid=7 V: v40
K: rk1115/f:q1/1586916990615/Put/vlen=3/seqid=8 V: v50
K: rk1116/f:q1/1586916990630/Put/vlen=3/seqid=9 V: v60
K: rk1117/f:q1/1586916990683/Put/vlen=3/seqid=13 V: v70
K: rk1118/f:q1/1586916990694/Put/vlen=3/seqid=14 V: v80
K: rk1119/f:q1/1586916990707/Put/vlen=3/seqid=15 V: v90
Scanned kv count -> 14

從上述測試來看，設置了多版本{5}以後，不同對於同一條數據不同timestamp的數據，是存放在同一個hfile文件中。

那麼，假設建表時默認只有一個version，那麼同一個rk還能寫入多條數據嗎？

  1. 建測試表
hbase(main):009:0* create 'tmp_singleversion', {NAME => 'f', VERSIONS => 1}
0 row(s) in 2.3990 seconds

=> Hbase::Table - tmp_singleversion
hbase(main):010:0> desc 'tmp_singleversion'
Table tmp_singleversion is ENABLED                                                                                                                                                                                                                                            
tmp_singleversion                                                                                                                                                                                                                                                             
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                                                                                   
{NAME => 'f', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}  
1 row(s) in 0.0210 seconds
  1. 輸入同樣的數據
put 'tmp_singleversion','rk1111','f:q1','v10'
put 'tmp_singleversion','rk1112','f:q1','v20'
put 'tmp_singleversion','rk1113','f:q1','v30'
put 'tmp_singleversion','rk1114','f:q1','v40'
put 'tmp_singleversion','rk1115','f:q1','v50'
put 'tmp_singleversion','rk1116','f:q1','v60'
put 'tmp_singleversion','rk1112','f:q1','v21'
put 'tmp_singleversion','rk1113','f:q1','v31'
put 'tmp_singleversion','rk1114','f:q1','v41'
put 'tmp_singleversion','rk1117','f:q1','v70'
put 'tmp_singleversion','rk1118','f:q1','v80'
put 'tmp_singleversion','rk1119','f:q1','v90'
put 'tmp_singleversion','rk1113','f:q1','v32'
put 'tmp_singleversion','rk1114','f:q1','v42'
  1. 同樣scan
hbase(main):025:0> scan 'tmp_singleversion'
ROW                                                                  COLUMN+CELL                                                                                                                                                                                              
 rk1111                                                              column=f:q1, timestamp=1586918408170, value=v10                                                                                                                                                          
 rk1112                                                              column=f:q1, timestamp=1586918408288, value=v21                                                                                                                                                          
 rk1113                                                              column=f:q1, timestamp=1586918408533, value=v32                                                                                                                                                          
 rk1114                                                              column=f:q1, timestamp=1586918409641, value=v42                                                                                                                                                          
 rk1115                                                              column=f:q1, timestamp=1586918408257, value=v50                                                                                                                                                          
 rk1116                                                              column=f:q1, timestamp=1586918408271, value=v60                                                                                                                                                          
 rk1117                                                              column=f:q1, timestamp=1586918408350, value=v70                                                                                                                                                          
 rk1118                                                              column=f:q1, timestamp=1586918408367, value=v80                                                                                                                                                          
 rk1119                                                              column=f:q1, timestamp=1586918408505, value=v90                                                                                                                                                          
9 row(s) in 0.0150 seconds
  1. 查看多版本看看
hbase(main):028:0> get 'tmp_singleversion','rk1114',{COLUMN => 'f:q1', VERSIONS => 5}
COLUMN                                                               CELL                                                                                                                                                                                                     
 f:q1                                                                timestamp=1586918409641, value=v42                                                                                                                                                                       
1 row(s) in 0.0040 seconds

hbase(main):029:0> get 'tmp_singleversion','rk1114',{COLUMN => 'f:q1', VERSIONS => 2}
COLUMN                                                               CELL                                                                                                                                                                                                     
 f:q1                                                                timestamp=1586918409641, value=v42                                                                                                                                                                       
1 row(s) in 0.0040 seconds
  1. wal
Sequence=4 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1111, column=f:q1
Sequence=5 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1112, column=f:q1
Sequence=6 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1113, column=f:q1
Sequence=7 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1114, column=f:q1
Sequence=8 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1115, column=f:q1
Sequence=9 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1116, column=f:q1
Sequence=10 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1112, column=f:q1
Sequence=11 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1113, column=f:q1
Sequence=12 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1114, column=f:q1
Sequence=13 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1117, column=f:q1
Sequence=14 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1118, column=f:q1
Sequence=15 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1119, column=f:q1
Sequence=16 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:08 CST 2020
row=rk1113, column=f:q1
Sequence=17 , region=76c57383a915f168383bff0c26d59251 at write timestamp=Wed Apr 15 10:40:09 CST 2020
row=rk1114, column=f:q1

6.hfile

K: rk1111/f:q1/1586918408170/Put/vlen=3/seqid=4 V: v10
K: rk1112/f:q1/1586918408288/Put/vlen=3/seqid=10 V: v21
K: rk1113/f:q1/1586918408533/Put/vlen=3/seqid=16 V: v32
K: rk1114/f:q1/1586918409641/Put/vlen=3/seqid=17 V: v42
K: rk1115/f:q1/1586918408257/Put/vlen=3/seqid=8 V: v50
K: rk1116/f:q1/1586918408271/Put/vlen=3/seqid=9 V: v60
K: rk1117/f:q1/1586918408350/Put/vlen=3/seqid=13 V: v70
K: rk1118/f:q1/1586918408367/Put/vlen=3/seqid=14 V: v80
K: rk1119/f:q1/1586918408505/Put/vlen=3/seqid=15 V: v90
Scanned kv count -> 9

所以多版本這部分數據發生了什麼？

查看日誌，可以看出最後正式提交後就是9條數據了。所以wal中寫入後，在memstore到在flush的過程中，就對多餘的版本做出處理了，生成的hfile就是這9條數據。具體還有待研究源碼拉。

2020-04-15 10:50:05,940 DEBUG org.apache.hadoop.hbase.regionserver.HRegionFileSystem: Committing store file hdfs://hbase/data/default/tmp_singleversion/76c57383a915f168383bff0c26d59251/.tmp/360a0fbdaa5a46c4bf94da028c6a0679 as hdfs://hbase/data/default/tmp_singleversion/76c57383a915f168383bff0c26d59251/f/360a0fbdaa5a46c4bf94da028c6a0679
2020-04-15 10:50:05,962 INFO org.apache.hadoop.hbase.regionserver.HStore: Added hdfs://hbase/data/default/tmp_singleversion/76c57383a915f168383bff0c26d59251/f/360a0fbdaa5a46c4bf94da028c6a0679, entries=9, sequenceid=19, filesize=5.1 K

另一種情況，也是實際使用的情況

  1. 建測試表
hbase(main):037:0* create 'tmp_single', {NAME => 'f', VERSIONS => 1}
0 row(s) in 2.3840 seconds

=> Hbase::Table - tmp_single
hbase(main):038:0> desc 'tmp_single'
Table tmp_single is ENABLED                                                                                           
tmp_single                                                                                                            
COLUMN FAMILIES DESCRIPTION                                                                                           
{NAME => 'f', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_E
NCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '6
5536', REPLICATION_SCOPE => '0'}                                                                                      
1 row(s) in 0.0370 seconds
  1. 輸入第一部分數據
put 'tmp_single','rk1111','f:q1','v10'
put 'tmp_single','rk1112','f:q1','v20'
put 'tmp_single','rk1113','f:q1','v30'
put 'tmp_single','rk1114','f:q1','v40'
put 'tmp_single','rk1115','f:q1','v50'
put 'tmp_single','rk1116','f:q1','v60'
put 'tmp_single','rk1117','f:q1','v70'
put 'tmp_single','rk1118','f:q1','v80'
put 'tmp_single','rk1119','f:q1','v90'
  1. flush以生成hfile
K: rk1111/f:q1/1586920978622/Put/vlen=3/seqid=4 V: v10
K: rk1112/f:q1/1586920978659/Put/vlen=3/seqid=5 V: v20
K: rk1113/f:q1/1586920978674/Put/vlen=3/seqid=6 V: v30
K: rk1114/f:q1/1586920978688/Put/vlen=3/seqid=7 V: v40
K: rk1115/f:q1/1586920978701/Put/vlen=3/seqid=8 V: v50
K: rk1116/f:q1/1586920978717/Put/vlen=3/seqid=9 V: v60
K: rk1117/f:q1/1586920978733/Put/vlen=3/seqid=10 V: v70
K: rk1118/f:q1/1586920978748/Put/vlen=3/seqid=11 V: v80
K: rk1119/f:q1/1586920980686/Put/vlen=3/seqid=12 V: v90
Scanned kv count -> 9
  1. 再輸入多版本部分的數據
put 'tmp_single','rk1112','f:q1','v21'
put 'tmp_single','rk1113','f:q1','v31'
put 'tmp_single','rk1114','f:q1','v41'
put 'tmp_single','rk1113','f:q1','v32'
put 'tmp_single','rk1114','f:q1','v42'

5.查看錶

hbase(main):065:0> scan 'tmp_single'
ROW                                                                  COLUMN+CELL                                                                                                                                                                                              
 rk1111                                                              column=f:q1, timestamp=1586920978622, value=v10                                                                                                                                                          
 rk1112                                                              column=f:q1, timestamp=1586921446825, value=v21                                                                                                                                                          
 rk1113                                                              column=f:q1, timestamp=1586921446867, value=v32                                                                                                                                                          
 rk1114                                                              column=f:q1, timestamp=1586921448047, value=v42                                                                                                                                                          
 rk1115                                                              column=f:q1, timestamp=1586920978701, value=v50                                                                                                                                                          
 rk1116                                                              column=f:q1, timestamp=1586920978717, value=v60                                                                                                                                                          
 rk1117                                                              column=f:q1, timestamp=1586920978733, value=v70                                                                                                                                                          
 rk1118                                                              column=f:q1, timestamp=1586920978748, value=v80                                                                                                                                                          
 rk1119                                                              column=f:q1, timestamp=1586920980686, value=v90                                                                                                                                                          
9 row(s) in 0.0420 seconds

6.flush 會生成一個新的hfile，查看

K: rk1112/f:q1/1586921446825/Put/vlen=3/seqid=17 V: v21
K: rk1113/f:q1/1586921446867/Put/vlen=3/seqid=20 V: v32
K: rk1114/f:q1/1586921448047/Put/vlen=3/seqid=21 V: v42
Scanned kv count -> 3

那麼應該是這樣，對於一個表的一個rk，同一次flush中，會對超出版本數的數據做出處理。不同次flush寫入同一rk數據的多版本，會在當時生成的hfile中保存；多個storfile中的多版本數據，就會在majorcompact後進行合併和丟棄，只留下最新的一條。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

巧用 TiCDC Syncpiont 構建銀行實時交易和準實時計算一體化架構

本文闡述了某商業銀行如何利用 TiCDC Syncpoint 功能，在 TiDB 平臺上構建一個既能處理實時交易又能進行準實時計算的一體化架構，用以優化其零售資格業務系統的實踐。通過遷移到 TiDB 並巧妙應用 Syncpoint，該銀行成

原創 2024-04-30 22:24:58

Apache DolphinScheduler支持Flink嗎？

隨着大數據技術的快速發展，很多企業開始將Flink引入到生產環境中，以滿足日益複雜的數據處理需求。而作爲一款企業級的數據調度平臺，Apache DolphinScheduler也跟上了時代步伐，推出了對Flink任務類型的支持。 Flink

原創 2024-04-30 11:49:27

華爲云云原生FinOps解決方案，釋放雲原生最大價值

華爲云云原生FinOps通過可視化的成本洞察和成本優化，幫助用戶精細用雲以提升單位成本的資源利用率，實現降本增效目標 企業上雲現狀：上雲趨勢持續加深，但云上開支存在顯著浪費 根據Flexer 2024年最新的一項調查顯示，當前有超過7

原創 2024-04-29 22:33:46

三喜臨門！信必優連收三家金融行業客戶表揚信

近日，信必優陸續收到全球知名銀行客戶、中國證券行業TOP級客戶、中國期貨行業TOP級客戶的表揚信。 客戶高度讚揚我司員工在工作中表現突出，以積極主動、團結協作的工作態度和出色的技術能力，在技術團隊中做出表率，爲項目的順利交付做出重要貢獻。

原創 2024-04-29 22:32:22

數字化轉型新篇章：企業通往智能化的新範式

早在十多年前，一些具有前瞻視野的企業以實現“數字化”爲目標啓動轉型實踐。但時至今日，可以說尚無幾家企業能夠在真正意義上實現“數字化”。 在實現“數字化”的征途上，人們發現，努力愈進，彷彿終點愈遠。究其原因，還在於轉型一直落後於技術邊界的拓展

原創 2024-04-29 21:22:20

從NoSQL到NewSQL——10年代大數據浪潮下的技術革新

引言     在數字化浪潮的推動下，數據庫技術已成爲支撐數字經濟的堅實基石。騰訊雲 TVP《技術指針》聯合《明說三人行》特別策劃的直播系列——【中國數據庫前世今生】，我們將通過五期直播，帶您穿越五個十年，深入探討每個時代的數據庫演變

原創 2024-04-28 23:12:26

“百團大戰”下，20年代的國產數據庫如何乘風破浪？

引言       在數字化浪潮的推動下，數據庫技術已成爲支撐數字經濟的堅實基石。騰訊雲 TVP《技術指針》聯合《明說三人行》特別策劃的直播系列——【中國數據庫前世今生】，我們將通過五期直播，帶您穿越五個十年，深入探討每個時代的數據庫

原創 2024-04-28 23:12:24

大數據小白的測試成長之路

引言 22年校招入職京東後，我一直在數據中臺測試部從事測試開發的工作。畢業後，寫的最多的文檔是測試計劃和測試報告，鮮有機會就自己的成長碼字進行回顧和總結。借“up技術人”欄目，也終於是在工作之餘回頭望，對自己這近兩年時光進行一個小總結

原創 2024-04-28 11:17:19

如何從0到1設計診斷系統

引言        在整車電子電氣體系中，診斷系統的設計扮演着至關重要的角色，負責支持整車的刷寫、故障排查和EOL(End of Line)等關鍵操作。這一重要性在於這些操作的實現都依賴於診斷系統的全面支持。因此，在設計診斷系統時，必須確保

原創 2024-04-26 22:43:26

華爲雲Stack8.3面向香港正式發佈，六大亮點激發雲上躍遷

本文分享自華爲雲社區《華爲雲Stack8.3面向香港正式發佈，六大亮點激發雲上躍遷》，作者：華爲雲頭條。 2024年4月23日，在華爲雲香港峯會2024上，華爲混合雲副總裁胡玉海面向香港市場發佈華爲雲Stack8.3，提供110+本地

原創 2024-04-26 10:33:21

對接HiveMetaStore，擁抱開源大數據

本文分享自華爲雲社區《對接HiveMetaStore，擁抱開源大數據》，作者：睡覺是大事。 1. 前言 適用版本：9.1.0及以上 在大數據融合分析時代，面對海量的數據以及各種複雜的查詢，性能是我們使用一款數據處理引擎最重要的考量

原創 2024-04-24 22:33:08

重磅新品發佈！雲耀數據庫HRDS，享受輕量級的極致體驗

本文分享自華爲雲社區《重磅新品發佈！雲耀數據庫HRDS，享受輕量級的極致體驗！》，作者：GaussDB 數據庫。 所謂，凡有井水處，即能歌柳詞。 大數據時代，凡有數據處，必有數據庫。 隨着業務需求的不斷擴大和數據量的激增，數

原創 2024-04-23 22:32:33

沙特2030年願景和對中國IT企業的市場機會分析

沙特2030年願景和對中國IT企業的市場機會分析   前言：最近“開源老DJ，帶你去沙特”欄目第一期已經播出，收到了不錯的反響。見COPU官網的回顧。（https://mp.weixin.qq.com/s/3B0jNVhybxTF1xPiy

原創 2024-04-23 22:24:54

03-爲啥大模型LLM還沒能完全替代你？

1 不具備記憶能力的 它是零狀態的，我們平常在使用一些大模型產品，尤其在使用他們的API的時候，我們會發現那你和它對話，尤其是多輪對話的時候，經過一些輪次後，這些記憶就消失了，因爲它也記不住那麼多。 2 上下文窗口的限制 大模型對其inpu

原創 2024-04-23 01:07:00

入職3年-我如何做一名AI產品經理

引言 從2021年校招加入京東開始，我一直從事AI產品經理的工作，有幸見證了AI行業的熱情從一臺臺服務器燒到了全世界各個角落，也見證了京東AI中臺團隊的影響力如何一步步的擴大。從21年的迷茫到24年的堅定，很慶幸我正走在適合自己的道路上，

原創 2024-04-22 11:16:31