原创 遇到問題---python-requests--put----request method get not support

情況 我們有一個java的服務端 使用代碼如下: @PutMapping("/api/updateMsg") public ResponseEntity<MyObject> putMyObject( @RequestB

原创 Linux---積累----處理文本技巧---去重

對文本的內容進行去重是一個 很常見的需求,excel也可以進行處理但是有數量的限制,而linux更適用於處理比較大的數據量的去重,更大的數據量去重則需要考慮使用spark等大數據框架進行運算。 本文記錄 linux實現去重的操作命

原创 kubernetes--基礎--k8s的pod之間的服務訪問

配置了ingress後 外網可以訪問 配置的域名來 訪問到服務api 但是k8s集羣內pod用 外網地址去訪問時 走的是外網的流量。 k8s的pod之間相互訪問,最好使用servicename的方式去訪問。 servicena

原创 aws--efs---使用efs創建k8s的動態pvc

我們之前使用EBS作爲k8s的動態pvc的pv,但是EBS不支持ReadWriteMany類型的聲明。 所以嘗試使用efs作爲存儲底層來聲明pvc。 動態pvc聲明方案 創建efs文件存儲系統 使用命令 # 創建EFS Secur

原创 k8s--kubernetes--argo----使用動態存儲PVC---基於nfs 的storageclass

PVC簡介 Docker中有 volumes的概念,在Docker中,volume是 對 物理節點服務器node路徑目錄的一種映射,也就是 我們可以把服務器的一個目錄掛載給鏡像使用。 同樣的,k8s創建的pod也可以掛載volum

原创 aws----塊存儲efs的全面瞭解

efs簡介 Amazon Elastic File System 可擴展的、彈性原生雲 NFS 文件系統,每月 0.08 USD/GB Amazon EFS 是一項完全託管的服務,讓您可以輕鬆地在 Amazon 雲中設置和擴展文件

原创 利用 EFS 快速搭建 NFS 文件系統

Amazon Elastic File System (Amazon EFS) 是AWS雲上一個全託管的彈性NFS文件系統服務。EFS具有簡單易用並可擴展的特性,與AWS的其他雲服務緊密集成,同時也可以被本地數據中心所使用。EFS

原创 linux--積累--分析清理服務器大文件--分析清理磁盤空間

Linux系統中如果發現/目錄剩餘空間不足,又不新增磁盤掛載,可以使用du和df命令來對找到 不用的大文件,對它們進行刪除,從而騰出足夠的空間。 詳細的操作步驟記錄如下: df判斷佔空間多的目錄 使用df命令輸出如下: [root

原创 hadoop基礎----hadoop實戰(十四)-----hadoop管理工具---CDH移除主機

注意事項 在CDH的Hadoop集羣中提供有主機解除授權和將節點移除集羣的操作 正常情況下節點的解除授權不會導致blocks丟失的情況,但是在某些特殊場景中還是會出現小量blocks的丟失。 比如: 1、同時下線的節點數量太多,如

原创 遇到問題--python--mongodb--pymongo.errors.CursorNotFound: Cursor not found

情況 使用代碼如下: import pymongo client = pymongo.MongoClient() db = client['db_name'] col = db['col_name'] demos = col.fi

原创 hadoop組件---spark實戰-----airflow----調度工具airflow定時運行任務的理解

我們在前面已經初步瞭解了 airflow: hadoop組件—spark實戰-----airflow----調度工具airflow的介紹和使用示例 但是 我們開始 嘗試使用 airflow的 定時任務的時候 ,常常遇到一個尷尬的情

原创 數據挖掘(五) -----基於Spark的可伸縮基因數據分析平臺開源存儲運算架構hail全面瞭解和安裝

hail簡介 hail是一個開源的、通用的、面向python數據類型的處理基因數據專用的分析庫和方法解決方案。 hail的存在是 爲了 支持 多維度的複雜的數據結構,比如 全基因組關聯數據研究(GWAS). GWAS Tutori

原创 如何測試 Amazon Elastic File System

許多客戶對 Amazon EFS 倍加推崇,因爲它使得在雲中創建並運行高度可擴展、高度可用且高持久性的共享文件系統變得格外輕鬆。只需短短數秒,就可以創建一個符合 NFSv4 的文件系統,並將其掛載到多個(多達數千個)Amazon

原创 hadoop組件---spark實戰----spark on k8s模式k8s原生方式安裝spark2.4.4 client mode和使用

我們在之前的文章中已經安裝了cluster mode模式和嘗試了使用。 hadoop組件—spark實戰----spark on k8s模式k8s原生方式安裝spark2.4.4 cluster mode hadoop組件—spa

原创 通過 Amazon EFS 對 NFS 文件系統權限進行細粒度控制

傳統的NFS服務是企業應用裏非常常見的網絡存儲服務。用戶在搭建NFS服務時,需要對權限進行相應的設置,以防止未授權的客戶端非法訪問遠程文件存儲。NFS的權限管理主要依賴Linux文件系統的文件權限管理機制,並通過 /etc/exp