原创 ansible學習系列之lineinfile模塊的使用
文章目錄ansible系列文章場景環境正文簡介參數樣例官方樣例修改配置文件示例參考鏈接總結隨緣求贊 ansible系列文章 ansible學習系列之tags的使用 ansible學習系列之順利啓動後臺程序 ansible學習系列之
2020-04-29 07:31:59
6
原创 ansible學習系列之become的使用
文章目錄ansible系列文章場景環境介紹參數介紹樣例官方提供個人樣例說明問題一、使用`become`好像不生效，一直報`權限不足`的問題或者需要輸入密碼1. 啓動腳本設置2. `hosts`文件裏面的主機列表設置二、使用`sud
2020-04-23 23:55:15
原创 問題解決：FTPClient在centos7上下載文件之後，文件大小不一致，缺失字符
文章目錄問題場景問題環境問題原因解決方案結果總結隨緣求贊 問題場景 最近有一個採集任務，需要使用spring-boot項目從FTP服務器下載二進制文件到本地，並進行清洗適配。這裏使用FTPClient在centos7上下載文件之後
2020-04-23 23:55:15
原创 問題解決：ftp併發讀取文件內容時，會出現ftp連接數過多，進而導致讀取文件出現問題
文章目錄場景環境問題原因解決方案1. 官方方案2. 本文的解決方法結果總結隨緣求贊 場景 ftp併發讀取文件內容時，過了一段時候，連接數過多，進而導致讀取文件出現問題，被ftp服務器給限制了。截圖如下： 環境 軟件 版本
2020-04-23 23:55:15
原创 ansible學習系列之make模塊的使用
文章目錄場景環境前置要求介紹參數介紹樣例官方提供`redis`編譯樣例說明結果總結參考鏈接隨緣求贊 場景 近期在編寫redis集羣的ansible部署腳本，因爲redis是需要在對應的服務器上面進行編譯才生成對應的可執行文件。我們
2020-04-20 12:36:18
原创 問題解決：centos7 root su "no permission to execute the command"
文章目錄問題場景問題環境問題原因沒有文件的執行權限嘗試被系統的安全模塊所限制解決方案修改執行文件的權限使用`sudo`命令進行提權使用結果總結參考鏈接隨緣求贊 問題場景 在客戶提供的服務器上面，使用root用戶，想跳轉到其他用戶，
2020-04-16 03:03:02
原创 ansible學習系列之順利啓動後臺程序
文章目錄場景環境原因嘗試添加`nohup`指令`source`環境變量結果總結參考鏈接隨緣求贊 場景 最近在編寫ansible腳本，需要啓動java後臺程序，啓動腳本如下： cd /data/adapter java -Dadap
2020-04-16 03:03:02
原创 問題解決：嘗試解決maven依賴找不到的n種姿勢
文章目錄問題場景問題環境問題原因解決方案結果總結參考鏈接吐槽隨緣求贊 問題場景 公司的原倉庫出了問題，需要更換新的倉庫。故給了一個新的倉庫地址。但是奇葩的是，更換之後，就出問題了。比如原本有A-0.0.1-SNAPSHOT.jar
2020-04-01 23:43:55
原创 問題解決：Only SubQuery expressions that are top level conjuncts are allowed
文章目錄問題場景問題環境問題原因解決方案結果總結PS 問題場景 在CDH的hue界面控制檯上面，使用hive組件，執行較爲複雜的SQL，SQL內含有in關鍵字，而in內部是關聯其他表的結果。因爲裏面含有or字段，導致hive解析S
2020-03-10 07:40:27
原创 問題解決：Not able to initialize app directories in any of the configured local directories
問題場景 集羣之前啓用了Kerberos，但是後來爲了使用方便，將相關的配置都去除了。在hive上面執行SQL，比如select a from b where a.t ='1';這句簡單的SQL都會報錯，報錯提示如下： Appli
2020-03-07 18:49:07
3
原创 免費亞馬遜服務器過期收費，申訴並得到解決
問題場景 在去年的1月份，申請了亞馬遜一年的免費服務器，在前面還用得不錯，但是後來遇上國慶等節日，服務器就沒辦法訪問了。後來就擱置了幾個月沒有去使用。等最近才發現可以使用了。今天登陸官網，想看看自己是什麼時候到期。沒想到，看到二月
2020-02-28 03:44:00
原创 問題解決：CDH集羣-無法找到主機的NTP 服務,或該服務未響應時鐘偏差請求
場景 CDH集羣啓動成功，但是有某些主機提示“無法找到主機的NTP 服務,或該服務未響應時鐘偏差請求” 問題思路 NTP服務沒有正常啓動 CDH後臺程序存在異常 解決腳本 先關閉CDH的服務，在界面進行關閉集羣服務 每
2020-02-23 03:32:01
原创 問題解決：Idea運行提示：Command line is too long
問題提示 Command line is too long. Shorten command line for TestHdfs or also for Application default configur 解決方案 在 .
2020-02-23 03:32:01
原创 spark程序優化之一：善用 persist 方法
場景 在編寫spark程序代碼的時候，如果涉及大數據運算的時候，一次計算可能得幾十分鐘甚至一個小時以上，更極端的情況則是，一個較大的對象被多次使用，導致重複計算了很多次。這種做法就會消耗資源，也會浪費我們的時間。那麼，針對這種情況
2020-02-23 03:32:01
原创 hive udf error: overloaded method value format with alternatives:
場景 spark開發udf的時候，有使用String.format函數，對數字進行格式化，結果運行報錯 報錯提示 error: overloaded method value format with alternatives:
2020-02-23 03:32:01