Hadoop集羣裏執行程序出現異常就要尋找日誌文件查看情況

當我們運行Hadoop執行我們的程序時,很多時候因爲我們的各種無法猜測得到的原因導致程序執行出現異常情況,當然這時的我們也會很苦惱並大聲尖叫“太TM難了,嗚嗚嗚~”,莫着急!
出現這樣的情況就需要我們冷靜下來啦,現在我們就需要去尋找異常的原因了,並不是靠我們去猜測的啦!那麼,我該如何去尋找異常情況呢?
在Hadoop裏執行程序是有日誌文件去記錄的,就好比如我們微信聊天都有聊天記錄咯。以下用一個例子進入正題吧!
異常描述:剛搭建好的Hadoop完全分佈式集羣,master機器上格式化和開啓都沒有任何異常報錯,問題來了:然後“jps”命令查看進程,master機器上的啓動進程正常,slave1機器上的進程就只有jps,接着slave2機器上的進程也正常。
尋找異常情況:這時我們就去slave1機器上尋找並查看日誌文件,具體位置就是在我們的Hadoop路徑裏的 logs 目錄裏。
在這裏插入圖片描述
所以,我們這裏slave1的日誌就圖上的slave目錄裏了,進入到裏面就可以看到後綴名爲.log的日誌文件了。如下圖:
在這裏插入圖片描述
所以我們用more指令查看日誌文件的內容就好了,按照上圖就執行以下指令咯;

more hadoop-root-datanode-slave1.log

命令執行後就會有執行的情況的了,針對上面的情況查看了日誌文件有以下異常信息:
在這裏插入圖片描述
在異常信息可以看到,配置文件yarn-site.xml的18行出現了問題,那麼接下來就轉到該文件的18行查看了具體問題了。以下時該文件的配置內容:
在這裏插入圖片描述
問題就顯現出來啦,解決了!保存文件重新啓動就可以了!

You can believe that you can find the way back to it. (英語有點渣,見諒!)

若有不足之處望留言!

——————END———————
Programmer:柘月十七

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章