原创 [Javascript]Sublime Text 3相關設置
1. Sublime Text 3註冊碼 —– BEGIN LICENSE —– Michael Barnes Single User License EA7E-821385 8A353C41 872A0D5C DF9B2950
2020-06-20 05:21:24
原创 [Nutch]Hadoop動態增加DataNode節點和TaskTracker節點
在之前的博文有對分佈式模式做負載均衡設置，那麼這次我們就來說明一下如果動態增加DataNode結點和TaskTracker結點。 1. 在host1上增加host4 使用如下命令： vi conf/slaves 如下： 2.
2020-06-20 05:21:24
原创 [Nutch]Hadoop多機完全分佈式模式hadoop配置
1. 下載hadoop 使用如下命令： wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 使用如下命令解壓： t
2020-06-20 05:21:24
原创 [產品經理]產品經理和項目經理的職責
產品經理和項目經理區別： 職位 職責 產品經理 1.靠想 2.做正確的事 3.側重判斷力和創造力 4.做不做 5.做什麼 6.做多少 項目經理 1.靠做 2.正確的做事 3
2020-06-20 05:21:24
1
原创 [Nutch]hadoop啓用回收站
目前hadoop在默認情況下是沒有啓用回收站的，如果文件被刪除是沒有辦法恢復的，所以我們需求啓用回收站，以便於恢復已經刪除的文件。 1. 用hadoop創建一個文件夾 使用如下的命令在hadoop的文件系統裏面創建一個文件夾u
2020-06-20 05:21:24
原创 [Nutch]hadoop完全分佈式模式負載設置
在上一篇博文有介紹hadoop的完全分佈式模式的配置，但是沒有對負載進行均衡設置，本篇博文就來說明將NameNode,SecondaryNameNode,JobTracker分別指定到三臺主機上。 1. 指定Secondary
2020-02-22 09:39:51
原创 [Nutch]Hadoop多機完全分佈式模式主機配置
在上一篇博文中我們有介紹hadoop的單機僞分佈式模式的使用，那麼現在我們就來看下多機完全分佈式模式。 1. 多主機配置 1.1 對多臺機器進行主機名設置 用root賬戶使用如下命令： vim /etc/hostname 分別對三
2020-02-22 09:39:51
原创 [Nutch]問題解決：Exception in thread "main" java.io.IOException: Failed to set permissions of path
1. 問題描述 在運行Nutch的時候可能會遇到如下問題： Exception in thread “main” java.io.IOException:Failed to set permissions of path:\tm
2020-02-22 09:39:51
原创 [Nutch]Hadoop動態刪除DataNode節點和TaskTracker節點
在之前的博文有說明動態添加一個結點，本次就說明如何動態刪除一個結點。 在上一篇博文有講解如何限制一個結點的連接，要動態刪除一個結點，可以在這個基礎之上進行配置。 1. 在host1上配置dfs.hosts.exclude 在dfs
2020-02-22 09:39:51
原创 [Nutch]編譯hadoop出現object[]無法轉換爲K[]問題解決
1. 問題描述 在使用JDK8編譯hadoop 1.2.1的時候會出現object[]無法轉換爲K[]的問題，如下： 2. 問題解決 （1）打開hadoop目錄下的InputSampler.java文件，路徑如下： hado
2020-02-22 09:39:51
原创 [產品經理]產品評審
產品評審有如下幾個階段： (1) 立項之前的產品會議：決定做不做、做多少； (2) Kick off會議：鼓舞士氣，相關干係人知曉產品相關信息； (3) 需求評審（PRD評審、UC評審、Demo評審）： (4) 設計評審
2020-02-22 09:39:51
原创 [Nutch]限制Hadoop結點連接
在上一篇博文我們有說明如何動態增加一個DataNode結點和TaskTracker結點，本次就來說明一下如何限制hadoop結點的連接。 1. 配置hdfs-site.xml文件 新增如下內容： <property> <nam
2020-02-22 09:39:40
原创 [Nutch]Nutch+Eclipse+Tomcat+Solr+Cygwin搭建Windows開發環境
1、環境準備 1.1 軟件 操作系統：Windows 10專業版 ANT版本：apache-ant-1.9.7-bin.zip JDK版本：jdk-8u65-windows-x64.exe Solr版本：solr-4.9.1
2020-02-22 09:39:40
原创 [Nutch]問題解決：Exception in thread "main" java.io.IOException: Job failed
1. 問題描述 在運行Nutch的時候會出現如下異常： Exception in thread “main” java.io.IOException: Job failed! 2. 問題原因 nutch-default.xml
2020-02-22 09:39:40
1