hadoop源碼解析---INodeReference機制

本文主要介紹了hadoop源碼中hdfs的INodeReference機制。

在hdfs2.6版本中，引入了許多新的功能，一些原有的源代碼設計也有一定的改造。一個重要的更新就是引入了快照功能。但是當HDFS文件或者目錄處於某個快照中，並且這個文件或者目錄被重命名或者移動到其他路徑時，該文件或者目錄就會存在多條訪問路徑。INodeReference就是爲了解決這個問題產生的。

問題描述

/a是hdfs中的一個普通目錄，s0爲/a的一個快照，在/a目錄下有一個文件test。根據快照的定義，我們可以通過/a/test以及/a/snapshot/s0/test訪問test文件。

但是當用戶將/a/test文件重命名成/x/test1時，通過快照路徑/a/snapshot/s0/test將無法訪問test文件，這種情況是不符合快照規範的。

引入INodeReference

爲了解決上述問題，hdfs引入了INodeReference類。圖1-1給出了INodeReference的繼承關係圖。這裏的WithName,WithCoount,DstReference都是INodeReference的子類，同時也是INodeReference的內部類。WithName對象用於替代重命名操作前源路徑中的INode對象，DstReference對象則用於替代重命名操作後目標路徑中的INode對象，WithName和DstReference共同指向了一個WithCount對象，WithCount對象則指向了文件系統目錄樹中真正的INode對象。

圖1

INodeReference代碼實現

INodeReference是一個抽象類，它拓展自INode類，所以INodeReference及其子類是可以添加到文件系統目錄樹中以替代原有的INodeFile節點的。INodeReference定義了referred字段，這個字段用於保存當前INodeReference類指向的INode節點，所以WithName和RstReference，referred字段就指向了WithCount對象，對於WithCount，referred指向了真正的INode對象。INodeReference還定義了getReferredINode()方法，在文件系統目錄樹的操作中，如果判斷當前節點是一個引用節點，則會調用getReferredINode()方法獲取INodeReference指向的INode對象。

public abstract class INodeReference extends INode {
    private INode referred;//指向的INode節點
    public INodeReference(INode parent,INode referred){
        super(parent);
        this.referred = referred;
    }
    public final INode getReferredINode() {  //獲取指向的INode節點
        return referred;
    }
    public final void setReferredINode(INode referred) {
        this.referred = referred;
    }
    //...
}

然後，我們在來看看WithCount類的實現。

WithCount類定義了一個集合字段withNameList用於保存所有指向這個WithCount對象的WithName對象集合。WithCount類還定義了addReference()方法，任何指向WithCount對象的WithName對象以及DstReference對象都需要調用這個方法來添加指向關係。對於指向這個WithCount對象的DstReference對象，addReference()方法會將這個對象設置爲自己的父INode節點；而對於WithName對象，addReference()方法則將這個對象放入withNameList集合中保存。

public static class WithCount extends INodeReference {
    //保存所有指向這個WithCount對象的WithName對象的集合
    private final List<WithName> withNameList = new ArrayList<WithName>();
    
    public WithCount(INodeReference parent,INode referred) {
        super(parent,referred); //調用父類的構造方法，指向文件系統目錄樹中的INode
        Preconditions.checkArgument(!referred.isReference());
        refferred.setParentReferenct(this); //設置真實INode的父節點爲當前WithCount對象
    }
    
    public void addReferenct(INodeReference ref){
        if ( ref instanceof WithName) { //如果是WithName對象，則加入withNameList
            WithName refWithName = (WithName) ref;
            int i = Collections.binarySearch(withNameList, refWithName,WITHNAME_COMPARATOR)；
            Preconditions.checkState(i<0);
            withNameList.add(-i-1,refWithName);
        } else if (ref instanceof DstReference) { //如果是DstReference對象，則設置爲父節點
            setParentReference(ref);
        }
    }
    //...
}

看完WithCount後，在看看WithName和DstReference。WithName類定義了name字段用於保存重命名前文件的名稱，同事定義了lastSnapshotId字段用於保存WithName對象構造時源路徑的快照版本號。DstReference類的實現就更簡單了，只定義了一個dstSnapshotId字段用於保存重命名操作前目標路徑的最新快照的版本號。WithName和DstReference在構造時都會調用父類的構造方法指向WithCount對象，同時還會調用WithCount.addReference()方法配置WithCount對象。

public static class WithName extend INodeReference {
    private final byte[] name;//重命名前的文件名
    private final int lastSnapshotId;
    public WithName(INodeDirectory parent,WithCount referred,bytep[] name,int lastSnapshotId){
        super(parent,referred); //調用父類構造方法，指向WithCount節點
        this.name = name;
        this.lastSnapshotId = lastSnapshotId;
        referred.addReferenct(this); //調用WithCount.addReferenct()
     }
     //...
}

public static class DstReference extends INodeReference {
    private final int dstSnapshotId;
    public DstReference (INodeDirectory parent,WithCount referred,final int dstSnapshotId){
    super(parent,referred);
    this.lastSnapshotId = lastSnapshotId;
    referred.addReferenct(this); //調用WithCount.addReferenct()
  }
  //..
}