golang快速入門[5.1]-go語言是如何運行的-鏈接器

前文

前言

  • 在上一篇文章中,我們詳細介紹了go語言編譯爲機器碼經歷的:詞法分析 => 語法分析 => 類型檢查 => 中間代碼 => 代碼優化 => 生成機器碼

  • 但是在源代碼生成執行程序的過程中,其實還經歷了鏈接等過程。總的來說一個程序的生命週期可以概括爲: 編寫代碼 => 編譯 => 鏈接 => 加載到內存 => 執行

  • 在第5章我們將對其進行逐一解釋

鏈接(link)

  • 我們編寫的程序可能會使用其他程序或程序庫( library ) 正如我們在helloworld程序中使用的fmt package

  • 我們編寫的程序必須與這些程序或程序庫一起才能夠執行

  • 鏈接是將我們編寫的程序與我們需要的外部程序組合在一起的過程

  • 鏈接器是系統軟件,在系統開發中起着至關重要的作用,因爲它可以進行單獨的編譯。您可以將它分解爲更小,更易管理的塊,然後分別進行修改和編譯,而不是將一個大型應用程序組織爲一個整體的源文件。當您更改其中一個模塊時,只需重新編譯它並重新鏈接應用程序,而無需重新編譯其他源文件。

  • 鏈接分爲兩種,靜態鏈接與動態鏈接

  • 靜態鏈接的特點在於鏈接器會將程序中使用的所有庫程序複製到最後的可執行文件中。而動態鏈接只會在最後的可執行文件中存儲動態鏈接庫的位置,並在運行時調用。

  • 因此靜態鏈接要更快,可移植,因爲它不需要在運行它的系統上存在該庫。但是在磁盤和內存上佔用更多的空間

  • 鏈接發生的過程會在兩個地方,一種是靜態鏈接會在編譯時的最後一步發生,一種是動態鏈接在程序加載到內存時發生。

  • 下面我們簡單對比一下靜態鏈接與動態鏈接

v2-f0aef22627dd4293e8cd471ebf2caa66_hd.jpg

go語言是靜態鏈接還是動態鏈接?

  • 有時會看到一些比較老的文章說go語言是靜態鏈接的,但這種說法是不準確的

  • 現在的go語言不僅支持靜態鏈接也支持動態編譯

  • 總的來說,go語言在一般默認情況下是靜態鏈接的,但是一些特殊的情況,例如使用了CGO(即引用了C代碼)的地方,則會使用操作系統的動態鏈接庫。例如go語言的net/http包在默認情況下會應用libpthread與 libc 的動態鏈接庫,這種情況會導致go語言程序虛擬內存的增加(下一文介紹)

  • go語言也支持在go build編譯時傳遞參數來指定要生成的鏈接庫的方式,我們可以使用go help buildmode 命令查看

» go help buildmode                                                                                                                                                             jackson@192
    -buildmode=archive
        Build the listed non-main packages into .a files. Packages named
        main are ignored.

    -buildmode=c-archive
        Build the listed main package, plus all packages it imports,
        into a C archive file. The only callable symbols will be those
        functions exported using a cgo //export comment. Requires
        exactly one main package to be listed.

    -buildmode=c-shared
        Build the listed main package, plus all packages it imports,
        into a C shared library. The only callable symbols will
        be those functions exported using a cgo //export comment.
        Requires exactly one main package to be listed.

    -buildmode=default
        Listed main packages are built into executables and listed
        non-main packages are built into .a files (the default
        behavior).

    -buildmode=shared
        Combine all the listed non-main packages into a single shared
        library that will be used when building with the -linkshared
        option. Packages named main are ignored.

    -buildmode=exe
        Build the listed main packages and everything they import into
        executables. Packages not named main are ignored.

    -buildmode=pie
        Build the listed main packages and everything they import into
        position independent executables (PIE). Packages not named
        main are ignored.

    -buildmode=plugin
        Build the listed main packages, plus all packages that they
        import, into a Go plugin. Packages not named main are ignored.
  • archive: 將非 main package構建爲 .a 文件. main 包將被忽略。

  • c-archive: 將 main package構建爲及其導入的所有package構建爲構建到 C 歸檔文件中

  • c-shared: 將mainpackage構建爲,以及它們導入的所有package構建到C 動態庫中。

  • shared: 將所有非 main package合併到一個動態庫中,當使用-linkshared參數後,能夠使用此動態庫

  • exe: 將main package和其導入的package構建爲成爲可執行文件

  • 本文不再介紹go如何手動使用動態庫這一高級功能,讀者只需現在知道go可以實現這一功能即可

編譯與鏈接的具體過程

  • 下面我們以helloworld程序爲例,來說明go語言編譯與鏈接的過程,我們可以使用go build命令,-x參數代表了打印執行的過程

go build  -x main.go

輸出如下:

WORK=/var/folders/g2/0l4g444904vbn8wxnrw0j_980000gn/T/go-build757876739
mkdir -p $WORK/b001/
cat >$WORK/b001/importcfg << 'EOF' # internal
# import config
packagefile fmt=/usr/local/go/pkg/darwin_amd64/fmt.a
packagefile runtime=/usr/local/go/pkg/darwin_amd64/runtime.a
EOF
cd /Users/jackson/go/src/viper/XXX
/usr/local/go/pkg/tool/darwin_amd64/compile -o $WORK/b001/_pkg_.a -trimpath "$WORK/b001=>" -p main -complete -buildid JqleDuJlC1iLMVADicsQ/JqleDuJlC1iLMVADicsQ -goversion go1.13.6 -D _/Users/jackson/go/src/viper/args -importcfg $WORK/b001/importcfg -pack -c=4 ./main.go
/usr/local/go/pkg/tool/darwin_amd64/buildid -w $WORK/b001/_pkg_.a # internal
cp $WORK/b001/_pkg_.a /Users/jackson/Library/Caches/go-build/cf/cf0dc65f39f01c8494192fa8af14570b445f6a25b762edf0b7258c22d6e10dc8-d # internal
cat >$WORK/b001/importcfg.link << 'EOF' # internal
packagefile command-line-arguments=$WORK/b001/_pkg_.a
packagefile fmt=/usr/local/go/pkg/darwin_amd64/fmt.a
packagefile runtime=/usr/local/go/pkg/darwin_amd64/runtime.a
packagefile errors=/usr/local/go/pkg/darwin_amd64/errors.a
...
EOF
mkdir -p $WORK/b001/exe/
cd .
/usr/local/go/pkg/tool/darwin_amd64/link -o $WORK/b001/exe/a.out -importcfg $WORK/b001/importcfg.link -buildmode=exe -buildid=zCU3mCFNeUDzrRM33f4L/JqleDuJlC1iLMVADicsQ/r7xJ7p5GD5T9VONtmxob/zCU3mCFNeUDzrRM33f4L -extld=clang $WORK/b001/_pkg_.a
/usr/local/go/pkg/tool/darwin_amd64/buildid -w $WORK/b001/exe/a.out # internal
mv $WORK/b001/exe/a.out main
rm -r $WORK/b001/
  • 下面我們對輸出進行逐行分析

  • 創建了一個臨時目錄,用於存放臨時文件。默認情況下命令結束時自動刪除此目錄,如果需要保留添加-work參數。

WORK=/var/folders/g2/0l4g444904vbn8wxnrw0j_980000gn/T/go-build757876739
mkdir -p $WORK/b001/
cat >$WORK/b001/importcfg << 'EOF' # internal
  • 生成編譯配置文件,主要爲編譯過程需要的外部依賴(如:引用的其他包的函數定義)

# import config
packagefile fmt=/usr/local/go/pkg/darwin_amd64/fmt.a
packagefile runtime=/usr/local/go/pkg/darwin_amd64/runtime.a
  • 編譯,生成中間結果$WORK/b001/pkg.a,

/usr/local/go/pkg/tool/darwin_amd64/compile -o $WORK/b001/_pkg_.a -trimpath "$WORK/b001=>" -p main -complete -buildid JqleDuJlC1iLMVADicsQ/JqleDuJlC1iLMVADicsQ -goversion go1.13.6 -D _/Users/jackson/go/src/viper/args -importcfg $WORK/b001/importcfg -pack -c=4 ./main.go
  • .a文件由compile命令生成,也可以通過go tool compile進行調用

  • .a類型的文件又叫做目標文件(object file),其是一個壓縮包,內部包含了_.PKGDEF`、`_go.o兩個文件,分別爲編譯目標文件和鏈接目標文件

$ file _pkg_.a # 檢查文件格式
_pkg_.a: current ar archive # 說明是ar格式的打包文件
$ ar x _pkg_.a #解包文件
$ ls
__.PKGDEF  _go_.o
  • 文件內容由代碼導出的函數、變量以及引用的其他包的信息組成。爲了弄清這兩個文件包含的信息需要查看go編譯器實現的相關代碼,相關代碼在src/cmd/compile/internal/gc/obj.go文件中(源碼中的文件內容可能隨版本更新變化,本系列文章以Go1.13.5版本爲準)

  • 下面代碼中生成ar文件,ar文件 是一種非常簡單的打包文件格式,廣泛用於linux中靜態鏈接庫文件中,文件以 字符串"!\n"開頭。隨後跟着60字節的文件頭部(包含文件名、修改時間等信息),之後跟着文件內容。因爲ar文件格式簡單,Go編譯器直接在函數中實現了ar打包過程。

  • startArchiveEntry用於預留ar文件頭信息位置(60字節),finishArchiveEntry用於寫入文件頭信息,因爲文件頭信息中包含文件大小,在寫入完成之前文件大小未知,所以分兩步完成。

func dumpobj1(outfile string, mode int) {
    bout, err := bio.Create(outfile)
    if err != nil {
        flusherrors()
        fmt.Printf("can't create %s: %v\n", outfile, err)
        errorexit()
    }
    defer bout.Close()
    bout.WriteString("!<arch>\n")

    if mode&modeCompilerObj != 0 {
        start := startArchiveEntry(bout)
        dumpCompilerObj(bout)
        finishArchiveEntry(bout, start, "__.PKGDEF")
    }
    if mode&modeLinkerObj != 0 {
        start := startArchiveEntry(bout)
        dumpLinkerObj(bout)
        finishArchiveEntry(bout, start, "_go_.o")
    }
}
  • 生成鏈接配置文件,主要爲需要鏈接的其他依賴

cat >$WORK/b001/importcfg.link << 'EOF' # internal
packagefile command-line-arguments=$WORK/b001/_pkg_.a
packagefile fmt=/usr/local/go/pkg/darwin_amd64/fmt.a
packagefile runtime=/usr/local/go/pkg/darwin_amd64/runtime.a
packagefile errors=/usr/local/go/pkg/darwin_amd64/errors.a
...
EOF
  • 執行鏈接器,生成最終可執行文件main,同時可執行文件會拷貝到當前路徑,最後刪除臨時文件

/usr/local/go/pkg/tool/darwin_amd64/link -o $WORK/b001/exe/a.out -importcfg $WORK/b001/importcfg.link -buildmode=exe -buildid=zCU3mCFNeUDzrRM33f4L/JqleDuJlC1iLMVADicsQ/r7xJ7p5GD5T9VONtmxob/zCU3mCFNeUDzrRM33f4L -extld=clang $WORK/b001/_pkg_.a
/usr/local/go/pkg/tool/darwin_amd64/buildid -w $WORK/b001/exe/a.out # internal
mv $WORK/b001/exe/a.out main
rm -r $WORK/b001/

總結

  • 在本文中,我們介紹了go程序從源代碼到運行需要經歷的重要一環——鏈接,並介紹了靜態鏈接與動態鏈接

  • 在本文中,我們用一個例子介紹了編譯與鏈接的具體過程

  • 在下文中,我們將介紹go語言的內存分配

參考資料


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章