你知道字節序嗎

字節序

最近在調一個自定義報文的接口時，本來以爲挺簡單的，發現踩了好幾個坑，其中一個比較“刻骨銘心”的問題就是數據的字節序問題。

背景

自定義報文，調用接口，服務端報文解析失敗
[外鏈圖片轉存失敗(img-xj32FhCD-1568560175194)(https://raw.githubusercontent.com/FantasticLBP/knowledge-kit/master/assets/2019-09-15-BigEndian.png)]

iOS 小端序

查看 iOS 設備使用的端序

 if (NSHostByteOrder() == NS_LittleEndian) {
    NSLog(@"NS_LittleEndian");
} if (NSHostByteOrder() == NS_BigEndian) {
    NSLog(@"NS_BigEndian");
} else {
    NSLog(@"Unknown");
}

概念

字節序，字節順序，又稱端序或尾序（Endianness），在計算機科學領域中，指「存儲器」中或者「數字通信鏈路」中，組成多字節的字的字節排列順序。

在幾乎所有的機器上，多字節對象都被存儲爲連續的字節序列。例如在 C 語言中，一個 int 類型的變量 x 地址爲 0x100，那麼其對應的地址表達式 &x 的值爲 0x100，且 x 的4個字節將被存儲在存儲器的 0x100,0x101,0x102,0x103 位置。

字節的排列方式有2個通用規則。例如一個多位整數，按照存儲地址從低到高排序的字節中，如果該整數的最低有效字節（類似於最低有效位）排在最高有效字節前面，則成爲**“小端序“；反之成爲”大端序“**。在計算機網絡中，字節序是一個必須要考慮的因素，因爲不同類型的機器可能採用不同標準的字節序，所以均需要按照網絡標準進行轉化。

假設一個類型爲 int 的變量 x，位於地址 0x100 處，它的值爲 0x01234567，地址範圍爲 0x100～0x103字節，其內部的排列順序由機器決定，也就是和 CPU 有關，和操作系統無關。

• 大端序（Big Endian）：也叫大尾序。高字節存儲在內存的低地址

  地址增長方向	內存地址序號	16進制
  ↓	0x100	01
  ↓	0x101	23
  ↓	0x102	45
  ↓	0x103	67

• 小端序（Little Endian）：也叫小尾序。低字節存儲在內存的低地址

  地址增長方向	內存地址序號	16進制
  ↓	0x100	67
  ↓	0x101	45
  ↓	0x102	23
  ↓	0x103	01

緣起

“endian”一詞來源於十八世紀愛爾蘭作家喬納森·斯威夫特（Jonathan Swift）的小說《格列佛遊記》（Gulliver’s Travels）。小說中，小人國爲水煮蛋該從大的一端（Big-End）剝開還是小的一端（Little-End）剝開而爭論，爭論的雙方分別被稱爲“大端派”和“小端派”。以下是1726年關於大小端之爭歷史的描述：

“我下面要告訴你的是，Lilliput和Blefuscu這兩大強國在過去36個月裏一直在苦戰。戰爭開始是由於以下的原因：我們大家都認爲，吃雞蛋前，原始的方法是打破雞蛋較大的一端，可是當今皇帝的祖父小時候吃雞蛋，一次按古法打雞蛋時碰巧將一個手指弄破了。因此他的父親，當時的皇帝，就下了一道敕令，命令全體臣民吃雞蛋時打破雞蛋較小的一端，違令者重罰。老百姓們對這項命令極其反感。歷史告訴我們，由此曾經發生過6次叛亂，其中一個皇帝送了命，另一個丟了王位。這些叛亂大多都是由Blefuscu的國王大臣們煽動起來的。叛亂平息後，流亡的人總是逃到那個帝國去尋求避難。據估計，先後幾次有11000人情願受死也不肯去打破雞蛋較小的一端。關於這一爭端，曾出版過幾百本大部著作，不過大端派的書一直是受禁的，法律也規定該派任何人不得做官。”
—— 《格列夫遊記》 第一卷第4章 蔣劍鋒（譯）

1980年，丹尼·科恩（Danny Cohen），一位網絡協議的早期開發者，在其著名的論文"On Holy Wars and a Plea for Peace"中，爲平息一場關於字節該以什麼樣的順序傳送的爭論，而第一次引用了該詞。

字節順序

對於單一的字節（a byte），大部分處理器以相同的順序處理位元（bit），因此單字節的存放方法和傳輸方式一般相同。
對於多字節數據，如整數（32位機中一般佔4字節），在不同的處理器的存放方式主要有兩種：大、小端序。

拓展

以內存中0x0A0B0C0D的存放方式爲例，分別有以下幾種方式：
注：0x 前綴代表十六進制。

1. 大端序

數據以8bit爲單位:

地址增長方向 →

… 0x0A 0x0B 0x0C 0x0D …

示例中，最高位字節是0x0A 存儲在最低的內存地址處。下一個字節0x0B存在後面的地址處。正類似於十六進制字節從左到右的閱讀順序。

數據以16bit爲單位:

地址增長方向 →

… 0x0A0B 0x0C0D …

最高的16bit單元0x0A0B存儲在低位。

2. 小端序

數據以8bit爲單位:

地址增長方向 →

… 0x0D 0x0C 0x0B 0x0A …

最低位字節是0x0D 存儲在最低的內存地址處。後面字節依次存在後面的地址處。

數據以16bit爲單位:

地址增長方向 →

… 0x0C0D 0x0A0B …

最低的16bit單元0x0C0D存儲在低位。

更改地址的增長方向:
當更改地址的增長方向，使之由右至左時，表格更具有可閱讀性。

← 地址增長方向

… 0x0A 0x0B 0x0C 0x0D …

最低有效位（LSB）是0x0D 存儲在最低的內存地址處。後面字節依次存在後面的地址處。

← 地址增長方向

… 0x0A0B 0x0C0D …

最低的16bit單元0x0C0D存儲在低位。

3. 混合序（英：middle-endian）具有更復雜的順序。以 PDP-11 爲例，0x0A0B0C0D 被存儲爲：
   32bit在PDP-11的存儲方式

地址增長方向 →

… 0x0B 0x0A 0x0D 0x0C …

可以看作高16bit和低16bit以大端序存儲，但16bit內部以小端存儲。

處理器體系

• x86、MOS Technology 6502、Z80、VAX、PDP-11等處理器爲小端序；
• Motorola 6800、Motorola 68000、PowerPC 970、System/370、SPARC（除V9外）等處理器爲大端序；
• ARM、PowerPC（除PowerPC 970外）、DEC Alpha、SPARC V9、MIPS、PA-RISC及IA64的字節序是可配置的。

網絡字節順序（NBO）

通常我們認爲，在網絡傳輸的字節順序即爲網絡字節序爲標準順序，考慮到與協議的一致以及與其他平臺產品的互通，在程序發送數據包的時候，將主機字節序轉換爲網絡字節序，收數據包處將網絡字節序轉換爲主機字節序。

NBO(Network Byte Order)：按照從高到低的順序存儲，在網絡上使用統一的網絡字節順序，可以避免兼容性問題。TCP/IP中規定好的一種數據表示格式，與具體的 CPU 類型、操作系統等無關。從而保證數據在不同主機之間傳輸時能夠被正確解釋。網絡字節序採用大端序。

主機字節順序 HBO

主機字節順序（HBO：Host Byte Order）：不同機器 HBO 不相同，與 CPU 有關。計算機存儲數據有兩種字節優先順序：Big Endian 和 Little Endian。Internet 以 Big Endian 順序在網絡上傳輸，所以對於在內部是以 Little Endian 方式存儲數據的機器，在網絡通信時就需要進行轉換。

如何轉換

由於 Internet 和 Intel 處理器的字節順序不同，所以開發者需要使用 Sockets API 提供的標準轉換函數。

BSD Socket 提供了轉換函數

• htons() : unsigned short 從主機序轉換到網絡序
• htonl()： unsigned long 從主機序轉換到網絡序
• ntohs()：unsigned short 從網絡序轉換到主機序
• ntohl()：unsigned long 從網絡序轉換到主機序

參考資料

• 維基百科:字節序