Web前端 bom 頭 的問題

今天js上線的代碼測試一直有問題與我們的css完全一樣,只是壓縮了一下。這個問題糾結了整整一天。後來我登陸上了他們的測試服務器,直接用vim打開了他們組壓縮好的css文件。打開一看頭部有個<feff>,這才意識到可能是bom頭沒清除。結果去掉了bom頭確實css起作用了。後來經查驗時他們的一個去除bom的進程出問題了。 
下面是我找來的bom的一些知識點: 
所謂 BOM,全稱是Byte Order Mark,它是一個Unicode字符,通常出現在文本的開頭,用來標識字節序 (Big/Little Endian),除此以外還可以標識編碼(UTF-8/16/32),如果出現在文本中間,則解釋爲zero width no-break space。 
根據w3c裏FAQ的建議,解決方法就是,刪無赦! 

對於UTF-8/16/32而言,它們名字中的8/16/32指的是編碼單位是多少位的,也就是說,它們的編碼單位分別是8/16/32位,換算成 字節就是1/2/4字節,如果是多字節,就要牽扯到字節序,UTF-8以單字節爲編碼單位,所以不存在字節序。 
UTF-8主要的優點是可以兼容ASCII,但如果使用BOM的話,這個好處就蕩然無存了,除此以外,BOM的存在還可能引發一些問題,比如下面錯 誤便都有可能是BOM導致的:
  • Shell: #!/bin/sh: No such file or directory
  • PHP: Warning: Cannot modify header information – headers already sent

在詳細討論UTF-8編碼中BOM的檢測與刪除問題前,不妨先通過一個例子熱熱身:
# curl -s http://phone.10086.cn/ | head -1 | sed -n l
\357\273\277<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional\
//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r$

如上所示,前三個字節分別是357、273、277,這就是八進制的BOM。
# curl -s http://phone.10086.cn/ | head -1 | xxd
0000000: efbb bf3c 2144 4f43 5459 5045 2068 746d  ...<!DOCTYPE htm
0000010: 6c20 5055 424c 4943 2022 2d2f 2f57 3343  l PUBLIC "-//W3C
0000020: 2f2f 4454 4420 5848 544d 4c20 312e 3020  //DTD XHTML 1.0
0000030: 5472 616e 7369 7469 6f6e 616c 2f2f 454e  Transitional//EN
0000040: 2220 2268 7474 703a 2f2f 7777 772e 7733  " "http://www.w3
0000050: 2e6f 7267 2f54 522f 7868 746d 6c31 2f44  .org/TR/xhtml1/D
0000060: 5444 2f78 6874 6d6c 312d 7472 616e 7369  TD/xhtml1-transi
0000070: 7469 6f6e 616c 2e64 7464 223e 0d0a       tional.dtd">..

如上所示,前三個字節分別是EF、BB、BF,這就是十六進制的BOM。 
注:用到了第三方網站的頁面,不能保證例子結論始終正確。 
實際做項目開發時,可能會面對成百上千個文本文件,如果有幾個文件混入了BOM,那麼很難察覺,如果沒有帶BOM的UTF文本文件例子,可以用vi 杜撰幾個,相關命令如下:
#設置UTF-8編碼
:set fileencoding=utf-8
#添加BOM
:set bomb
#刪除BOM
:set nobomb
#查詢BOM
:set bomb?

如何檢測UTF-8編碼中的BOM呢?
shell> grep -I -r -l $'\xEF\xBB\xBF' /path

如何刪除UTF-8編碼中的BOM呢?
shell> grep -I -r -l $'\xEF\xBB\xBF' /path | xargs sed -i 's/^\xEF\xBB\xBF//;q'

inux下處理windows utf8文件,發現vim頭會多一個<feff>


 


一般默認創建的文件都是ANSI編碼的。用記事本打開這個文件,點"另存爲",最下面有個"編碼(Encoding)"可以選擇,裏面有"ANSI,utf8"等選項。


下面介紹用直接使用perl創建一個UTF-8的文件
open( OUT, ">:utf8", "a.txt" ) or die "a.out: $!";
print OUT "\x{feff}";
print OUT "aaaa\n";
close OUT;

反過來,刪除文件中的<feff>頭
open (FH, '<:utf8',"$_" ) or die $!;
...
s/\x{feff}//;
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章