網頁中遇到的網頁文件編碼問題的解決辦法

在處理網頁源文件的時候，經常會遇到網頁源文件編碼的問題，這些問題在解析標籤的時候倒是沒什麼問題，但是就是在存儲的時候會有亂碼發生。這個數據庫，操作系統的默認編碼有關係，當然罪魁禍首依然是千變萬化的網頁源文件造成的。
解決這個問題通常的做法是無論是什麼編碼格式， 一律轉化爲utf-8，但是事與願違，轉化爲utf-8 需要首先知道當前源文件的編碼，這就麻煩了，因爲源文件裏提供的編碼標籤並不能準確的描述源文件的編碼，因爲大多數瀏覽器並不關心。也就是說
<meta http-equiv="Content-type" content="text/html; charset=gb2312" />
這個標籤並不能讓瀏覽器就按照 gb2312來解析源代碼，當然ie除外。
這就造成了大量的開發者明明 用utf-8，可是偏偏這裏寫着gb2312 ，當然測試通過了也就不管了。

無奈之下只好先判斷源代碼是不是utf-8，不是的話則默認認爲它是gb2312.
以下是兩個函數

void toUtf_8( string & str )
{
	if(isUtf_8(str.c_str() , str.size()))
		return;
	else
	{
		string s = str;
		str = boost::locale::conv::between( s, "UTF-8", "gb2312" );
	}
}
bool isUtf_8(const char* str,long length)
{
	int i;
	int nBytes=0;//UFT8可用1-6個字節編碼,ASCII用一個字節
	unsigned char chr;
	bool bAllAscii=true; //如果全部都是ASCII, 說明不是UTF-8
	for(i=0;i<length;i++)
	{
		chr= *(str+i);
		if( (chr&0x80) != 0 ) // 判斷是否ASCII編碼,如果不是,說明有可能是UTF-8,ASCII用7位編碼,但用一個字節存,最高位標記爲0,o0xxxxxxx
			bAllAscii= false;
		if(nBytes==0) //如果不是ASCII碼,應該是多字節符,計算字節數
		{
			if(chr>=0x80)
			{
				if(chr>=0xFC&&chr<=0xFD)
					nBytes=6;
				else if(chr>=0xF8)
					nBytes=5;
				else if(chr>=0xF0)
					nBytes=4;
				else if(chr>=0xE0)
					nBytes=3;
				else if(chr>=0xC0)
					nBytes=2;
				else
				{
					return false;
				}
				nBytes--;
			}
		}
		else //多字節符的非首字節,應爲 10xxxxxx
		{
			if( (chr&0xC0) != 0x80 )
			{
				return false;
			}
			nBytes--;
		}
	}

	if( nBytes > 0 ) //違返規則
	{
		return false;
	}

	if( bAllAscii ) //如果全部都是ASCII, 說明不是UTF-8
	{
		return false;
	}
	return true;
}



 

//注意這裏使用了 boost的loca 庫，需要在使用的時候加上相應的庫目錄和包含目錄
使用如下：
#include <boost/locale.hpp>
int main()
{
	std::string str;
	str = download("url"); //獲取源文件
	toUtf_8(str);
	doSomeThing(str); //現在可以用utf-8 做一些事情了
}