使用百度AI開放平臺進行財經語料用戶情感分析

目錄

一、實現過程操作步驟

二、遇到的問題與解決

三、詳細代碼

一、實現過程操作步驟

1、百度AI開放平臺上創建應用

    詳細過程比較簡單， 不詳細描述

1）到http://ai.baidu.com/上一步步註冊賬號

2）創建一個自然語言分析下語料情感分析的應用。（根據步驟創建模型、訓練、創建即可。其中涉及相關預料的獲取，可以寫個爬蟲弄一下。 具體可以參考  https://blog.csdn.net/ebzxw/article/details/101853610  的第三部分“scrapy框架基本使用及完整案例”的案例代碼）

結果是這樣子的：

2、獲取通過API調用的token

官方文檔最詳細。百度AIP開放平臺使用OAuth2.0授權調用開放API，調用API時必須在URL中帶上access_token參數，獲取Access Token的流程如下。

方式一鑑權使用的Access_token必須通過API Key和Secret Key獲取。

請求URL數據格式

向授權服務地址https://aip.baidubce.com/oauth/2.0/token發送請求（推薦使用POST），並在URL中帶上以下參數：

• grant_type： 必須參數，固定爲client_credentials；
• client_id： 必須參數，應用的API Key；
• client_secret： 必須參數，應用的Secret Key；

例如：

https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=Va5yQRHlA4Fq5eR3LT0vuXV4&client_secret=0rDSjzQ20XUj5itV6WRtznPQSzr5pVw2&

服務器返回的JSON文本參數如下：

• access_token： 要獲取的Access Token；
• expires_in： Access Token的有效期(秒爲單位，一般爲1個月)；
• 其他參數忽略，暫時不用;

例如：

{
  "refresh_token": "25.b55fe1d287227ca97aab219bb249b8ab.315360000.1798284651.282335-8574074",
  "expires_in": 2592000,
  "scope": "public wise_adapt",
  "session_key": "9mzdDZXu3dENdFZQurfg0Vz8slgSgvvOAUebNFzyzcpQ5EnbxbF+hfG9DQkpUVQdh4p6HbQcAiz5RmuBAja1JJGgIdJI",
  "access_token": "24.6c5e1ff107f0e8bcef8c46d3424a0e78.2592000.1485516651.282335-8574074",
  "session_secret": "dfac94a3489fe9fca7c3221cbf7525ff"
}

若請求錯誤，服務器將返回的JSON文本包含以下參數：

• error： 錯誤碼；關於錯誤碼的詳細信息請參考下方鑑權認證錯誤碼。

• error_description： 錯誤描述信息，幫助理解和解決發生的錯誤。

使用Access Key ID/Secret Access Key的開發者注意

如果您使用的是“安全認證/Access Key ”中的Access Key ID 和 Secret Access Key的開發者，則不能使用獲取Access Token的方式鑑權，具體鑑權認證機制參考“百度雲鑑權認證機制”。

3、情感傾向分析接口調用

情感傾向分析接口（通用版）：自動對包含主觀信息的文本進行情感傾向性判斷（積極、消極、中性），並給出相應的置信度。爲口碑分析、話題監控、輿情分析等應用提供基礎技術支持，同時支持用戶自行定製模型效果調優。

情感傾向分析接口（定製版）：用戶在控制檯中的【個性化定製】中選擇【情感傾向分析定製】，通過上傳特定應用場景的正負情感語料來訓練模型，滿足用戶多樣場景的精度要求。

定製版接口的詳細使用教程，請您在論壇查看教學帖，帖子鏈接：http://ai.baidu.com/forum/topic/show/942825

請求說明

請求示例

（情感分析通用版）

HTTP方法: POST 請求URL: https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify

（情感分析定製版，注意需要先保證定製模型生效成功再調用，否則接口會報錯）

HTTP方法: POST 請求URL: https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify_custom

URL參數：

參數	值
access_token	通過API Key和Secret Key獲取的access_token,參考“Access Token獲取”

Header如下：

參數	值
Content-Type	application/json

Body請求示例:

{ "text": "光大是一家偉大的公司" }

請求格式

POST方式調用

注意：要求使用JSON格式的結構體來描述一個請求的具體內容。

body整體文本內容可以支持GBK和UTF-8兩種格式的編碼。

1、GBK支持：默認按GBK進行編碼，輸入內容爲GBK編碼，輸出內容爲GBK編碼，否則會接口報錯編碼錯誤

2、UTF-8支持：若文本需要使用UTF-8編碼，請在url參數中添加charset=UTF-8 （大小寫敏感） 例如 https://aip.baidubce.com/rpc/2.0/nlp/v1/lexer?charset=UTF-8&access_token=24.f9ba9c5241b67688bb4adbed8bc91dec.2592000.1485570332.282335-8574074

請求參數

參數	類型	描述
text	string	文本內容，最大2048字節

返回格式

JSON格式

默認返回內容爲GBK編碼，若用戶指定輸入爲UTF-8編碼（通過指定charset參數），則返回內容爲UTF-8編碼

返回說明

返回參數

參數	說明	描述
log_id	uint64	請求唯一標識碼
sentiment	int	表示情感極性分類結果，0:負向，1:中性，2:正向
confidence	float	表示分類的置信度，取值範圍[0,1]
positive_prob	float	表示屬於積極類別的概率 ，取值範圍[0,1]
negative_prob	float	表示屬於消極類別的概率，取值範圍[0,1]

返回示例

{
    "text":"光大是一家偉大的公司",
    "items":[
        {
            "sentiment":2,    //表示情感極性分類結果
            "confidence":0.40, //表示分類的置信度
            "positive_prob":0.73, //表示屬於積極類別的概率
            "negative_prob":0.27  //表示屬於消極類別的概率
        }
    ]
}

二、遇到的問題與解決

1、error_code': 110, 'error_msg': 'Access token invalid or no longer valid'

網上搜了一堆，都對不上號。

後仔細看了下官方文檔，發現開始漏過了流程的第二步，要通過api key和secret key 來獲取 access_token ，用access_token 來訪問纔行。 

看來凡是要按方法，急了自己亂整不行，折騰浪費了半小時。

2、'error_code': 282004, 'error_msg': 'invalid parameter(s)'

原因與解決：代碼問題。因爲傳入數據是字典需要進行編碼。
                 encode_data=json.dumps(data).encode('GBK')

三、詳細代碼

import json,csv,sys
from urllib.request import urlopen, quote

def getToken():
    # client_id 爲官網獲取的AK， client_secret 爲官網獲取的SK
    host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=rqw416K1e80V9IId888G1HUl&client_secret=q5kLRfP9lxdC83QBe5gIsoMXPmkZ6xcT'
    response = urlopen(host)
    content = response.read()
    if (content):
        #print(type(content))     #<class 'bytes'>
        content_str=str(content, encoding="utf-8")
    content_dir = eval(content_str)
    access_token = content_dir['access_token']
    return access_token

def getBaiduNlpMotion():
    ak = getToken()
    url = 'https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify?access_token=' +ak    
    print('請求:' + url)    
    data = {"text":sys.argv[1]}
    encode_data=json.dumps(data).encode('GBK')
    req = urlopen(url,encode_data)
    res = req.read()             # content是一個utf-8格式的<class 'bytes'>
                                             #bytes ⇒ str：str(b, encoding='utf-8')
    content_str = str(res, encoding="gbk")   #content被編碼爲gbk格式的字節串，賦給content_str
    if (content_str):
        return content_str  
 
file = open(r'files\\baiduapi_nlp1.json','w')
print('\r\n參數:' + sys.argv[1])
rt = getBaiduNlpMotion()
print('\r\n百度返回結果：'+ rt +'\r\n')
file.write(rt) 
file.close() 

成功的執行結果如下：

輸出items的各個結果含義參照第一部分內容，不重複。