爬取抖音明星榜看看哪個明星在抖音最火

背景

最近刷抖音看到各種排行榜數據可視化視頻，作爲一個技術人員覺得這是一種很有意思的數據呈現方式，所以在網上搜了一下資料，發現抖音就有非常適合數據可視化的榜單——明星榜，這個榜單每週發佈一次，這次通過這個榜單數據可視化來看抖音最火的明星究竟是誰。

關注我的公衆號“戰渣渣”，回覆“抖音明星榜”獲取源碼。

目的

1. 爬取抖音明星榜數據
   
2. 數據可視化展示抖音最火的明星
   

準備工作

1. 抖音數據抓取

使用抓包工具Fiddler分析出要抓取抖音數據的請求路徑和url，具體使用方式網上有很多，我參考的是下面這個地址Fiddler使用方式

具體步驟基本如下：

1. 安裝Fiddler
2. 配置代理
3. 手機與電腦同網絡且使用電腦做代理
4. 手機訪問抖音，Fiddler截取數據
5. 獲取數據後本地分析需要的數據

2. 數據可視化工具

使用開源工具Historical-ranking-data-visualization-based-on-d3.js實現動態效果展示，下載後直接可以使用。

具體步驟基本如下：

1. 配置後config.json，具體的配置項項目中描述的較爲清楚，需要自己逐個試驗
2. 如有必要，可修改stylesheet.css控制樣式，修改visual.js控制數據，需要自己去閱讀代碼
3. 構造csv數據
4. 打開bargraph.html，選中構造好的數據即可數據可視化處理

實戰

通過Fiddler獲取信息後，分析出需要兩個接口來獲取數據，獲取每期的數據時，需要先獲取到每期的唯一id，分析後具體操作如下

1. 獲取所有周期中，每個週期的唯一標識

# api: https://api3-normal-c-lf.amemv.com/aweme/v1/hotsearch/branch_billboard/weekly/list/

def get_weekly():
    """
    通過抓包工具，獲取明星勢力榜的所有統計週期
    :return:
    """
    billboard_weekly_list = []
    url = "https://api3-normal-c-lf.amemv.com/aweme/v1/hotsearch/branch_billboard/weekly/list/"
    result = requests.get(url)
    if result.status_code == 200:
        data = result.json()
        if data.get('status_code') == 0:
            billboard_weekly_list = data.get('billboard_weekly_list', [])
    return billboard_weekly_list

2. 獲取每個週期的數據接口

def get_star_billboard(edition_uid):
    """

    :param edition_uid: weekly id 通過接口獲取
    :return:
    """
    url = f"https://api3-normal-c-lf.amemv.com/aweme/v1/hotsearch/star/billboard/?type=1&edition_uid={edition_uid}"
    result = requests.get(url)
    if result.status_code == 200:
        return result.json()
    else:
        return {}

3. 將抓取的數據按照數據可視化方式構建數據

• 通過mako生成配置文件config.js[主要是包含頭像等信息]
• 生成數據可視化所需要的csv文件，這裏生成一個所有數據累加，一個每週排行，並計算每個明星總共霸榜的次數

def run():
    """
    1. 下載抖音iDou榜單所有數據
    2. 按照https://github.com/Jannchie/Historical-ranking-data-visualization-based-on-d3.js構建數據用於可視化
        1. config.json
        2. data.csv
    3. 下載源碼，替換config.json，導入data.csv
    4. 視頻錄製
    :return:
    """
    # 用戶頭像，寫入config.json
    user_avatar = {}
    # 累計數據.csv，寫入時按照，用戶暱稱重新排序
    star_total_data = {}
    # 每週數據.csv，寫入時按照，用戶暱稱重新排序
    star_week_data = {}

    # 下載抖音iDou榜單，總共的週數
    billboard_weekly_list = get_weekly()
    # 下載每個榜單週期的數據
    billboard_weekly_list = reversed(billboard_weekly_list)
    for row in billboard_weekly_list:
        start_timestamp = row['start_time']
        end_timestamp = row['end_time']
        start_date = time.strftime("%Y.%m.%d", time.localtime(start_timestamp))
        end_date = time.strftime("%Y.%m.%d", time.localtime(end_timestamp))
        edition_no = row['edition_no']
        title = f"第{edition_no}期 {start_date} - {end_date}"
        billboard_data = get_star_billboard(row['uid'])
        user_list = billboard_data.get("user_list", [])
        for idx, user in enumerate(user_list):
            user_info = user['user_info']
            # 獲取該明星此周的數據
            user_week_data_list = star_week_data.get(user_info['nickname'], [])
            top_times = user_week_data_list[-1]['top_times'] if user_week_data_list else 0
            if idx == 0:
                # 此周是top
                top_times += 1
            user_week_data_list.append(
                {
                    "name": user_info['nickname'],
                    "type": f"{top_times}周",
                    "top_times": top_times,
                    "value": user['hot_value'],
                    "date": title
                }
            )
            star_week_data[user_info['nickname']] = user_week_data_list
            # 獲取明星的累計數據，取最後一週的數據進行累計
            user_total_data_list = star_total_data.get(user_info['nickname'], [])
            user_total_data_list.append(
                {
                    "name": user_info['nickname'],
                    "type": f"{top_times}周",
                    "value": user['hot_value'] + user_total_data_list[-1]['value'] if user_total_data_list else user[
                        'hot_value'],
                    "date": title}
            )
            star_total_data[user_info['nickname']] = user_total_data_list

            # 寫入用戶頭像
            if user_info['nickname'] not in user_avatar:
                user_avatar[user_info['nickname']] = user_info['avatar_thumb']['url_list'][0]

    # 每週數據
    with open('every_weekly_data.csv', 'a', encoding='utf-8') as f:
        f.write("name,type,value,date\n")
        for users in star_week_data.values():
            for user in users:
                f.write(f"{user['name']},{user['type']},{user['value']},{user['date']}\n")

    # 累計數據
    with open('total_data.csv', 'a', encoding='utf-8') as f:
        f.write("name,type,value,date\n")
        for users in star_total_data.values():
            for user in users:
                f.write(f"{user['name']},{user['type']},{user['value']},{user['date']}\n")

    # 用戶頭像，寫入config.json
    imgs = ['"{}": "{}"'.format(nickname, img_url) for nickname, img_url in user_avatar.items()]
    img_str = ",".join(imgs) if imgs else ""
    config_js_to_visualization = Template(filename='base_config.mako', input_encoding='utf-8')
    with open('config.js', 'a', encoding='utf-8') as f:
        f.write(config_js_to_visualization.render(img_str=img_str))

4. 替換配置文件，打開數據文件

• 將生成的config.js文件替換到[Historical-ranking-data-visualization-based-on-d3.js/src/]
• 打開[Historical-ranking-data-visualization-based-on-d3.js/src/bargraph.html],選中生成的csv文件即可看到數據可視化展示