原创 在Megatron-Deepspeed項目中如何下載和預處理Wikipedia數據集
更詳細的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下載Wikipedia壓縮數據集（enwiki-la
2023-11-27 14:03:17
原创 【轉載】CMake從頭開始學習-上
這篇文章寫的太好了非常適合新手入門，原文鏈接是 https://subingwen.cn/cmake/CMake-primer/index.html
2023-08-27 13:23:42
1
原创 【轉載】Macbook M1/M2如何調試c++代碼？使用lldb即可
轉載自：https://www.zybuluo.com/qidiandasheng/note/349994#:~:text=GDB%3A,C%2B%2B或者Python插件。 Macbook M1/M2無法安裝gdb，但是可以使用lld
2023-08-23 13:26:37
1
原创 c++中template的用法是什麼？
下文由ChatGPT生成 在C++中，template是一種通用編程工具，用於創建通用的函數或類。通過使用模板，可以編寫可以應用於不同數據類型的函數或類，從而實現代碼的重用性和靈活性。template的使用方法如下： 1. 函數模板（F
2023-08-09 13:26:45
原创 pip install指定gcc g++版本的方法
有時候安裝某個包可能會遇到gcc版本過低的問題，但是系統上可能安裝了好幾個版本的gcc。那麼一種很簡單的解決辦法如下： 切換到gcc對應的路徑，例如cd /usr/local/bin/gcc 假如這個路徑下有這麼幾個版本的gcc
2023-08-01 13:23:56
原创 FlashAttention算法簡介
1. Motivation 不同硬件模塊之間的帶寬和存儲空間有明顯差異，例如下圖中左邊的三角圖，最頂端的是GPU種的SRAM，它的容量非常小但是帶寬非常大，以A100 GPU爲例，它有108個流式多核處理器，每個處理器上的片上SRAM大小隻
2023-07-22 13:23:30
原创 【轉】一文看懂 LLaMA 中的旋轉式位置編碼（Rotary Position Embedding）
原文：https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ
2023-07-11 13:23:51
原创 Oh-my-zsh主題亂碼解決辦法
Oh-my-zsh主題亂碼解決辦法是安裝 Powerline 字體。 打開終端，參考以下命令安裝 Powerline 字體： cd ~/Downloads && git clone https://github.com/powerline/
2023-07-06 13:23:30
1
原创 《Transformer Quality in Linear Time》論文解讀
會議/期刊: ICML 年份: 2022 1. Vanilla Transformer Block（MHSA+FFN） 原本的Transformer的Block遵循如下的設計範式：MHSA（多頭自注意力）+ 一層或者兩層的FFN（全連接層）
2023-06-24 13:23:43
1
原创 腰椎間盤突出鍛鍊指南
參考：https://www.haodf.com/neirong/wenzhang/5754189540.html?flowToken=4d900e3599a358a4061799f8fa8a0f18
2023-04-17 13:23:47
2
原创 Python多進程代碼調試工具
https://github.com/Lightning-AI/forked-pdb import sys import pdb class ForkedPdb(pdb.Pdb): """ PDB Subclass for
2023-03-24 13:24:41
原创 安裝TensorNVMe和Deepspeed時遇到的坑：無root權限安裝libaio依賴庫
如果你有root權限，用下面這行代碼一鍵安裝即可： sudo apt install libaio1 libaio-dev 如果沒有root權限，步驟如下 下載 libaio git clone https://pagure.io/
2023-03-23 13:23:52
原创 如何遠程SSH到Windows內部的虛擬機？
1. 背景 我學校有一臺Windows電腦 ([email protected])，裏面安裝了一個Ubuntu虛擬機（用戶名爲y），虛擬機裏連着VPN。並且虛擬機的22端口映射到了主機的22端口。通過這個VPN我可以訪問另一個遠程的服務器（[email protected].
2023-02-19 13:23:32