strong scaling and weak scaling

1，scalability

在高性能計算（或並行計算）中，scalability是用來衡量當計算資源增加時，我們的硬件和軟件利用計算資源的能力。

2，speedup

speedup=$t_1/t_N$，$t_1$是隻有一個處理器時的計算時間，$t_N$是由N個處理器時的計算時間。

3，strong scaling（Amdahl’s law，阿姆達爾定律）

speedup=$1/(s+p/N)$，其中s是可以不能並行計算的部分所用時間的比例，p是可以並行部分所用時間的比例，N是處理器個數。

該定律描述的是在問題規模一定時，增加計算資源時的scaling能力。

4，weak scaling（Gustafson’s law，古斯塔夫森定律）

speedup=$s+p*N$，參數意義同3。

該定律描述的是在問題規模和計算資源同時增加時的scaling能力。

Reference

https://www.kth.se/blogs/pdc/2018/11/scalability-strong-and-weak-scaling/