■目的 ・Tensorflow や Pytorch で間接的にしかGPUを使っていなかったので、もっと根っこの部分を知って GPUについての知見を深めたい。 ・cuda でサンプルプログラムを書いてみる。
■実験環境 ・OS・・Windows10 Pro ・CPU・・Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz 3.19 GHz ・GPU・・RTX2070
■準備 ・CUDA Toookit 12.5 をダウンロードしインストール。 ・nvcc にPATHを通す。nvcc が cuda のコンパイラ。
■実験内容 ・1～nまでの合計値を出すプログラムで、CPUとGPUでの違いを見る。 ・nvcc でコンパイルし、実行ファイルを実行する。
■結果
| 1億まで合計する所要時間 合計値：5000000050000000 |
10億まで合計する所要時間 合計値：500000000500000000 |
|
|---|---|---|
| CPU | 0.04 秒 | 0.4秒 |
| GPU | 0.00001秒 | 0.00003秒 |
※100億はGPUのメモリ不足で実行できず。
■所感 ・cudaはほぼC言語だった。
・実行順序を問わないお題であればGPUのメリットが活かせる。ものによっては1000分の1くらいの時間で済む。
・GPUのグリッド、ブロック、スレッドといった基本構造を知ることができた。
・スレッドを使った並列処理がどれくらい強力であるか実感できた。
・pyCUDAを使えば、pythonからcudaを実行できるので選択肢が広がった。cudaを知れて、世界が広がった気がする。
・複数マシンかつ複数GPU環境での分散並列処理も実現可能。 Tensorflowなら「MultiWorkerMirroredStrategy」 Pytorchなら「DistributedDataParallel」 が用意されている。
■追加実験 ・複数GPU環境が用意できなかったのでKaggle環境（GPU T4 * 2）でTensorflowの「MirroredStrategy」を試してみた。 使用率から複数GPUで分散処理ができていそう。
