GPU的流处理器：CUDA并行计算中的“线程束”

【协议班】签约入职国家超算中心/研究院      点击进入

【全家桶】超算/高性能计算 — 算力时代必学！      点击进入

【超算运维】AI模型时代网络工程师必备技能！      点击进入

【科研实习】考研/求职/留学 通关利器！      点击进入

GPU的流处理器：CUDA并行计算中的“线程束”

GPU，全称为Graphics Processing Unit，即图形处理器。英伟达公司在2006年推出了具有通用计算能力的GPU，开启了GPU在并行计算领域的崭新时代。GPU在并行计算领域的优势主要在于其高度并行化、大量的计算单元和支持深度学习等算法的加速等方面。本文将介绍GPU上的流处理器和其中的一个重要概念——“线程束”。

一、GPU的流处理器

GPU由一些列流处理器（Stream Processor）组成，每个流处理器都是由一组算术逻辑单元 ALU 组成的。这些ALU可以执行各种算数、逻辑与内存操作。这些流处理器同时也是完备的计算设备，它们运行着一个名为CUDA的并行计算框架，可以利用 GPU 上的各个计算单元同时执行一个指令序列。

二、线程束

线程束（Thread Block）是 CUDA 并行计算中的一个重要概念。在一个线程束中，有一组线程（Threads），这些线程共享相同的指令地址，并且被分配到同一个流处理器上执行。线程束中的线程数量是 CUDA 编译器在编译程序时预定义的，通常为 32、64 或 128。

线程束是一种非常高效的并行计算方式。因为在一个线程束中，每个线程都有相同的程序计数器和指令流，这些线程可以高度协同工作，以较短的时间内完成大量计算任务。与此同时，线程束也允许开发人员通过共享内存和同步来提高程序的效率和精度。现代的 GPU 可以同时运行数百甚至上千个线程束，从而在极短的时间内执行大规模的并行计算任务。

三、使用线程束

为了使用 CUDA 并行计算框架，在编写程序时需要使用 CUDA C 或 CUDA C++ 编程语言。以下是一个使用线程束的简单示例：

```

# include

# define N 1024

__global__ void add(int *a, int *b, int *c) {

int tid = blockIdx.x * blockDim.x + threadIdx.x;

if (tid < N) {

c[tid] = a[tid] + b[tid];

}

}

int main(void) {

int *a, *b, *c;

int *d_a, *d_b, *d_c;

int size = N * sizeof(int);

cudaMalloc((void **)&d_a, size);

cudaMalloc((void **)&d_b, size);

cudaMalloc((void **)&d_c, size);

a = (int *)malloc(size);

b = (int *)malloc(size);

c = (int *)malloc(size);

for (int i = 0; i < N; ++i) {

a[i] = i;

b[i] = i;

}

cudaMemcpy(d_a, a, size, cudaMemcpyHostToDevice);

cudaMemcpy(d_b, b, size, cudaMemcpyHostToDevice);

add<<<(N + 255) / 256, 256>>>(d_a, d_b, d_c);

cudaMemcpy(c, d_c, size, cudaMemcpyDeviceToHost);

for (int i = 0; i < N; ++i) {

printf("%d + %d = %d\\n", a[i], b[i], c[i]);

}

cudaFree(d_a);

cudaFree(d_b);

cudaFree(d_c);

free(a);

free(b);

free(c);

return 0;

}

```

这个程序的主要作用是对两个向量进行加法求和。在 CUDA 中，我们使用 kernel 函数来指定在 GPU 上执行的操作。在上面的示例中，kernel 函数是 add()，它将两个输入向量（从主机内存中传输到设备内存）相加，并将结果存储在输出向量中（从设备内存传输回到主机内存中）。最后，我们释放了用于计算的内存并返回 0。

在 kernel 函数中，我们可以看到一个类似于 blockIdx.x * blockDim.x + threadIdx.x 的语句，这个语句用于确定每个线程应该对应的元素的位置。其中，blockIdx.x 表示线程所在的线程块 index，blockDim.x 表示线程块中线程的数量，而 threadIdx.x 表示线程在其线程块中的 index。这三个变量相乘得到的是该线程相应的元素位置。

最后，在调用 kernel 函数时，我们使用了符号 <<<>>> 来指定线程块的数量和线程束的数量。上面的示例中，我们使用了每个线程束 256 个线程和 (N+255)/256 个线程块来处理总共 N 个元素。

四、结语

本文介绍了 GPU 中的流处理器和其中的一个重要概念——线程束，在 CUDA 并行计算中的使用。通过使用线程束，开发人员可以高效地进行大量的并行计算任务，并充分利用 GPU 的并行计算能力。

猿代码 — 超算人才制造局 | 培养超算/高性能计算人才，助力解决“卡脖子 ！