GPU内存模型
CUDA GPU上的内存设备有：
- 寄存器 (Registers)
- 共享内存 (Shared Memory)
- 本地内存 (Local Memory)
- 常量内存 (Constant Memory)
- 纹理内存 (Texture Memory)
- 全局内存 (Global Memory)
OpenCL的内存模型：
- Global Memory
- Constant Memory
- Local Memory
- Private Memory
CUDA中每个线程都有自己的私有的本地内存；线程块有自己的共享内存，对线程块内所有线程可见；所有线程都能访问读取常量内存和纹理内存，但是不能写，因为他们是只读的；全局内存，常量内存和纹理内存空间有不同的用途。对于一个应用来说，全局内存，常量内存和纹理内存有相同的生命周期。
| 存储器 | 片上/片外 | 缓存 | 存取 | 范围 | 生命周期 |
|---|---|---|---|---|---|
| 寄存器 | 片上 | n/a | R/W | 一个线程 | 线程 |
| 本地 | 片外 | 1.0以上有 | R/W | 一个线程 | 线程 |
| 共享 | 片上 | n/a | R/W | 块内所有线程 | 块 |
| 常量 | 片外 | Yes | R | 所有线程+主机 | 主机配置 |
| 纹理 | 片外 | Yes | R | 所有线程+主机 | 主机配置 |
| 全局 | 片外 | 1.0以上有 | R/W | 所有线程+主机 | 主机配置 |