并行计算种类---读书笔记

1、单核指令级并行（ILP）

让单个处理器的执行单元可以同时执行多条指令。现代CPU的每个核心都采用了超标量、超级流水线、超长指令字、SIMD、超线程、分支预测等手段发掘程序内的指令级并行。

2、多核并行（multi-core）

在一个芯片上集成多个处理器核心，实现线程级并行（TLP）。CPU上多线程的编程语言OpenMP和Intel的TBB

3、多处理器（multi-processor）并行

在一块电路板上安装多个处理器，实现线程和进程级并行。

4、大规模群集或者分布式并行。

每个节点（node）就是一台独立的计算机。MPI（Message Passing Interface）。

参考书籍：《GPU 高性能运算之CUDA》中国水利水电出版社