原创 高性能计算值并行编程技术

一、并行计算机

两种：

第一种：指令与数据——SIMD   单个指令作用于多个数据，如加法运算

                                            MIMD   多个指令作用于多个数据，如混合运算

工作单元：指令 ，执行对象:数据

第二种： 程序与数据——SPMD  单个程序，多个操作对象数据

                                               MPMD  多个程序，多个操作对象数据

工作单元;程序，相对于指令而言，执行粒度较大

二，存储方式

共享内存——多个节点共享一个内存，通过共享内存的访问交换信息

分布式内存——每个节点都有自己专用内存，通过消息传递来交换信息

分布式共享内存——共享内存与分布式内存的结合

三、并行编程模型

两种：

第一种：数据并行——相同的操作作用域不同的数据，用于数学计算领域

                消息传递——各个并行执行的部分之间通过消息传递来交换信息，面向分布式内存。

四、并行算法的设计

       机群算法一个重要设计原则：设法加大计算时间相对于通信时间的比重，减少通信次数及计算交换通信。因为交换通信所消耗的资源要远远高于一次计算。所以要尽可能降低通信的次数，控制好并行粒度的大小，并行粒度大小会导致通信次数的增加。