今天听了一个博士师兄的论文答辩，试图提高分布式存储并行和共享存储并行中，循环中并行粒度。
分布式存储下的并行，可以简单的理解为片间的并行，集群，很多CPU的计算机中的并行都属于这一类，这类并行强调的是消息传递，因为每个计算单元都有自己的存储空间，且这些存储是相互独立的，靠消息传递的方式来维护存储一致性，这类程序通常使用MPI工具做并行程序开发。这种并行一般是进程之间的并行，每个进程都有独立的资源管理和消息收发，地址空间相互独立。
共享存储下的并行则不同，采用线程间的并行策略，即并行任务之间采用共享存储空间的形式，存储和资源都是共享的。这类并行多存在于现在流行的多核和众核系统中。主要面临的问题是一致性，缓存一致性是最主要的，因为多核系统通常是每个单核有一级cache，而多个核之间又共享二级或者三级cache，据说CPU上30%多的功耗都用在了维持一致性上。片上面积也一半多用来做了cache。OPENMP就是为共享存储而生的编程工具。 Continue reading »
近期评论