关键词：
今天看了一些并行计算方面的资料，写一些收获吧，因为研究的并不深，也并不打算做专业解释，只是从一个程序员的角度，谈一些并行计算开发方面一些初步了解。
并行计算方面的开发库，直到今天，搜起来有TBB,PPL,openMP,POP-cpp
POP-cpp 在github上可以搜到，感觉比较高大上，强调分布式的并行计算，这种环境感觉一般人接触不到，其他三个库感觉都是单机的并行计算。
TBB和openMP都是intel出品，也可以从intel网站找到相关资料/教程/简介等，跨平台（windows,linux,mac）。
PPL 微软提供的开发库，仅支持 windows平台。
TBB,PPL,openMP之间的比较及性能，还没搞清楚。
附一些资料网址：
https://github.com/pop-team/pop-cpp
https://software.intel.com/zh-cn/forums/parallel-computing/topic/384119
https://software.intel.com/en-us/tbb-user-guide
http://www.openmp.org/about/openmp-faq/
https://msdn.microsoft.com/en-us/library/dd492418.aspx
使用 CUDA 构建用于自动并行计算的库
】使用CUDA构建用于自动并行计算的库【英文标题】：BuildingalibraryforautomaticparallelcomputingwithCUDA【发布时间】：2011-01-1820:18:08【问题描述】：对于我最后一年的项目，我选择构建一个库，开发人员可以使用CUDA进行GPGPU计算，而无需... 查看详情
[译][并行计算]1.并行计算简介
原文地址：https://blog.csdn.net/magicbean2/article/details/75174859并行计算简介（本人刚刚完成这篇长文章的翻译，尚未认真校对。若里面有翻译错误和打字错误敬请谅解，并请参考原贴）1摘要最近项目需要实现程序的并行化，刚好借着... 查看详情
系统自学计算机科学之路
...线 科普读物：《计算机概论》、《IT简史》 两条并行线：编程语言（C/C++和Python）-----实用技术（流行的开发框架和工具）数学基础（离散数学、高数、线性代数、概论统计）------专业基础理论（数据结构与算法、操作系... 查看详情
初识mapreduce(代码片段)
...的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开... 查看详情
你应该这样去开发接口：java多线程并行计算
...日常开发中比较普遍存在的一个问题，即如何提高程序的并行计算能力？本文主要包含以下内容：顺序执行很慢线程池+Future 查看详情
算法与并行计算常规
利用并行计算机实现软件和硬件上的并行算法的主要步骤和层次第5层是指应用层，在这一层里描述的是需要并行计算平台实现的应用和问题。对应所需的输入和输出的格式也在这层进行定义。某些输入和输出（I/O）接口的描述... 查看详情
jstorm中的并行（parallelismction）介绍
JStorm中的并行（parallelismction）介绍JStrom中。一个计算任务通过多台机器使得计算分解为多个独立并行执行在集群内执行的任务（tasks）。从而得到水平扩展。JStorm中，一个任务（task）就是一个能够执行在集群内不论什么节点的... 查看详情
第二篇：从gpu的角度理解并行计算
前言 本文从使用GPU编程技术的角度来了解计算中并行实现的方法思路。并行计算中需要考虑的三个重要问题 1.同步问题 在操作系统原理的相关课程中我们学习过进程间的... 查看详情
「测试开发全栈化-go」(1)go语言基本了解
...誉-图灵奖。接下来说说Go语言的特色:简洁、快速、安全并行、有趣、开源内存管理、数组安全、编译迅速Go语言的用途:Go语言被设计成一门应用于搭载Web服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。对于高性... 查看详情
一文了解预训练相关加速技巧(代码片段)
...speed介绍deepspeed是微软开源的模型训练框架.主要有流水线并行,以及ZeRO内存优化技术等.2.13D并行性：扩展到万亿参数模型数据并行训练、模型并行训练和流水线并行训练2.1.1数据并行最常见的DNN并行化训练方法是数据并行化&#x... 查看详情
hadoop学习笔记—4.初识mapreduce
...的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开... 查看详情
8天玩转并行开发——第四天同步机制（上）(代码片段)
在并行计算中，不可避免的会碰到多个任务共享变量，实例，集合。虽然task自带了两个方法：task.ContinueWith()和Task.Factory.ContinueWhenAll()来实现任务串行化，但是这些简单的方法远远不能满足我们实际的开发需要，从.net4.0... 查看详情
阿姆达尔定律
...律因GeneAmdal在1967年提出这个定律而得名。绝大多数使用并行或并发系统的开发者有一种并发或并行可能会带来提速的感觉，甚至不知道阿姆达尔定律。不管怎样，了解阿姆达尔定律还是有用的。 我会首先以算术的方式介绍... 查看详情
与 Python 并行运行子进程
】与Python并行运行子进程【英文标题】：runningsubprocessesinparallelwithPython【发布时间】：2020-06-1608:09:38【问题描述】：我试图了解如何为多个子进程构建并行计算管道。正如我所看到的，每个子进程块都等待前一个代码块运行，而... 查看详情
异步/IO 和并行
】异步/IO和并行【英文标题】：Async/IOandParallelism【发布时间】：2018-09-1617:24:00【问题描述】：我正在使用aiohttp创建一个Async/IO网络服务器。但是，据我了解，Async/IO意味着服务器只能在一个处理核心上运行。另一方面，像uwsgi这... 查看详情
并行计算程序设计(cudac)(代码片段)
课程介绍课程介绍和概述课程目标学习如何编写异构并行计算系统并实现高性能和能效功能性和可维护性跨下一代的可扩展性跨供应商设备的可移植性技术并行编程API、工具和技术并行算法的原理和模式处理器架构特性和约束异... 查看详情
云计算和并行计算的关系
云计算是一种计算模式，代表了在某种程度上共享资源进行设计、开发、部署、运行应用，以及资源的可扩展收缩和对应用连续性的支持。目前大部分的云计算基础构架是由用户终端向数据中心传送可申请服务的网络，以及建立... 查看详情
指令级并行(代码片段)
基于《计算机体系结构：量化研究方法》第3章指令级并行及其开发本章内容主要面向计算机设计人员和编译器开发者，因此只记录一些感兴趣的点。介绍指令级并行（ILP）就是多条指令同时执行，达到提升性能的目的。因为执... 查看详情