关键词：
【中文标题】针对大量小数据的 IPC 建议 [关闭]【英文标题】：IPC Suggestion for lots of small data [closed] 【发布时间】：2012-04-17 11:15:06 【问题描述】：我们将实施一个多进程软件，我们正在寻找合适的 IPC。
事实：
我们将使用 Java（如果遇到时间紧迫的问题，我们将使用 C） 所有进程都在一台 Unix 机器上。 进程每秒相互发送大量（大约 1000 个）小（大约 4k）数据。您推荐什么 IPC 技术？ Web 服务、RMI、TCP 套接字、Unix 套接字、管道……？
【问题讨论】：
@JeremiahWillcock（只是因为它是“作为离题者关闭”列表中的第一个名称，并且只能通知一个用户）或任何人：SE 网络中是否有另一个站点存在此问题可以问吗？ （我已经知道它不能在软件推荐中）。我需要问基本相同的问题。 This question 可能很有用，因为它在问同样的事情——除了“小数据”部分——它得到了几个答案。我不确定为什么这个是题外话而那个不是，但是虽然那个有点旧，但它有我在找到这个时正在寻找的信息。 Web 服务是建立在 TCP 之上的，所以我将忽略“web”部分并简单地指出 TCP 是多余的。它为更高层协议提供的大多数服务（流量控制、拥塞控制、按顺序交付、可靠性、进程寻址）都假设一个不可靠的底层通道。在本地连接的情况下，大部分开销都是不必要的。 IP 提供的服务是不必要的，因为您实际上并不需要多个 NIC 进行通信。编写 UNIX 套接字以提供类似 TCP 的功能，而无需实际网络会话的开销。 这将我们带到了 RMI、Unix 套接字、管道和共享内存映射（使用信号量或者——如果你真的很聪明——无锁并发数据结构）。 然而，在我们开始分析这些之前，值得快速检查一下……您是在使用多个进程而不是 JNI，还是它们是多个 Java + C 混合进程一起工作？ 【参考方案1】：以上都可以做到这一点。 1000/s 不算多（即使是 4 KB）
我会将 Active MQ 和 ZeroMQ 添加到列表中。
我会使用https://github.com/peter-lawrey/Java-Chronicle 为什么？因为我写的。 ;) 你可以试试别的。
【讨论】：
如何计算/处理大量数据？ [关闭]
...所以，我每天都必须选择这些记录并对其进行计算，以便针对不同类型的消费/客户，例如，如果客户处于活动/不活动状态，活动多长时间，如果它改变了产品，等等。 查看详情
如何使用 IPC::Open2 过滤大量数据？
】如何使用IPC::Open2过滤大量数据？【英文标题】：HowtofilteralotofdatawithIPC::Open2?【发布时间】：2011-09-0213:34:36【问题描述】：我的任务是使用外部实用程序（addr2line）从perl脚本中过滤一些数据。数据量相当大。我需要将大量数据... 查看详情
针对大量小文件优化 S3 下载
】针对大量小文件优化S3下载【英文标题】：OptimizeS3downloadforlargenumberoftinyfiles【发布时间】：2018-04-1814:59:53【问题描述】：我目前使用TransferManager从Lambda函数下载S3存储桶中的所有文件。//InitializeTransferManagerBuildertxBuilder=TransferMan... 查看详情
了解 olap 的书籍建议[关闭]
...学者书籍的建议。我主要使用sqlserver，所以如果这本书是针对sqlserver的，那将是理想的。【问题讨论】：【参考方案1】：这是一个很好的帖子https://*** 查看详情
如何在不重复的情况下在进程之间共享大量数据？ (IPC)
】如何在不重复的情况下在进程之间共享大量数据？(IPC)【英文标题】：HowcanIsharealargearrayofdatabetweenprocesseswithoutduplicating?(IPC)【发布时间】：2020-05-2805:24:57【问题描述】：我有一个进程每秒向某个API发出一个httpget请求。然后，此... 查看详情
针对多个客户端和可定制的 Web 应用程序的架构所需的建议 [关闭]
】针对多个客户端和可定制的Web应用程序的架构所需的建议[关闭]【英文标题】：Suggestionsneededonanarchitectureforamultipleclientsandcustomisablewebapplication[closed]【发布时间】：2012-08-2907:39:45【问题描述】：我们的产品是一个基于网络的课... 查看详情
「面试必背」elasticsearch面试题（建议收藏）
...存储；（5）采取curator进行索引的生命周期管理；（6）仅针对需要分词的字段，合理的设置分词器；（7）Mapping阶段充分结合各个字段的属性，是否需要检索、是否需要存储等。（1）写入前副本数设置为0；（2）写入前关闭refresh... 查看详情
Flutter：对可以用于像这样的大黄图的小部件有啥建议吗？ [关闭]
】Flutter：对可以用于像这样的大黄图的小部件有啥建议吗？[关闭]【英文标题】：Flutter:Anysuggestionsforwidgetsthatcanbeusedforbumblegraphlikethis?[closed]Flutter：对可以用于像这样的大黄图的小部件有什么建议吗？[关闭]【发布时间】：2021-05-... 查看详情
关于优化在大量数据上执行的 Oracle SQL 查询的建议/技巧
】关于优化在大量数据上执行的OracleSQL查询的建议/技巧【英文标题】：Advices/tipsonoptimizinganOracleSQLqueryexecutingonsignificantvolumes【发布时间】：2013-03-1316:36:10【问题描述】：不要在看到下面的OracleSQL查询后立即运行！:)我将完整的查... 查看详情
是否有专门针对拥有大量受众的网站的可扩展性最佳实践？
】是否有专门针对拥有大量受众的网站的可扩展性最佳实践？【英文标题】：Arethereanyscalabilitybestpracticesspecificallyforsiteswithhugeaudiences?【发布时间】：2010-12-0610:05:19【问题描述】：虽然之前曾在各种情况下提出过这个问题，但我... 查看详情
SQL Server查询改进建议，一次查询中大量数据的聚合
】SQLServer查询改进建议，一次查询中大量数据的聚合【英文标题】：SQLServerqueryimprovementsuggestion,aggregationoflargeamountofdatainaquery【发布时间】：2021-09-0815:27:54【问题描述】：我的BI开发人员编写了一个运行了14小时的查询，我正在努... 查看详情
手机开机出现拼多多界面怎么关闭
...源头堵死拼多多的烦人广告，文章分为2部分，前半部分针对小程序，后半部分针对APP，希望可以帮到你！感慨！行走手机江湖这么多年，经验丰富的我还是中招了。起因就是我在安装微信上查看拼多多小程序时，一时心大，将... 查看详情
confluence6数据库整合的方法2：针对有大量附件的运行实例(代码片段)
设置准备这个方法仅仅针对附件存储在文件系统中。如果你存储附件在数据库中，请参考AttachmentStorageConfiguration文档中的内容来找到如何在2种不同的文件存储方式之间进行整合。步骤1：对你的插件进行记录对你近期在Confluence中... 查看详情
为啥不建议使用nsuserdefault存储大量数据
参考技术A简单介绍一下NSUserDefaults，原理上看NSUserDefaults其实是在操作一个plist文件。读取NSUserDefaults值的时候会默认在内存中缓存下来一份，所以NSUserDefaults的读取速度比较快。正常情况下，我们后面对NSUserDefaults的读取都是从... 查看详情
从 4 个远程服务器中提取大量数据的最佳技术是啥 [关闭]
】从4个远程服务器中提取大量数据的最佳技术是啥[关闭]【英文标题】：Whatisthebestpossibletechnologyforpullinghugedatafrom4remoteservers[closed]从4个远程服务器中提取大量数据的最佳技术是什么[关闭]【发布时间】：2010-02-0107:11:52【问题描述... 查看详情
如何高效地对大量数据进行分区？ [关闭]
】如何高效地对大量数据进行分区？[关闭]【英文标题】：Howtoefficientlypartitionalargeamountofdata?[closed]【发布时间】：2018-05-1811:24:48【问题描述】：我想知道在将Parquet数据存储在S3中时，什么是更有效的分区方式。在我的集群中，我... 查看详情
针对 C/C++ 远程消息队列的建议
】针对C/C++远程消息队列的建议【英文标题】：RecommendationsforC/C++remotemessagequeues【发布时间】：2012-05-1311:54:15【问题描述】：我正在开展一个项目，该项目涉及多个C++程序，每个程序都接受输入并生成输出。数据（几十到几百个... 查看详情
每个用户存储大数据的最佳方式是啥？ [关闭]
...以及应该如何存储数据的建议。即我需要为每个用户存储大量数据，我正在考虑将所有内容存储在JSON数据中，但我想我可以先问你。所以我使用的是Djang 查看详情