没有脚本编译速率限制的多个文档上的 Python ElasticSearch 更新字段

     2023-03-22     94

关键词:

【中文标题】没有脚本编译速率限制的多个文档上的 Python ElasticSearch 更新字段【英文标题】:Python ElasticSearch updating field on multiple documents without script compilation rate limit 【发布时间】:2022-01-13 00:06:16 【问题描述】:

我正在使用

from elasticsearch import Elasticsearch
from elasticsearch_dsl import UpdateByQuery
UpdateByQuery(index=index).using(es_client).query("match", id=<my_obj_id>)\
            .script(source=f"ctx._source.view_count=12345")

更新我的 ElasticSearch 文档之一上的 view_count 字段。

问题出在生产中,有很多文档需要更新,我得到了

TransportError(500, 'general_script_exception', '[script] Too many dynamic script compilations within, max: [75/5m]; please use indexed, or scripts with parameters instead; this limit can be changed by the [script.context.update.max_compilations_rate] setting')

我不确定增加限制是否是一个长期的解决方案。但是我不知道如何一次对多个文档进行批量更新以避免这么多调用?

【问题讨论】:

【参考方案1】:

您可以使用bulk API,它允许一次更新多个文档(参见此处的示例)。

通常,您应该尽可能尝试使用“doc”更新而不是“script”。

【讨论】:

关于 Spotify Api 上的速率限制请求/分钟的任何想法?

】关于SpotifyApi上的速率限制请求/分钟的任何想法?【英文标题】:Anyideasaboutratelimitrequest/minuteonSpotifyApi?【发布时间】:2018-03-0113:28:02【问题描述】:是否有人在开发网站上使用SpotifyWebAPI可以提供有关WebAPI请求/分钟限制的任何... 查看详情

shell脚本输出多个主机的网卡速率(代码片段)

背景:记录下之前的写过的shell脚本,需要整理出各个主机的各个网卡速率,网卡名称为bond0到bond3,使用ethtoolbond1命令可以查看相应网卡的速率。因为有几十台主机,所以考虑使用shell脚本去查询。具体思路:查询单台主机单网... 查看详情

速率限制 CoreBluetooth 写入而不响应

...设备上的固件。但是,我遇到了一个问题,即CoreBluetooth没有对写入进行速率限制,并且发送消息太快以至于设备无法接收所有消息。确保Cor 查看详情

如何限制请求 python 库中 HTTP 请求的下载速率?

】如何限制请求python库中HTTP请求的下载速率?【英文标题】:HowtolimitdownloadrateofHTTPrequestsinrequestspythonlibrary?【发布时间】:2013-07-1512:01:26【问题描述】:是否可以使用requestsPython库限制GET请求的下载速率?例如,使用这样的命令... 查看详情

批量查询超出速率限制

】批量查询超出速率限制【英文标题】:RatelimitexceededinBatchquery【发布时间】:2014-06-2700:40:39【问题描述】:我有客户端应用程序可以将文件插入Google驱动器。有一次需要将多个文件插入GoogleDrive。批量查询(GTLBatchQuery)用于一... 查看详情

批量查询超出速率限制

】批量查询超出速率限制【英文标题】:RatelimitexceededinBatchquery【发布时间】:2014-06-2700:40:39【问题描述】:我有客户端应用程序可以将文件插入Google驱动器。有一次需要将多个文件插入GoogleDrive。批量查询(GTLBatchQuery)用于一... 查看详情

yt-dlp 'rate-limit' 不限制 Python 脚本中的速度

】yt-dlp\\\'rate-limit\\\'不限制Python脚本中的速度【英文标题】:yt-dlp\'rate-limit\'notthrottilingspeedinPythonscriptyt-dlp\'rate-limit\'不限制Python脚本中的速度【发布时间】:2021-12-2014:17:08【问题描述】:我已将yt-dlp作为我的Python脚本的一部分... 查看详情

UDF 上的 Bigquery 配额限制

...0:30:45【问题描述】:包含用户定义函数(UDF)的查询的并发速率限制:6个并发查询,包括交互式查询和批处理查询。包含UDF的交互式查询计入交互式查询的并发速率限制。https://cloud.google.com/bigquery/quota-policy#queries我的问题。限制... 查看详情

Python 请求,如何限制接收大小、传输速率和/或总时间?

】Python请求,如何限制接收大小、传输速率和/或总时间?【英文标题】:Pythonrequests,howtolimitreceivedsize,transferrate,and/ortotaltime?【发布时间】:2014-03-1208:45:23【问题描述】:我的服务器执行外部请求,我想限制失败请求可能造成的... 查看详情

如何限制从 Firebase 读取数据的速率?

】如何限制从Firebase读取数据的速率?【英文标题】:HowtolimitrateofdatareadsfromFirebase?【发布时间】:2019-06-2717:26:46【问题描述】:我想限制每个用户从实时数据库读取数据的速率。有很好的方法来限制写入,如here所述,但我找不... 查看详情

Python中的多个ping脚本

】Python中的多个ping脚本【英文标题】:MultiplepingscriptinPython【发布时间】:2012-08-1912:52:07【问题描述】:我找不到任何关于python和网络的易于学习的好文档。在这种情况下,我只是想制作一个简单的脚本,我可以ping一些远程机... 查看详情

阅读没有 oauth 但对我的应用程序有速率限制的 twitter 用户时间线

】阅读没有oauth但对我的应用程序有速率限制的twitter用户时间线【英文标题】:Readtwitterusertimelinewithoutoauthbutwithratelimitingonmyapplication【发布时间】:2012-05-0406:00:07【问题描述】:基本上我想做的是请求用户的公共时间线(包括转... 查看详情

instagram api 速率限制说明

】instagramapi速率限制说明【英文标题】:instagramapiratelimitclarification【发布时间】:2016-12-1314:24:37【问题描述】:我们向/users/self/media/recent和/media/media-id/comments发出GET请求端点。为此,我们使用带有access_token的用户身份验证。根... 查看详情

如何使用 Python 绕过速率限制 ..HTML 错误 1015

】如何使用Python绕过速率限制..HTML错误1015【英文标题】:Howtobypassbeingratelimited..HTMLError1015usingPython【发布时间】:2021-03-1515:21:31【问题描述】:所以我创建了一个自动化机器人来在互联网上为我做一些事情..使用SeleniumPython..经过... 查看详情

有没有办法通过 Azure API 管理中的订阅来改变速率限制的值

】有没有办法通过AzureAPI管理中的订阅来改变速率限制的值【英文标题】:IsthereawayofvaryingthevalueoftheratelimitbysubscriptioninAzureAPIManagement【发布时间】:2020-05-0714:34:27【问题描述】:在AzureAPI管理中,可以通过订阅和密钥来限制调用... 查看详情

使用python脚本删除sql数据库中的多个条目(代码片段)

...故意避免使用任何类型的executemany()方法,因为(如果我没有记错的话),它们可能非常慢。importsqlalchemyassaimporturllibdefdelete_rows(tablena 查看详情

安全规则中的 Firebase 速率限制?

】安全规则中的Firebase速率限制?【英文标题】:Firebaseratelimitinginsecurityrules?【发布时间】:2021-07-3121:36:30【问题描述】:我启动了我的第一个开放存储库项目EphChat,人们立即开始向它发出大量请求。Firebase是否有办法在安全规... 查看详情

安全规则中的 Firebase 速率限制?

】安全规则中的Firebase速率限制?【英文标题】:Firebaseratelimitinginsecurityrules?【发布时间】:2014-09-0921:23:31【问题描述】:我启动了我的第一个开放存储库项目EphChat,人们立即开始向它发出大量请求。Firebase是否有办法在安全规... 查看详情