关键词：
【中文标题】Data Lake Store 的流分析可能的输出路径前缀【英文标题】：Stream Analytics possible output path prefix for Data Lake Store 【发布时间】：2017-05-31 20:38:56 【问题描述】：有没有办法在流分析作业中设置输出路径前缀，将数据存储到 Data Lake Store 以将其存储到单独的文件（取决于设备 ID）中，例如 data/2017/5/3/device1.csv ，data/2017/5/3/device2.csv ...或者在流分析将数据存储到一个文件之后，最好的方法是什么？ 我的输入文件是 iot hub。
【问题讨论】：
【参考方案1】：有没有办法在流分析作业中设置输出路径前缀，将数据存储到 Data Lake Store 以将其存储到单独的文件（取决于设备 ID）中，例如 data/2017/5/3/device1.csv , 数据/2017/5/3/device2.csv.
根据document，根据我的理解，我们可以设置输出路径前缀为date/time，并且不要求必须使用变量。
似乎不支持使用动态设备 ID 设置输出路径。 如果可以创建多个流分析作业，我们可以创建流分析作业并使用静态设备 ID 作为路径前缀添加输出。
【讨论】：
需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store：数据必须按 4MB 缓冲区存储
】需要使用Azure流分析和IoTHub将数据存储到AzureDataLakeStore：数据必须按4MB缓冲区存储【英文标题】：NeedtoStoredataintoAzureDatalakeStoreusingAzureStreamAnalyticsandIoTHub:Datamustbestoredby4MBbuffer【发布时间】：2018-04-0915:14:05【问题描述】：我需要... 查看详情
hdfs dfs -setfacl 在 Azure Data Lake Store 上失败
】hdfsdfs-setfacl在AzureDataLakeStore上失败【英文标题】：hdfsdfs-setfaclfailsonAzureDataLakeStore【发布时间】：2019-10-2413:19:49【问题描述】：我正在尝试使用以下命令从HDInsight3.6群集更改位于AzureDataLakeStoreGen1中的文件的访问控制列表：hdfsdfs... 查看详情
Usql 与 Azure Data Lake Store .net SDK
】Usql与AzureDataLakeStore.netSDK【英文标题】：UsqlwithAzureDataLakeStore.netSDK【发布时间】：2017-10-0611:00:06【问题描述】：您能否建议我可以将一起使用。实际上我需要将一些文件上传到数据湖存储，所以我需要使用AzureDataLakeStoreSDK，并... 查看详情
Azure Data Lake 是不是仅临时存储用于分析的数据？
】AzureDataLake是不是仅临时存储用于分析的数据？【英文标题】：DoesAzureDataLakeStoreDataforAnalyticsontemporarilypurposeonly?AzureDataLake是否仅临时存储用于分析的数据？【发布时间】：2017-04-1407:57:32【问题描述】：我正在学习MVA“介绍AzureDa... 查看详情
使用 Azure 数据工厂将数据从 Google Big Query 移动到 Azure Data Lake Store
】使用Azure数据工厂将数据从GoogleBigQuery移动到AzureDataLakeStore【英文标题】：MovingdatafromGoogleBigQuerytoAzureDataLakeStoreusingAzureDataFactory【发布时间】：2018-02-2614:30:09【问题描述】：我有一个场景，我需要在GoogleBigQuery中连接Azure数据工... 查看详情
如何在 C# 中使用服务主体（clientId 和 clientSecret）为 Azure Data Lake Store（Gen-2）创建 SAS 令牌？
...何在C#中使用服务主体（clientId和clientSecret）为AzureDataLakeStore（Gen-2）创建SAS令牌？【英文标题】：HowtocreateSAStokenforAzureDataLakeStore(Gen-2)usingserviceprincipals(clientIdandclientSecret)inC#?【发布时间】：2020-06-3012:00:06【问题描述】：我有DataLa... 查看详情
使用 Azure 数据工厂 (ADF) 数据流 (DF) 从/向 Azure Data Lake Store gen1 发送和接收数据
】使用Azure数据工厂(ADF)数据流(DF)从/向AzureDataLakeStoregen1发送和接收数据【英文标题】：SourceandSinkdatafrom/toAzureDataLakeStoregen1withAzuredatafactory\'s(ADF)DataFlow(DF)【发布时间】：2019-10-1904:42:52【问题描述】：我有一个AzureDataLakeStoregen1(ADLS... 查看详情
使用 Elastic Stack 对 Azure Data Lake Storage Gen2 中的数据进行实时数据分析
...使用ElasticStack对AzureDataLakeStorageGen2中的数据进行实时数据分析【英文标题】：RealtimedataanalyticsusingElasticStackondataresidinginAzureDataLakeStorageGen2【发布时间】：2021-10-1104:56:22【问题描述】：当数据驻留在AzureDataLakeStorageGen2上时，我们如... 查看详情
通过 Azure Data Lake 和 Power BI 进行数据分析（加入 mongoDB 和 SQL 数据）
】通过AzureDataLake和PowerBI进行数据分析（加入mongoDB和SQL数据）【英文标题】：Dataanalytics(joinmongoDBandSQLdata)throughAzureDataLakeandpowerBI【发布时间】：2020-09-1503:49:09【问题描述】：我们有一个使用mongoDB（在VM上运行）和AzureSQLdbs托管在A... 查看详情
带有 azure 函数输出的流分析，错误写入批次
】带有azure函数输出的流分析，错误写入批次【英文标题】：Streamanalyticswithazurefunctionoutput,errorwritingbatches【发布时间】：2018-10-1512:12:32【问题描述】：我得到了一个流分析输出到Azure函数的设置，这部分工作。在LogAnalytics中，我... 查看详情
具有 Blob 存储输入的流分析作业未连续运行
】具有Blob存储输入的流分析作业未连续运行【英文标题】：streamanalyticsjobwithblobstorageinputnotrunningcontinously【发布时间】：2017-11-0717:51:21【问题描述】：我创建了一个流分析作业，它从输入blob存储JSON、数据流中进行查询，并将其... 查看详情
来自 azure 流分析的流数据
】来自azure流分析的流数据【英文标题】：StreamDatafromazurestreamanalytics【发布时间】：2017-07-1500:21:07【问题描述】：我有来自天蓝色流分析的实时数据。我已启用历史数据，因为我想在仪表板中查看历史事件。但是，我需要在仪表... 查看详情
搜索存储在 Azure Data Lake 中的数据
】搜索存储在AzureDataLake中的数据【英文标题】：SearchingthroughdatastoredinAzureDataLake【发布时间】：2020-01-0709:38:30【问题描述】：我有以下用于构建数据湖的用例（例如在Azure中）：我的组织与濒临破产的公司打交道。一旦公司破产... 查看详情
Databricks：Data Lake Storage Gen 2 的挂载和直接访问之间的区别
】Databricks：DataLakeStorageGen2的挂载和直接访问之间的区别【英文标题】：Databricks:differencebetweenmountanddirectaccessofDataLakeStorageGen2【发布时间】：2019-10-0211:44:08【问题描述】：使用服务主体在Databricks上安装AzureDataLakeStoreGen2和使用SAS... 查看详情
将数据从 Csv 文件自动获取到 Data Lake 的最佳方法
】将数据从Csv文件自动获取到DataLake的最佳方法【英文标题】：BestwaytoautomatategettingdatafromCsvfilestoDatalake【发布时间】：2017-09-1215:17:49【问题描述】：我需要从csv文件（每天从不同的业务数据库中提取）获取数据到HDFS，然后将其... 查看详情
来自 Data Lake Gen2 的 Power BI 流数据集
】来自DataLakeGen2的PowerBI流数据集【英文标题】：PowerBIStreamingDatasetfromDataLakeGen2【发布时间】：2020-05-1210:51:36【问题描述】：我们将传感器数据作为.json文件推送到数据湖中。频率是每分钟发送一个.json文件。我想将PowerBIStreamDatase... 查看详情
有啥方法可以检查我的流分析输入是不是已经在表中？
】有啥方法可以检查我的流分析输入是不是已经在表中？【英文标题】：IsthereanywaytocheckifmyStreamAnalyticsinputisalreadyinatable?有什么方法可以检查我的流分析输入是否已经在表中？【发布时间】：2020-01-2311:28:46【问题描述】：我有一... 查看详情
将 PySpark Dataframe 导出到 Azure Data Lake 需要很长时间
】将PySparkDataframe导出到AzureDataLake需要很长时间【英文标题】：ExportingPySparkDataframetoAzureDataLakeTakesForever【发布时间】：2019-12-0713:49:33【问题描述】：当输入数据的大小（大约6GB）很小时，以下代码在MacOS(Python3.7)上的独立版本PySpa... 查看详情