关键词：
【中文标题】Azure Databricks 和 pyspark - 子字符串错误【英文标题】：Azure Databricks & pyspark - substring errors 【发布时间】：2020-10-23 08:23:18 【问题描述】：我的 Databricks Spark 脚本出现两个错误，代码如下：
df = spark.createDataFrame(pdDf).withColumn('month', substring(col('dt'), 0, 7))
第一个：
AttributeError: 'Series' object has no attribute 'substr'
和
NameError: name 'substr' is not defined
我想知道我做错了什么......
【问题讨论】：
【参考方案1】：原来我没有导入 pyspark.sql.functions
from pyspark.sql.functions import *
【讨论】：
Azure Databricks - 导出和导入 DBFS 文件系统
】AzureDatabricks-导出和导入DBFS文件系统【英文标题】：AzureDatabricks-ExportandImportDBFSfilesystem【发布时间】：2021-04-0201:59:26【问题描述】：我们刚刚在我们的资源组中创建了一个新的AzureDatabricks资源。在同一资源组中，有一个旧的Azur... 查看详情
Azure Databricks 和 pyspark - 子字符串错误
】AzureDatabricks和pyspark-子字符串错误【英文标题】：AzureDatabricks&pyspark-substringerrors【发布时间】：2020-10-2308:23:18【问题描述】：我的DatabricksSpark脚本出现两个错误，代码如下：df=spark.createDataFrame(pdDf).withColumn(\'month\',substring(col(... 查看详情
Databricks + ADF + ADLS2 + Hive = Azure Synapse
】Databricks+ADF+ADLS2+Hive=AzureSynapse【英文标题】：【发布时间】：2021-12-2419:30:13【问题描述】：我没有使用AzureSynapse的经验，但我的理解是，这与SQLDWH中的Databricks、ADF、ADLS2和Hive相同，都在一个名称不同的工作区中。我错了吗？【... 查看详情
如何在 Azure 数据工厂的 Databricks 上运行 .Net spark 作业？
】如何在Azure数据工厂的Databricks上运行.Netspark作业？【英文标题】：Howtorun.NetsparkjobsonDatabricksfromAzureDataFactory?【发布时间】：2020-08-0508:06:59【问题描述】：在Azure数据工厂中，您有一个DatabricksAcvitiy。此活动支持运行python、jar和no... 查看详情
Databricks：将数据框合并到 Azure 突触表中
】Databricks：将数据框合并到Azure突触表中【英文标题】：Databricks:MergedataframeintoAzuresynapsetable【发布时间】：2021-03-1305:39:12【问题描述】：有什么方法可以将数据框合并到AzureSynapse表中？我为dataframe.write.mode()找到了什么只允许追... 查看详情
无法使用 jdbc 和 spark 连接器从 databricks 集群连接到 Azure 数据库 for MySQL 服务器
】无法使用jdbc和spark连接器从databricks集群连接到Azure数据库forMySQL服务器【英文标题】：NotabletoconnecttoAzuredatabaseforMySQLserverfromdatabricksclusterusingjdbcandsparkconnector【发布时间】：2020-05-2202:30:00【问题描述】：我正在尝试使用databricks... 查看详情
如何将所有文件从 blob 存储容器导入和处理到 azure databricks
】如何将所有文件从blob存储容器导入和处理到azuredatabricks【英文标题】：Howtoimportandprocessallfilesfromablobstoragecontainertoazuredatabricks【发布时间】：2019-03-0809:02:00【问题描述】：我正在使用azuredatabricks和blob存储。我有一个存储帐户... 查看详情
使用 azure databricks 读取 azure databricks 日志 json 文件
】使用azuredatabricks读取azuredatabricks日志json文件【英文标题】：Readingazuredatabrickslogsjsonfileusingazuredatabricks【发布时间】：2022-01-0122:00:58【问题描述】：我已通过启用诊断设置将数据块日志发送到存储帐户，现在我必须使用azure数据... 查看详情
无法使用 Databricks 列出 Azure Storage Gen 2 文件
】无法使用Databricks列出AzureStorageGen2文件【英文标题】：CannotlistAzureStorageGen2fileswithDatabricks【发布时间】：2021-03-0404:03:12【问题描述】：我想知道我的databricks代码是否寻址正确的位置，以及“贡献者”权限是否足以访问存储。我... 查看详情
Azure Databricks 作业通知电子邮件
】AzureDatabricks作业通知电子邮件【英文标题】：AzureDatabricksJobnotificationemail【发布时间】：2020-08-1812:59:43【问题描述】：我正在使用Databricks进行ETL，并且我已经配置了作业成功和作业失败通知电子邮件。电子邮件通知工作正常。... 查看详情
如何列出 Azure Databricks 中的所有挂载点？
】如何列出AzureDatabricks中的所有挂载点？【英文标题】：HowtolistallthemountpointsinAzureDatabricks?【发布时间】：2020-09-2416:38:03【问题描述】：我尝试使用这个%fslsdbfs:/mnt，但我想知道这样做会给我所有的挂载点吗？【问题讨论】：【... 查看详情
从 Azure Databricks 查询 SAP 表
】从AzureDatabricks查询SAP表【英文标题】：QueryonSAPtablefromAzureDatabricks【发布时间】：2021-12-2804:25:09【问题描述】：我想从数据块中查询SAP表。我已经安装了用于连接SAP服务器的JDBC库。我能够使用spark.read.JDBC(url=jdbcUrl,table=query,proper... 查看详情
尝试访问 Azure Databricks 中的 Azure DBFS 文件系统时出现挂载错误
】尝试访问AzureDatabricks中的AzureDBFS文件系统时出现挂载错误【英文标题】：mounterrorwhentryingtoaccesstheAzureDBFSfilesysteminAzureDatabricks【发布时间】：2020-03-1816:27:53【问题描述】：我能够与我的DatabricksFileStoreDBFS建立连接并访问文件存储... 查看详情
将数据从 Databricks 加载到 Azure SQL 时的性能问题
】将数据从Databricks加载到AzureSQL时的性能问题【英文标题】：PerformanceissuesinloadingdatafromDatabrickstoAzureSQL【发布时间】：2021-02-2422:44:29【问题描述】：我正在尝试使用Microsoft最近发布的支持PythonAPI和Spark3.0的connector将100万条记录从D... 查看详情
如何使用 Azure databricks 通过 ADLS gen 2 中的多个工作表读取和写入 excel 数据
】如何使用Azuredatabricks通过ADLSgen2中的多个工作表读取和写入excel数据【英文标题】：HowtouseAzuredatabrickstoreadandwriteexceldatawithmultiplesheetsfromADLSgen2【发布时间】：2021-10-2717:19:29【问题描述】：我想使用pyspark在Azure数据块中实现以下... 查看详情
Azure Databricks：如何在 Databricks 群集中添加 Spark 配置
】AzureDatabricks：如何在Databricks群集中添加Spark配置【英文标题】：AzureDatabricks:HowtoaddSparkconfigurationinDatabrickscluster【发布时间】：2020-02-2911:33:02【问题描述】：我正在使用SparkDatabricks集群并希望添加自定义的Spark配置。有一个关于... 查看详情
Azure Databricks 的 Azure DevOps 管道
】AzureDatabricks的AzureDevOps管道【英文标题】：AzureDevOpspipelinesforAzureDatabricks【发布时间】：2019-11-2318:23:37【问题描述】：不知道Azure数据块中的所有内容都可以基于AzureDevOps管道。我们计划使用github作为存储库。就像Azure数据块可... 查看详情
在 Azure Databricks 中编写 spark 数据框
】在AzureDatabricks中编写spark数据框【英文标题】：WritingsparkdataframeinAzureDatabricks【发布时间】：2020-11-0915:45:46【问题描述】：我是AzureDatabricks的新手。我有两个输入文件和pythonAI模型，我正在清理输入文件并在输入文件上应用AI模... 查看详情