关键词：
【中文标题】Spark 2.0：如何将元组的 RDD 转换为 DF [重复]【英文标题】：Spark 2.0: how to convert a RDD of Tuples to DF [duplicate] 【发布时间】：2017-06-01 03:12:16 【问题描述】：我正在将我的一个项目从 Spark 1.6 升级到 Spark 2.0.1。以下代码适用于 Spark 1.6，但不适用于 2.0.1：
def count(df: DataFrame): DataFrame =
val sqlContext = df.sqlContext
import sqlContext.implicits._
df.map case Row(userId: String, itemId: String, count: Double) =>
(userId, itemId, count)
.toDF("userId", "itemId", "count")
这是错误信息：
Error:(53, 12) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases.
df.map case Row(userId: String, itemId: String, count: Double) =>
^
Error:(53, 12) not enough arguments for method map: (implicit evidence$7: org.apache.spark.sql.Encoder[(String, String, Double)])org.apache.spark.sql.Dataset[(String, String, Double)].
Unspecified value parameter evidence$7.
df.map case Row(userId: String, itemId: String, count: Double) =>
^
我尝试使用df.rdd.map而不是df.map，然后得到以下错误：
Error:(55, 7) value toDF is not a member of org.apache.spark.rdd.RDD[(String, String, Double)]
possible cause: maybe a semicolon is missing before `value toDF'?
.toDF("userId", "itemId", "count")
^
如何在 Spark 2.0 中将元组的 RDD 转换为数据帧？
【问题讨论】：
您是否尝试导入importing spark.implicits._ ？
@rogue-one 是的，尝试将val sqlContext = df.sqlContext import sqlContext.implicits._ 更改为val spark = df.sparkSession import spark.implicits._，但得到了同样的错误。
【参考方案1】：
您的代码中的其他地方很可能存在语法错误，因为您的 map 函数似乎在您获取时编写正确
错误:(53, 12) 方法映射没有足够的参数: (implicit evidence$7: org.apache.spark.sql.Encoder[(String, String, Double)])org.apache.spark.sql.Dataset [（字符串，字符串，双精度）]。 未指定值参数证据$7
您的代码在我的 Spark shell 中可以正常工作，我已经对其进行了测试。
【讨论】：
如何将元组列表转换为 pandas 数据框，以便每个元组的第一个值代表一列？
】如何将元组列表转换为pandas数据框，以便每个元组的第一个值代表一列？【英文标题】：HowcanItransformalistoftuplesintoapandasdataframesothatthefirstvalueofeachtuplerepresentsacolumn?【发布时间】：2020-04-1315:47:33【问题描述】：我想转换我的元... 查看详情
Typescript 将元组的类型元组转换为元组（扁平元组）
...：我有这个TypeT=Params<[Tuple1,Tuple2]>//eg[[string],[number]]如何制作（展平）TypeFlatten<T>=Params 查看详情
将元组的字符串表示形式转换为真正的元组
...pletoarealtuple【发布时间】：2015-12-1922:11:26【问题描述】：如何将这个字符串"[type,a,to,room01023123,body,heywhat\'supmister,by,someone]"转换成这样的元组["type","a& 查看详情
如何将元组转换为命名元组？
】如何将元组转换为命名元组？【英文标题】：Howtocasttupleintonamedtuple?【发布时间】：2014-09-1922:20:19【问题描述】：我想在内部使用namedtuples，但我想保持与给我提供普通元组的用户的兼容性。fromcollectionsimportnamedtupletuple_pi=(1,3.14... 查看详情
将元组的 Rust 向量转换为 C 兼容结构
】将元组的Rust向量转换为C兼容结构【英文标题】：ConvertRustvectoroftuplestoaCcompatiblestructure【发布时间】：2015-09-0804:25:17【问题描述】：按照theseanswers，我目前定义了一个Rust1.0函数如下，以便可以使用ctypes从Python调用：usestd::vec;ext... 查看详情
将元组的无序列表转换为 pandas DataFrame
】将元组的无序列表转换为pandasDataFrame【英文标题】：ConvertingunorderedlistoftuplestopandasDataFrame【发布时间】：2018-05-2920:57:57【问题描述】：我正在使用库usaddress从我拥有的一组文件中解析地址。我希望我的最终输出是一个数据框，... 查看详情
如何创建将二叉树转换为元组的函数？
】如何创建将二叉树转换为元组的函数？【英文标题】：Howdoicreateafunctiontoconvertabinarytreetoatuple?【发布时间】：2021-12-0100:56:43【问题描述】：我遇到了这个问题，我的任务是将元组转换为二叉树，然后将二叉树转换回元组并返回... 查看详情
如何对 spark scala RDD 中的元组列表/数组执行转换？
】如何对sparkscalaRDD中的元组列表/数组执行转换？【英文标题】：Howtoperformtransformationsonlist/arrayoftuplesinsparkscalaRDD?【发布时间】：2021-08-2116:13:21【问题描述】：我有一个元组列表-如何对每个元组的整数值执行reduce？valstudent=List((1... 查看详情
在 Spark 中将元组转换为矩阵
】在Spark中将元组转换为矩阵【英文标题】：TransformtupletomatrixinSpark【发布时间】：2020-08-1123:02:59【问题描述】：我有一个看起来像这样的元组和值的rdd列表。有成千上万种不同的配对。(A,B),1(B,C),2(C,D),1(A,D),1(D,A),5我想将元组值对... 查看详情
如何在python中将元组列表转换为元组的元组[重复]
】如何在python中将元组列表转换为元组的元组[重复]【英文标题】：Howtoconvertlistoftuplestotupleoftuplesinpython[duplicate]【发布时间】：2017-07-3001:50:40【问题描述】：我正在尝试将元组列表转换为元组元组，我做错了，请帮助解决此问题... 查看详情
如何在 Python 中将元组的元组转换为 pandas.DataFrame？
】如何在Python中将元组的元组转换为pandas.DataFrame？【英文标题】：Howtoconverttupleoftuplestopandas.DataFrameinPython?【发布时间】：2016-02-1512:00:00【问题描述】：没有冒犯，如果问题太基本。如果您需要更多信息，请告诉我。我正在寻找... 查看详情
如何将元组类型转换为联合？
】如何将元组类型转换为联合？【英文标题】：Howtoconvertatupletypetoaunion?【发布时间】：2020-04-0200:15:31【问题描述】：如何将元组泛型类型映射到联合类型？typeNeededUnionType<T>=T[keyofT];//IncludesalltheArraypropertiesvaluesconstvalue:NeededUn... 查看详情
如何将地图转换为 Spark 的 RDD
】如何将地图转换为Spark的RDD【英文标题】：HowtoconvertamaptoSpark\'sRDD【发布时间】：2015-11-1121:06:59【问题描述】：我有一个嵌套映射形式的数据集，它的Scala类型是：Map[String,(LabelType,Map[Int,Double])]第一个String键是每个样本的唯一标... 查看详情
Python将元组转换为值
...n(...)res=db.query("selectcount(1)fromtestdata")print(res)>>>(10,)如何只打印10？【问题讨论】：pri 查看详情
如何将元组中的字典列表转换为表格数据/熊猫数据框？
】如何将元组中的字典列表转换为表格数据/熊猫数据框？【英文标题】：Howtoconvertalistofdictionariesinsideatupleintotabulardata/pandasDataFrame?【发布时间】：2017-07-1121:02:06【问题描述】：我目前有一个包含两个元素的元组列表，一个字符... 查看详情
将元组的元素插入数据库
】将元组的元素插入数据库【英文标题】：Insertingtuple\'selementstodatabase【发布时间】：2011-12-2411:39:07【问题描述】：我有一个元组，我想存储它的元素，我试图将它插入如下，它给出了以下错误，我做错了什么？records_to_be_inserted... 查看详情
Python将元组转换为字符串[重复]
...,5,2018]text="%s/%s/%s"%tuple(date)print(text)它给出了结果2/5/2018。如何像02/05/2018一样转换它【问题讨论】：【参考方案1】：text=":02d/:02d/:d".f 查看详情
在 2.0 中将 RDD 转换为 Dataframe
】在2.0中将RDD转换为Dataframe【英文标题】：convertRDDtoDataframein2.0【发布时间】：2016-11-1619:24:44【问题描述】：我正在尝试将rdd转换为Spark2.0中的数据帧valconf=newSparkConf().setAppName("dataframes").setMaster("local")valsc=newSparkContext(conf)valsqlCon=n... 查看详情