关键词：
【中文标题】将 XLS 文件从 GCS 导入 BigQuery【英文标题】：Import XLS file from GCS to BigQuery 【发布时间】：2019-08-06 01:50:35 【问题描述】：我的 Google Cloud Storage 中有一些 .xls 数据，我想使用气流将其存储到 GCP。我可以将其直接导出到 BigQuery，还是可以使用其他库（例如 pandas 和 xlrd）来转换文件并将其存储到 BigQuery 中？ 谢谢
【问题讨论】：
【参考方案1】：Bigquery 不支持 xls 格式。最简单的方法是将文件转换为 CSV 并将其加载到大查询中。 但是，我不知道您的 xls 格式。如果它是多页的，您必须处理文件。
【讨论】：
BigQuery：如何使用传输 API 将文件从 GCS 加载到现有表？
】BigQuery：如何使用传输API将文件从GCS加载到现有表？【英文标题】：BigQuery:HowtoloadfilefromGCStoexistingtableusingthetransferAPI?【发布时间】：2020-04-2620:07:22【问题描述】：在气流中，我想将文件从GCS加载到现有的BigQuery表中。有一个操... 查看详情
无法将 csv 文件从 GCS 加载到 bigquery
】无法将csv文件从GCS加载到bigquery【英文标题】：unabletoloadcsvfilefromGCSintobigquery【发布时间】：2016-07-1813:25:28【问题描述】：我无法将500mb的csv文件从谷歌云存储加载到大查询，但我收到了这个错误Errors:Toomanyerrorsencountered.(errorcode... 查看详情
如何限制从 bigquery 导出到 gcs 的文件大小？
】如何限制从bigquery导出到gcs的文件大小？【英文标题】：howtolimitthesizeofthefilethatexportingfrombigquerytogcs?【发布时间】：2017-05-2215:46:29【问题描述】：我使用python代码将数据从bigquery导出到gcs，然后使用gsutil导出到s3！但是导出到gcs... 查看详情
GCP将数据作为字符串从GCS中的CSV文件加载到BigQuery表中
】GCP将数据作为字符串从GCS中的CSV文件加载到BigQuery表中【英文标题】：GCPLoadingaDataasStringintoBigQuerytablefromaCSVfileinGCS【发布时间】：2021-06-2710:12:47【问题描述】：GoogleCloudStorage中的CSV文件具有“dd/mm/yyyy”格式的日期值，当加载到... 查看详情
使用 Dataflow 管道 (python) 将多个 Json zip 文件从 GCS 加载到 BigQuery
】使用Dataflow管道(python)将多个Jsonzip文件从GCS加载到BigQuery【英文标题】：LoadmultipleJsonzipfilefromGCStoBigQueryusingDataflowpipeline(python)【发布时间】：2021-02-1618:38:02【问题描述】：我对Dataflow和天真的程序员完全陌生。我正在寻求帮助设... 查看详情
是否可以使用 UDF 从 BigQuery 读取 gcs 对象的元数据
】是否可以使用UDF从BigQuery读取gcs对象的元数据【英文标题】：Isitpossibletoreadgcsobject\'smetadatafromBigQueryusingUDF【发布时间】：2021-06-1604:59:14【问题描述】：我正在从GCS对象（使用csv和json文件类型（在单独的表中））将数据提取到Bi... 查看详情
将 CSV 从 GCS 批量加载到 BigQuery 时，表数据是增量查看还是仅在所有文件加载后才可查看？
】将CSV从GCS批量加载到BigQuery时，表数据是增量查看还是仅在所有文件加载后才可查看？【英文标题】：WhenbatchloadingCSVsfromGCStoBigQuery,isthetabledataviewableincrementally,oronlyonceallfilesareloaded?【发布时间】：2021-11-2617:52:45【问题描述】：... 查看详情
安排定期将数据从 GCS 加载到 BigQuery
】安排定期将数据从GCS加载到BigQuery【英文标题】：ScheduleloadingdatafromGCStoBigQueryperiodically【发布时间】：2019-03-0411:24:40【问题描述】：我已经对其进行了研究，目前提出了使用ApacheAirflow的策略。我仍然不确定该怎么做。我得到的... 查看详情
将数据从 GCS 传输到 Bigquery 表失败
】将数据从GCS传输到Bigquery表失败【英文标题】：FailedtotransferdatafromGCStoBigquerytable【发布时间】：2021-02-1701:57:26【问题描述】：在DTS中需要帮助。使用自动检测架构创建表“allorders”后，我创建了一个数据传输服务。但是当我运... 查看详情
错误 - 使用 Apache Sqoop 和 Dataproc 从 SQL Server 导入 GCS
...数据从SQLServer导入到GoogleCloudStorage，稍后我会将其上传到BigQuery。我通过Google的CloudShell完成所 查看详情
将 GCS 文件加载到 BigQuery 的 Cloud Functions 的 Python 单元测试
】将GCS文件加载到BigQuery的CloudFunctions的Python单元测试【英文标题】：PythonunittestingforaCloudFunctionthatloadsGCSfilestoBigQuery【发布时间】：2021-03-0315:27:38【问题描述】：这是我第一次使用云函数，这个云函数只做一项工作：每次将文件... 查看详情
BigQuery 加载作业失败 - 无法访问 GCS 文件
】BigQuery加载作业失败-无法访问GCS文件【英文标题】：BigQueryfailedloadjob-wasunabletoaccessaGCSfile【发布时间】：2014-03-1401:02:01【问题描述】：我们昨天在BigQuery的一项计划加载作业中遇到了错误。我们以前从未见过这个错误。此外，... 查看详情
每 5 分钟上传到 GCS 的文本文件如何将它们上传到 BigQuery？
】每5分钟上传到GCS的文本文件如何将它们上传到BigQuery？【英文标题】：TextfilesuploadedtoGCSevery5minuteshowtouploadthemintoBigQuery?【发布时间】：2020-08-0806:58:12【问题描述】：Kafka将文件作为文本流式传输到GoogleCloudStorage(GCS)。新文件每5... 查看详情
如何将 BigQuery 数据导出到 GCS？
】如何将BigQuery数据导出到GCS？【英文标题】：HowtoexportBigQuerydatatoGCS?【发布时间】：2021-11-1515:34:46【问题描述】：我是一名Airflow新手，正在尝试从BigQuery收集数据并将查询到的数据导出到GoogleCloudStorage。我创建了一个任务来检... 查看详情
从 Avro 将 unix 时间戳（以秒为单位）导入 Bigquery 中的正确时间戳
】从Avro将unix时间戳（以秒为单位）导入Bigquery中的正确时间戳【英文标题】：ImportaunixtimestampinsecondsfromAvrototherighttimestampinBigquery【发布时间】：2021-02-2213:07:14【问题描述】：我想将以AVRO格式存储的数据从GCS导入Bigquery。源时间... 查看详情
优化 BigQuery 资源的使用，使用 Google Dataflow 从 GCS 加载 200 万个 JSON 文件
】优化BigQuery资源的使用，使用GoogleDataflow从GCS加载200万个JSON文件【英文标题】：OptimizetheuseofBigQueryresourcestoload2millionJSONfilesfromGCSusingGoogleDataflow【发布时间】：2020-06-1202:59:30【问题描述】：我有一个庞大的数据库，其中包含约240... 查看详情
从 pubsub->bigquery 移动到 pubsub->gcs (avro)->bigquery
】从pubsub->bigquery移动到pubsub->gcs(avro)->bigquery【英文标题】：Movingfrompubsub->bigquerytopubsub->gcs(avro)->bigquery【发布时间】：2020-04-2010:55:54【问题描述】：我们当前的数据管道将我们的事件“直接”流式传输到bigquery。我... 查看详情
将 BigQuery 查询结果直接写入 GCS - 可以吗？
】将BigQuery查询结果直接写入GCS-可以吗？【英文标题】：WriteBigQueryqueryresultdirectlytoGCS-isitpossible?【发布时间】：2016-08-1008:28:37【问题描述】：我尝试了bq命令行工具，但似乎没有办法将结果直接写入GCS。我能看到的唯一方法是：... 查看详情