对于大数据量的json解析

web前段领域      2022-02-08     523

关键词:

近几天做了一个项目,需要解析大量的json数据,有一万多条,以前我用的都是Gson包去自动解析,但是速度真是不敢恭维,于是我又去查了其它的方法,发现fastjson的解析,发现速度直的是很快,在此我不得不佩服,这个包的作者,直是很厉害,能写出这样一个工具,我在网上看了,这个工具还有很多问题,但也可以理解,“人无完人嘛”,何况是工具呢?,所以自己研究了一下这个工具,在此分享给大家 ,希望有所帮助。
对于这个包的功能不差于google提供的Gson包,它也支持很多,比如 时间格式 ,泛型,注解,集合解析等等。
我下载的包1.1.6,我测试了一下,还算可以,大家 可以 尝试一下,下面我简要说一下两种使用方法,一个是注解,一个没有注解。
**1、如何使用注解**
首先我们要定义自己的一个类,举个例子,


这是个简单的json`{"name":"ljw",age:18}`
```java
//这是一个Person类
public class Person{
@JSONField(name = "Name")
private String name;
@JSONField(name = "Age")
private int age;
//对于这个无参构造,在此是一个要有的,如果不想用无参构 造,大家可以尝试这个注解@JSONCreater,它可以顶替这个无参 构造函数
public Person(){}
//这里的set方法我们一定要有否会报错
public void setName(String name){
this.name = name;
}
public void setAge(int age){
this.age = age;
}


public String getName(){
return this.name;
}


public int getAge(){
return this.age;
}
}
```


下面我们就可心用这个类去解析了,


```java
Person person = JSON.parseObject("json",Person.class);
```


这个我们就可以解析成一个类了,同样们们也也可以解析一个List集合,方法和google提供 的GSon包差不多一们,只不过是注解的方式 不同。如果我们想把一个javabean解析成一个json格式的字符串,也很简单,比如


```java
String jsonString = JSON.toJSONString(javabean). 
```
这样就ok 了。




**2、不用注解解析的方式**
这个方法只要把上面的方法的注解去除就可以了,默解析的字段名子是类的属性兔名字,比如“name” "age".
其实我们大可不必用注解去解析,个人感觉不太方法,但这只是我个从的意见,因为在大多时候我们需要从服务器上获取数据,这个的json是不受我们自己控制的, 服务给的字段可能是首字母大写,如果我们不用注解就需要让我们类的属性名字首字母也大写,但这不符合java的设计原则, 在这个时候,注解的使用是很有必要的。


以上就是自己的对Fastjson的简单介绍,如果希望了解更多,大家 可以到官网学习一下。 































































如何优化很长的json数据?

...。1、服务器端开启GZip压缩主流的服务端都支持GZip压缩,对于一般的纯文本内容GZip压缩率在35%以上,这样做的好处也很明显:2、键名缩短对于结果集而言,数据都是查询循环输出的,所以当我们把键名缩短也变相压缩了JSON文本... 查看详情

数据库水平分表(一个大数据量的表)

一、当一张表很大时,比如微信账号、facebook账号、QQ号、谷歌账号系统等,都是大数据量的一张表结构。那么必然需要进行拆分,即水平拆分。二、表的水平拆分规则。 查看详情

sqlserver2016json原生支持实例说明

原文:SQLServer2016JSON原生支持实例说明背景MicrosoftSQLServer对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了,在这个趋势下,如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节... 查看详情

大数据量的数据库选择?

】大数据量的数据库选择?【英文标题】:Databasechoiceforlargedatavolume?【发布时间】:2010-10-1209:09:37【问题描述】:我即将开始一个新项目,该项目应该有一个相当大的数据库。表的数量不会很大(估计该表中的数据量将以每天500... 查看详情

如何在 Android 应用程序中解析、序列化和反序列化大 JSON 数据? [复制]

】如何在Android应用程序中解析、序列化和反序列化大JSON数据?[复制]【英文标题】:Howdoiparse,serializeanddeserializebigJSONdatainandroidapplication?[duplicate]【发布时间】:2020-03-1315:22:31【问题描述】:我有一个来自服务器的大JSON数据,我... 查看详情

cesium何如加载大数据量的geojson格式的数据,geojson有切片吗

参考技术A  GeoJSON是一种对各种地理数据结构进行编码的格式。GeoJSON对象可以表示几何、特征或者特征集合。GeoJSON支持下面几何类型:点、线、面、多点、多线、多面和几何集合。GeoJSON里的特征包含一个几何对象和其他属性... 查看详情

volley网络框架解析(代码片段)

...去进行数据量不大,但通信频繁的网络操作,而对于大数据量的网络操作,比如说下载文件等,Volley的表现就会非常糟糕。一.volley的基本 查看详情

使用gson解析复杂的json数据

...用普通的json解析方法即JsonObject和JsonArray的配合使用,这对于解析小数据的json数据还是比较实用,但是当解析json数据比较复杂的时候这种方法就显得比较吃力也比较麻烦了 查看详情

解析 JSON 数据并处理数组

...题描述】:我正在使用Mantle解析来自Yelp的一些JSON数据。对于每个返回的业务,我都会得到一个NSArray的类别。这将是一个例子:yelpCategories=(("WineBars","wine_bars"),("IceCream&FrozenYogurt" 查看详情

jsonxml数据解析

...数据主要是两种,一种是JSON数据一种是XML格式的数据 对于这两种数据 咱们都要一套自己的解析方法JSON:JSON(JavaScriptObjectNotation) 是一种轻量级的数据交换格式。易于人阅读和编写。JSON是出自于JavaScript,因此,JSON的数... 查看详情

oraclemergeinto基于大数据量的优化方向(代码片段)

Oraclemergeinto基于大数据量的优化方向针对Oracle数据库的更新操作我们会使用updatetableNamesetcol1=col2wherecondition...这样子的事务提交效率比较低下,所以大部分情况下需要批量更新的话我们会使用mergeinto进行替换mergeintotarget_tab... 查看详情

hive系列之解析json数据

概述在数据处理中,经常遇到的一个数据类型就是JSON,MySQL数据库解析JSON,参考​​MySQL5.7JSON函数学习​​,​MySQLjson_mergewithgroupby​​。在大数据执行引擎Hive中,我们也经常会遇到JSON解析的场景。实战get_json_object、json_tupleHiv... 查看详情

请教一个java操作excel大数据量的问题

亲,可以多建立几个sheet就行,这样的分批导出数据就行,或者亲可以把查询条件降低下让数据量变小,也可以设置内存大些也行。分成多个sheet是最好的解决方法。参考技术A用一些好的框架工具springbatch 查看详情

并发问题:大数据量的訪问

今天突然关注到这个问题,从网上看了非常多,受益良多。记录下来,以后回想~之前在工作中就遇到过这样的情况。两个用户同一时候操作一条记录,A用户查询某条记录,B用户把这条记录删除,A用户将查询的某条记录的某些... 查看详情

使用openrowsetmicrosoft.ace.oledb实现大数据量的高效导入

...说明使用的环境是:java和Sqlserver。最近公司需要进行大数据量的导入操作。原来使用的是ApachePOI,虽然可以实现功能,但是因为逻辑处理中需要进行许多校验,处理速度太慢,使用多线程之后也不尽如人意。在网上搜索之后,... 查看详情

blob存储大数据量的二进制文件时会丢失数据吗?

望大虾救助啊》》》》》》》》》》》》》参考技术ABLOB类型的最长字节是65,535字节即64KB超过就是丢失了如果需要更大的存储空间,可以用MEDIUMBLOB(16MB)LONGBLOB(4GB)这种大存储类型的本回答被提问者采纳 查看详情

golang生成json及解析json

...t语法的子集。JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组1.JSON名称/值对2.JSON值可以是:JSON数据JSON数字可以是整型或者浮点型JSON对象JSON对象在大括号()中书写... 查看详情

解析一个非常大的 CSV 数据集

...d示例数据:http://google.com/|127.0.0.1|2http://google.com/|12.3.3.1|2对于这种格式,我希望获取每个URL的所有唯一活动。我尝试创建一 查看详情