Go - 解码JSON，因为它仍然通过网络/ http进行流式传输

Question

在过去，我使用go以如下所示的方式解码来自API端点的JSON。

client := &http.Client{} 

req, err := http.NewRequest("GET", "https://some/api/endpoint", nil) 
res, err := client.Do(req) 
defer res.Body.Close() 

buf, _ := ioutil.ReadAll(res.Body) 

// ... Do some error checking etc ... 

err = json.Unmarshal(buf, &response) 

我不久将要工作的，可以送我JSON数据的几兆字节的格式如下的端点。

{ 
    "somefield": "value", 
    "items": [ 
     { LARGE OBJECT }, 
     { LARGE OBJECT }, 
     { LARGE OBJECT }, 
     { LARGE OBJECT }, 
     ... 
    ] 
} 

JSON将在某些时候包含一个大的任意长度的对象数组。我想将这些对象中的每一个都分别放入消息队列中。我不需要自己解码对象。

如果我使用了我的常规方法，它会在解码之前将整个响应加载到内存中。

当响应仍在流入并将其派送到队列中时，是否有很好的方法来分离出每个大对象项目？我这样做是为了避免在内存中保存尽可能多的数据。

谢谢！

Answer 1

对json.Decoder可能解码JSON流。我们可以读取（解组）单个值而不消耗和解组整个流。这很酷，但是您的输入是一个“单个”JSON对象，而不是一系列JSON对象，这意味着要调用Decoder.Decode()会试图解组所有项目（大对象）的完整JSON对象。

我们想要的是部分地对单个JSON对象进行即时处理。为此，我们可以使用Decoder.Token()，它仅解析（前进）JSON输入流中的下一个后续标记并将其返回。这被称为事件驱动的解析。

当然，我们必须“处理”（解释并采取行动）令牌并构建一个“状态机”，以跟踪我们处于我们正在处理的JSON结构中的位置。

这是一个解决您的问题的实现。

我们将使用以下JSON输入：

{ 
    "somefield": "value", 
    "otherfield": "othervalue", 
    "items": [ 
     { "id": "1", "data": "data1" }, 
     { "id": "2", "data": "data2" }, 
     { "id": "3", "data": "data3" }, 
     { "id": "4", "data": "data4" } 
    ] 
} 

还要读items的“大对象”的这种类型的建模：

type LargeObject struct { 
    Id string `json:"id"` 
    Data string `json:"data"` 
} 

我们还将分析和解释在其他领域JSON对象，但我们只会记录/打印它们。

为了简洁和便于错误处理，我们将使用这个助手的错误处理功能：

he := func(err error) { 
    if err != nil { 
     log.Fatal(err) 
    } 
} 

现在让我们来看看一些行动。在下面的示例中，为了简洁起见，并在Go Playground上进行了演示，我们将从string的值中读取值。要从实际HTTP响应正文阅读，我们只有改变单一的线，这是我们如何创造json.Decoder：

dec := json.NewDecoder(res.Body) 

所以演示：

dec := json.NewDecoder(strings.NewReader(jsonStream)) 
// We expect an object 
t, err := dec.Token() 
he(err) 
if delim, ok := t.(json.Delim); !ok || delim != '{' { 
    log.Fatal("Expected object") 
} 

// Read props 
for dec.More() { 
    t, err = dec.Token() 
    he(err) 
    prop := t.(string) 
    if t != "items" { 
     var v interface{} 
     he(dec.Decode(&v)) 
     log.Printf("Property '%s' = %v", prop, v) 
     continue 
    } 

    // It's the "items". We expect it to be an array 
    t, err := dec.Token() 
    he(err) 
    if delim, ok := t.(json.Delim); !ok || delim != '[' { 
     log.Fatal("Expected array") 
    } 
    // Read items (large objects) 
    for dec.More() { 
     // Read next item (large object) 
     lo := LargeObject{} 
     he(dec.Decode(&lo)) 
     fmt.Printf("Item: %+v\n", lo) 
    } 
    // Array closing delim 
    t, err = dec.Token() 
    he(err) 
    if delim, ok := t.(json.Delim); !ok || delim != ']' { 
     log.Fatal("Expected array closing") 
    } 
} 

// Object closing delim 
t, err = dec.Token() 
he(err) 
if delim, ok := t.(json.Delim); !ok || delim != '}' { 
    log.Fatal("Expected object closing") 
} 

这将产生以下输出：

2009/11/10 23:00:00 Property 'somefield' = value 
2009/11/10 23:00:00 Property 'otherfield' = othervalue 
Item: {Id:1 Data:data1} 
Item: {Id:2 Data:data2} 
Item: {Id:3 Data:data3} 
Item: {Id:4 Data:data4} 

尝试使用Go Playground的完整工作示例。