2017-02-12 19 views
0

我正在研究使用谷歌表作为某种聚合解决方案为不同的数据源。将这些数据源配置为输出到常见的Google表单并且需要联机进行共享是相当容易的。这张表格可以作为我原始的未经处理的数据源。然后我会有一些基于这些数据的仪表板/子表。Google电子表格中最大的实用数据集?

现在,早期的测试似乎表明,我将不得不小心效率,因为它似乎是在推动电子表格的最大200万个单元格(我们正在谈论15-20k行数据& 100列左右)。处理数据似乎也相当缓慢(至少使用公式),至少使用公式,甚至考虑使用数组来避免vlookups等...

我的计划是创建其他文档(单独的文档,而不仅仅是添加选项卡)&使用电子表格关键字通过导入范围&引用源数据。那些将只使用每个仪表板所需的数据的子集。这应该允许我创建仪表板,比直接从我的大原始数据文件中设置运行速度快,或者至少这是我的想法。

我在这里开始一个傻瓜的差事吗?任何人都一直在寻找谷歌文档类似的大数据集?基本上试图看看我的想法是否实际或不...如果你有更好的想法建筑方面,请分享...

回答

2

我遇到过类似的问题一次。

使用像您所建议的那样的多层方法确实是解决此问题的一种方法。
电子表格本身在存储这两百万个单元格时没有问题,它显示所有有问题的数据,因此通过导入或脚本访问它是值得的。

一些其他的事情,我会考虑:

如何最新的数据是否必须?导入范围很慢,可能会让您创建的仪表板呆滞,也可能是在Google Apps脚本中发生聚合的定时导入,这是可行的选择。

此时,您甚至可能会考虑将BigQuery用于数据存储(和聚合),无论您是从此项目中的其他电子表格中提取数据,还是在超过200万的数据库中都不会遇到任何问题元素将是未来的证明。

或者,您可以使用fusion tables *作为基于驱动器的存储,尽管我认为您无法在其上运行复杂的SQL查询。


*:你可能需要通过点击右键>更使他们在驾驶>连接更多的应用程序

+0

不知道BIGQUERY曾与张的(显然)非常简单的整合了。不愿意使用它,因为一旦我不确定某人能够使用该设置管理事物,但他们可以基于工作表管理一些系统......请记住这一点。 融合表也是一个有趣的想法。待查看,如果我可以很好地查询他们为我的用例.... 总体上有些鼓舞... –

相关问题