large-data-volumes

    1热度

    2回答

    阅读成千上万的文件并写入数百万的Java文件

    我正在做一些不寻常的数据操作。我有36,000个输入文件。然后可以一次加载到内存中。我想把每个文件的第一个字节放在一个输出文件中，然后再次执行第二个文件，依此类推。它不需要以任何特定的顺序来完成。由于输入文件是压缩加载它们需要更长的时间，并且它们不能一次读取1个字节。我最终得到每个输入文件的一个字节数组。 输入文件约为1-6MB未压缩和〜.3-1MB压缩（有损压缩）。输出文件最终成为输入文件的字节
    java large-data-volumes 2016-04-27

    1热度

    1回答

    如何通过播放scala发送较大响应

    我正在使用Scala播放框架2。从控制器我有一个行动方法，我需要返回一个对象包含100000行与其他一些数据。但在JSON序列化期间，它在 org.json4s.native.Serialization.write（Serialization.scala：37） 中得到一个异常，它似乎无法处理该数据量。可以在某处设置大小吗？或者它的解决方案是什么？
    json scala serialization playframework large-data-volumes 2016-09-25

    0热度

    1回答

    超过10个000 000 sesssions在通用Analytics（分析）

    我们有我们的客户，每月超过10个000 000会话（未命中）的资源。是否有可能，他们将我们的客户尽快联系，并请他在通用Analytics（分析）使用付费帐户（或减少数据量）？
    universal-analytics large-data-volumes 2016-09-30

    0热度

    1回答

    当在Excel中保存时，缓慢增加保存时间

    好的，堆栈溢出，据我所知，这是一个乏味的。 我已经创建了一个宏启用Excel文件，该运行时，执行以下操作（高电平）：通过文件对话框 用户 用户选择模板文件（其本身是宏启用）通过文件对话框选择数据文件（不启用宏） 宏步骤通过数据文件并逐个打开它们，格式化数据，将数据迁移到中间工作簿中的新工作表中，然后关闭数据文件不保存 一旦所有文件都被循环使用，中间工作簿也会被保存，但保持打开状态 一旦所有数据文件
    excel-vba large-data-volumes save-as 2017-07-28

    0热度

    1回答

    Docker - 将数据从主机上的只读目录导入容器

    我是Docker的相对新手，如果答案很明显，请耐心等待。 我想让我的码头容器访问主机上的共享数据目录，该主机具有特定的组权限，并且对于目标用户组是只读的。 我已经尝试过docker run -it -v /data:/data ubuntu /bin/bash，由此产生的错误docker: Error response from daemon: error while creating mount
    docker ubuntu-16.04 large-data-volumes 2017-04-25

    1热度

    1回答

    在Matlab中组织大型数据集

    我有一个问题，我希望你能帮助我。 我已导入在Matlab大的数据集（200000×5细胞），其具有以下结构： 'Year' 'Country' 'X' 'Y' 'Value' 列1和5包含数值，而列2至4包含字符串。 我想安排所有这些信息到一个变量，将具有以下结构： NewVariable{Country_1 : Country_n , Year_1 : Year_n}(Y_1 : Y_n , X
    matlab cell-array organization large-data-volumes 2016-07-04

    -1热度

    1回答

    寻找在Ilnumerics中绘制容积切片的示例

    是否有任何用于在Ilnumerics中使用社区版本绘制容积切片的示例。这是一个例子，我从MATLAB网站得到： Volumetric slice image example of matlab 我有阵列X，Y，Z如posistions和V（速度）成为用于彩色绘图值。我所做的全部工作就是使用Ilpoint在位置X，Y，Z上绘制V，而不是曲面。下面是我的代码，结果， ILArray<float> pl
    c# plot 3d large-data-volumes ilnumerics 2016-03-31

    0热度

    1回答

    大数据集Solr索引

    我有大约50TB的内容。这套文件的数量约为2.5亿。每天增加到这个不是很大，不过我的约10000个大小不超过50MB的文档。 目前的索引工作时间太长，估计要在100天以上完成！ 所以......这真的是一大堆数据集？对我而言，50TB的内容（在这个时代）并不是很大。你有这个尺寸的内容吗？如果你这样做，你是如何提高一次性索引的时间？另外，您是如何通过实时索引来缩短时间的？ 如果你可以回答..很好。如
    performance indexing solr large-data-volumes 2015-09-25

    0热度

    1回答

    在一个200万行的表中加速慢计数

    我有一个有200万行的Mysql表。 大小是600Mb。 此查询需要2秒钟。 我不知道如何加快速度。该表已经是Myisam格式。 我不知道我是否达到了选择计数缓慢的极限。 SELECT COUNT(video) FROM yvideos use index (PRIMARY) WHERE rate>='70' AND tags LIKE '%;car;%' 感谢所有
    mysql large-data-volumes 2016-07-26

    0热度

    2回答

    无法迭代大量的DataStore记录

    我正在尝试迭代大量的数据存储记录，目前大约有33万个。从概念上讲，每条记录都有一行，一列和一个值，我遍历记录并构造一个矩阵，然后我将用它来进行计算。 我得到的错误是：超时：数据存储操作超时或数据暂时不可用。 [ADDED：请注意，我的问题不是应用程序引擎超时。作为CRON工作运行，我有足够的时间，数据存储错误发生得比应用程序引擎超时更快。另外，我已经尝试了其他问题中给出的答案，正如我在下面提到的那
    python google-app-engine google-cloud-datastore large-data-volumes 2015-10-03
最新问题