large-data

    1热度

    1回答

    在Apachi POI中将大数据转换为excel Java

    我正在处理一个大的CSV （〜200 mb的文本文件）我想将其转换为Excel表格，但工作簿变得非常消耗内存Java的抛出“GC开销限制超过”！ 我检查了代码，如果我生成虚拟参考，但我认为不存在。 在我看来，从这些库调用Apachi - POI可能会产生一些引用，使垃圾回收器如此繁忙。 我的问题是，如果我可以通过像文本文件这样的附加到文本文件而不将它带入内存的块来将工作簿写入文件块。有没有解决方案
    java excel garbage-collection apache-poi large-data 2017-07-13

    0热度

    1回答

    MingW Windows GCC无法编译带有2GB全局数据的C程序

    当使用大型全局或静态数据构建应用程序时，MingW的GCC/G ++给出了重定位错误。 Understanding the x64 code models 引用代码和数据在x64与 指令相对寻址模式（在64用语RIP-相对）进行。 这些指令中来自RIP的偏移量限于32位。 小代码模型向编译器承诺，32位相对偏移量 应该足够用于编译的 对象中的所有代码和数据引用。另一方面，大代码模型告诉它不要对 进
    gcc mingw global large-data 2017-09-02

    3热度

    2回答

    MATLAB：寻找更快/更优雅的方式来计算很长时间系列的移动中值绝对偏差

    我有一个非常大的阵列，有五个通道和约600万个条目（5 x 6000000）。我的目标是通过7点窗口扫过阵列，并去除“尖峰”，其定义为比中值绝对偏差（MAD）大一些的缩放量。 我正在测试代码，只运行10000个时间序列的初始点。目前，我需要大约3秒才能运行前10000个点。我正在运行一台相对较旧的带有2.30 GHz处理器和4 GB RAM的32位戴尔笔记本电脑。很明显，如果我使用的是新电脑，我可
    matlab performance median large-data 2017-07-20

    1热度

    1回答

    内存问题：使用Gower距离和k-medoids对R中的非常大的多比例数据进行聚类分析

    我有一个非常大的数据框，名为'data'，有350000行和138列，我想用于k - 类群聚类。我使用从该页面的代码：http://dpmartin42.github.io/blogposts/r/cluster-mixed-types 这是我的代码： packages <- c("dplyr", "ISLR", "cluster", "Rtsne", "ggplot2") if (leng
    r out-of-memory cluster-analysis large-data 2017-07-25

    2热度

    1回答

    Python：寻找填充大部分零的大型4D阵列平均值的快速方法

    我有许多大型4D阵列，我想取其平均值。这些数组大多填充零（> 99％），但每个数组在不同位置都有非零值。每个数组也有一个相应的数组，用于对其平均值进行加权。 以直接方式取得数组的平均值（如下所示）需要很长时间来计算，并且通常会导致我的内存错误。 >>> a, b, weights_a, weights_b = [np.zeros((150,150,150,150)) for i in range(
    python large-data 2017-07-25

    1热度

    3回答

    针对100M +密钥的Java缓存设计？

    需要为Java独立应用程序缓存超过1亿个字符串密钥（〜100个字符长度）。 标准缓存性能必要的： 持久。 TPS在10s毫秒范围内从缓存中获取密钥。 允许无效和失效。 独立缓存服务器，允许多线程访问。 最好不要使用企业数据库，因为这100M密钥可以扩展到500M，这将使用高吞吐量的内存和系统资源。
    java caching persistence large-data 2017-07-27

    0热度

    1回答

    以JSON行格式处理和查询大量大文件

    哪种技术最适合导入大量大型JSON行格式文件（每个文件大约2 GB）。 我在想索尔。 一旦数据将被导入，它将不得不被查询。 您会建议导入哪种技术，然后及时查询JSON行格式数据？
    json solr large-files jsonlines large-data 2017-07-28

    0热度

    1回答

    建设和巨大的树，并与stackoverflow错误bug

    即时通讯工作的项目和我的项目我必须建立一棵树。树将有大约64000叶子。不幸的是我一直运行到一个stackoverflow错误，我不知道该怎么做。我写错了递归方法吗？还是有错误的解决方法？ 代码在构造： for(int i = 0; i < wordHolder.size(); i++) { add(i); } 添加方法： public void add(int i)
    java tree binary-tree stack-overflow large-data 2017-08-05

    1热度

    1回答

    Keras处理无法放入内存的大型数据集

    我正在进行面部表情识别，我正在使用Keras。我收集了许多数据集，然后在图像上应用了数据增强功能，在.csv文件（与fer2013.csv格式相同）上保存了约500 000个图像（以像素为单位）。 这是我使用的代码： def Zerocenter_ZCA_whitening_Global_Contrast_Normalize(list): Intonumpyarray = numpy.a
    csv keras training-data large-data 2017-08-05

    0热度

    2回答

    SQL Server存储过程需要优化

    我正在使用一个存储过程，它为SystemTree表中的所有可用节点生成等级。 我的存储过程工作得很好，但问题是执行时间太长。 下面是表的详细信息： SystemTree - 14000+行 PaymentSchedule - 5000+行 MasterRankChart - 只有15行 我需要优化我的存储过程。至少需要20分钟才能执行。 这是我的存储过程： ALTER PROCEDURE[dbo]
    sql-server stored-procedures sql-server-2014 large-data 2017-08-29
最新问题