large-data

    -1热度

    1回答

    在线外的核心Logistic回归与TensorFlow

    我目前正在尝试使用TensorFlow（特别是tf.contrib.learn.LinearClassifier估计）来训练在线Logistic回归： optimizer = tf.train.AdagradOptimizer(learning_rate=1.0,initial_accumulator_value=0.4) m = tf.contrib.learn.LinearClassifie
    python machine-learning tensorflow classification large-data 2017-05-31

    1热度

    3回答

    多列处理和动态命名新列

    变量错误地输入到多列，例如：“aaa_1”，“aaa_2”和“aaa_3”或“ccc_1”，“ccc_2”和“ccc_3”）。单个新列（例如“aaa”或“ccc”）。一些变量当前在单列中（“hhh_1”），但可以添加更多列（hhh_2等）。 ： aaa_1 <- c(43, 23, 65, NA, 45) aaa_2 <- c(NA, NA, NA, NA, NA) aaa_3 <- c(N
    r naming data-cleaning large-data 2017-06-05

    0热度

    3回答

    从多个大型列表

    我有一个大字典获取所有可能的对：600个键与项目=大名单（约10000-20000元）。 我的目标是从字典每个列表获得对和在一个列表合并。 E.g.我有： d1 = {'key1': ['a', 'b', 'c', 'd'], 'key2': ['f', 'a']} 预期结果： d2 = ['a_b', 'a_c', 'a_d', 'b_c', 'b_d', 'c_d', 'a_f'] 我
    python python-3.x itertools large-data 2017-06-11

    0热度

    2回答

    Clara_具有R中许多级别的分类数据的大数据集的数据集

    我有一个相当大的数据集，其中包含纯粹的分类数据。 数据的行数（样本）超过30,000,000。 属性已减少到4（列），所有属性（属性）都是明确的，其中一个属性几乎有50,000个级别！ 我想在进一步处理之前将我的数据集群。但是，由于数据量很大，因此不可能使用大多数聚类算法。 我选择使用ClusterR软件包中的Clara_Medoids来尝试集群。我面临的问题是运行代码给我一个我无法解决的错误。
    r cluster-analysis similarity categorical-data large-data 2017-06-12

    0热度

    1回答

    如何部分更新大表中的数百万条记录

    我有一张名为Employee的表，为了使问题保持​​较短，我没有在此粘贴所有列，但例如为了让说的递减员工如下： EMPNO NOT NULL NUMBER(4) FIRST_NAME VARCHAR2(10) LAST_NAME VARCHAR2(10) SALARY NUMBER(24) HIREDATE DATE DEPT_ID VARCHAR2(20
    oracle11g updates large-data 2017-06-14

    0热度

    1回答

    使用HDF5和cPickle保存图像比直接在磁盘中直接存储相同数量的图像文件需要更多的磁盘存储空间？

    我想保存大量的图像。我想将它们保存为尽可能减少磁盘内存的格式。我已经用python测试过HDF5和cPickle。令人惊讶的是，我发现由PyTables和cPickle生成的数据文件比包含相同数量图像的文件夹大得多。 我的代码是在这里： import cv2 import copy import cPickle as pickle import tables import numpy as
    python image-processing pickle hdf5 large-data 2017-06-14

    -2热度

    1回答

    如何处理大量数据的解析（800k记录）？

    我有一个桌面应用程序验证某些CSV文件。 我得到这个CSV文件，我需要根据多个业务规则进行解析和验证。这些业务规则特别适用于每条记录，或者他们可以检查具有与文件中所有记录有关的范围的集成债券。该文件几乎有800k条记录。 这里是我如何处理目前的问题： 我上传CSV文件，每行转换为自定义对象（for循环用在这里），我最终存储在列表中。这一点通常需要3到6秒，所以我不认为这是一个问题。 我将列表传递给
    c# .net large-data 2017-06-14

    0热度

    1回答

    简化大数据处理脚本

    我正在尝试做以下事情，但需要很长时间。 可有人请建议做这个 f = open('answer.csv','w') f.write('Datetime,0: Vm,0: Va,1: Vm,1: Va,2: Vm,2: Va,3: Vm,3: Va,4: Vm,4: Va,5: Vm,5: Va,6: Vm,6: Va,7: Vm,7: Va,8: Vm,8: Va,9: Vm,9: Va,10:
    python-3.x large-data 2017-07-04

    1热度

    1回答

    Django - Heroku - 服务动态大文件超时

    我有一个函数视图，它使用xlsxwriter创建一个报告，它使用StringIO作为缓冲区即时创建，最后通过HttpResponse发送。 它使用本地服务器运行良好。 问题是，在Heroku上，几秒钟后（文档提到30秒超时并且不可修改），服务器挂起并重新启动Web进程，从而给出错误响应。 什么是......的最佳方式？： 在内存中动态创建（动态）的xmlx文件 服务于整个文件到客户端。 防止服务器
    python django heroku large-data 2017-06-01

    1热度

    1回答

    Swift 3.1：数组太大而无法初始化？ （程序只是冻结）

    问题： 我有一个半大的[Int]数组，其中包含〜25K到60K元素。它最初是通过我的第一个程序输出到一个文本文件中的，并且需要将其作为let的值输入到第二个程序中。要做到这一点，我手动将其复制。但是，每当我尝试初始化它时，Swift都会冻结。通过冻结，我的意思是它什么都不做，即使在一个小时之后。 进一步调查： 我证实，这是阵列造成封河的大小，只用一行，只是说let test = [the_arra
    arrays swift variables integer large-data 2017-06-17
最新问题