partitioning

    1热度

    1回答

    我有一张非常大的表,我想从中删除旧行。表的例子: | customer_id | first_purchase_date | last_purchase_date | |<primary key>| | <index> | **我使用这个示例表为参数的缘故。有问题的表不是客户表。真正的桌子在过去的2个月里已经增长到28GB,用于计算仅需要2周历史数据的东西。 我想要做的就是从该

    2热度

    1回答

    使用数据库postgresql 9.5。 我有一个表employee_shift与行,所以要提高插入我分区此表上月为20年(2000年1月至2020年12月,即到目前为止240个分区表)。这是一个column日期在桌子里。现在,我的插入速度更快(通过本机查询完成),但我现有的DAO层使用的HQL命中employee_shift表而不是命中employee_shift_2010_10(year_mo

    0热度

    1回答

    我有一个任务从特定年份的某些员工的表中获取数据,但查询需要大约两年。 50分钟可以获得5万条记录。 表具有约。 6十亿(6 * 10^9)数据 查询: select a, b from t1 where t1.year in (2012,2013) and t1.name in (select name from name_tab fetch first 50000 rows on

    2热度

    1回答

    我相信这是一个相当普遍的事情,但我找不到任何东西(我的网络搜索功能不强)。 我有一个功能,可以组的列表到每个N个元素的列表的列表,与最终子列表是小于N如果列表的长度是不整除N.一些例子: groupEvery 2 [1,2,3,4] = [[1,2],[3,4]] groupEvery 4 [1,2,3,4,5,6,7,8,9,10] = [[1,2,3,4], [5,6,7,8], [9

    1热度

    1回答

    我想要获得多重集(某些元素相同且彼此不可区分)的所有可能分区(联合是原始集的集合的不相交子集)。 简单的情况下,当想要产生一个简单集合的分区,其中没有多重性的元素,换句话说,所有元素都是不同的。对于这种情况,我发现上StackOwerflow此Ruby代码,这是非常有效的,因为不存储所有可能的分区,但是它们产生一个块: def partitions(set) yield [] if se

    2热度

    1回答

    我创建的数据库 USE [master] GO CREATE DATABASE [testdb] CONTAINMENT = NONE ON PRIMARY (NAME = N'testdb', FILENAME = N'D:\MSSQL\Data\testdb.mdf' , SIZE = 8192KB , MAXSIZE = UNLIMITED, FILEGROWTH = 65536

    2热度

    5回答

    我需要一个生成器来获取一组“代理”和一组“项目”的输入,并生成每个代理获取相同数量项目的所有分区。例如: >>> for p in equalPartitions(["A","B"], [1,2,3,4]): print(p) {'A': [1, 2], 'B': [3, 4]} {'A': [1, 3], 'B': [2, 4]} {'A': [1, 4], 'B': [2, 3]} {

    12热度

    2回答

    我想一个DataFrame保存到HDFS使用DataFrameWriter木地板格式,三个值分割,就像这样: dataFrame.write.mode(SaveMode.Overwrite).partitionBy("eventdate", "hour", "processtime").parquet(path) 正如this question提到的,partitionBy将在path删除分区

    0热度

    1回答

    我想修改现有的表并在日期(列名 - date_abc)上创建分区,我没有特定的日期值,因此每个日期值都会有一个单独的分区以及类型(列名 - 类型)上的子分区,其可以是3个,即a,b和c。

    1热度

    1回答

    我有一个表有100个分区, 我有明智地读取数据分区的过程。 假设 P0是1个分区,如果我执行过程 exec xyz('P0'); 需要3分钟为50万行执行。 但是,当我创建100个会话,并在不同的不同的会话 exec xyz('P1'); exec xyz('P2'); exec xyz('P3'); 需要1个小时的50M行 任何人都可以解释为什么它的发生平行运行 类似。