加速MySQL插入选择进入1000万条记录

Question

我有几个存储日常订单，客户和销售人员的表。然而，由于列具有不适当的数据值和类型，缺少索引和分区等，因此架构设计不佳。我重新设计了一个新架构，并使用破坏的表填充新表。我现在坚持填充日常订单表（大约有10M条记录）。

附加的数据定义和SQL脚本来填充表。

表定义

CREATE TABLE IF NOT EXISTS `testing`.`Orders` (
    `order_ID` INT UNSIGNED NOT NULL AUTO_INCREMENT, 
    `ord_id` BIGINT UNSIGNED NOT NULL, 
    `create_time` DATETIME NOT NULL, 
    `create_date` DATE NOT NULL, 
    `cust_id` MEDIUMINT UNSIGNED NOT NULL, 
    `cust_mob` BIGINT UNSIGNED NULL, 
    `sales_id` MEDIUMINT UNSIGNED NULL, 
    `sales_mob` BIGINT UNSIGNED NULL, 
    `sales_flag` TINYINT UNSIGNED NULL, 
    `comm_flag` TINYINT UNSIGNED NULL, 
    `extraprice` TINYINT UNSIGNED NULL, 
    PRIMARY KEY (`order_ID`), 
    INDEX `Date_cust_id` (`create_date` ASC, `cust_id` ASC), 
    INDEX `Date_cust_mob` (`create_date` ASC, `cust_mob` ASC), 
    INDEX `Date_dri_id` (`create_date` ASC, `sales_id` ASC), 
    INDEX `Date_dri_mob` (`create_date` ASC, `sales_mob` ASC), 
    INDEX `Date_cust` (`create_date` ASC, `cust_id` ASC, `cstu_mob` ASC), 
    INDEX `Date_dri` (`create_date` ASC, `sales_id` ASC, `sales_mob` ASC), 
    INDEX `cust` (`cust_id` ASC, `cust_mob` ASC), 
    INDEX `dri` (`sales_id` ASC, `sales_mob` ASC), 
    UNIQUE INDEX `ord_id_UNIQUE` (`ord_id` ASC) 
) 
ENGINE = InnoDB 
DEFAULT CHARACTER SET = utf8; 

该脚本来填充表，涉及两个左连接表：帕格表6XXķ记录和DRI表3倍ķ记录。

SET SQL_SAFE_UPDATES=0; 
SET SQL_MODE=''; 

DROP PROCEDURE IF EXISTS testing.populate_ord1; 
DELIMITER $$ 

CREATE PROCEDURE testing.populate_ord1() 
BEGIN 
    PREPARE stmt 
     FROM " 
      INSERT INTO testing.Orders 
      SELECT 
      1 
      ,ord_id 
      ,CASE WHEN TRIM(create_time) ='NULL' THEN NULL ELSE STR_TO_DATE(substring(create_time,1,19), '%Y-%m-%d %H:%i:%s') END AS create_time 
      ,CASE WHEN TRIM(create_time) ='NULL' THEN NULL ELSE DATE(STR_TO_DATE(substring(create_time,1,19), '%Y-%m-%d %H:%i:%s')) END AS create_date 
      ,CASE WHEN TRIM(ord.cust_id) = 'NULL' THEN NULL else pag.cust_id END as cust_id 
      ,CASE WHEN TRIM(ord.mob) = 'NULL' THEN NULL else pag.cust_mob END as cust_mob 
      ,CASE WHEN TRIM(ord.sales_id) = 'NULL' THEN NULL else dri.sales_id END as sales_id 
      ,CASE WHEN TRIM(ord.mob1) = 'NULL' THEN NULL else dri.sales_mob END as sales_mob 
      ,CASE WHEN TRIM(sales_flag) ='NULL' THEN NULL ELSE CONVERT(TRIM(sales_flag),UNSIGNED INTEGER) end AS sales_flag 
      ,CASE WHEN TRIM(comm_flag) ='NULL' THEN NULL ELSE CONVERT(TRIM(comm_flag),UNSIGNED INTEGER) end AS comm_flag 
      ,CASE WHEN TRIM(extraprice) ='NULL' THEN NULL ELSE CONVERT(TRIM(extraprice),UNSIGNED INTEGER) end AS extraprice 

      FROM testing.ord_table ord 
       LEFT JOIN 
       (SELECT cust_id,customer_id,cust_mob FROM testing.Passenger) pag 
       ON TRIM(ord.customer_id) = TRIM(pag.pag_id) 
       AND TRIM(ord.mob) = TRIM(pag.passenger_mob) 
       LEFT JOIN 
       (SELECT sales_id,salesperson_id,sales_mob FROM testing.sales) dri 
       ON TRIM(ord.salesperson_id) = TRIM(dri.sales_id) 
       AND TRIM(ord.mob1) = TRIM(dri.sales_mob) 
      WHERE ord_id != 'NULL' AND create_time IS NOT NULL AND create_time != 'NULL' AND YEAR(create_time) = ? AND MONTH(create_time) = ? AND DAY(create_time) = ? 
      GROUP BY ord_id 
      ON DUPLICATE KEY UPDATE ord_id = ord_id 
      ; 

      "; 


    SET @y = 2014, @m = 9, @d = 1; 

    WHILE @y<= 2014 DO 
     WHILE @m<= 12 DO 
      SET @d = 1; 
      WHILE @d<= 31 DO 
       EXECUTE stmt USING @y, @m, @d; 
       SET @d = @d + 1; 
      END WHILE; 
      SET @m = @m + 1; 
     END WHILE; 
     SET @y = @y + 1; 
     SET @m = 1; 
    END WHILE; 
    DEALLOCATE PREPARE stmt; 


END$$ 
DELIMITER ; 

set autocommit=0; 
call testing.populate_ord1(); 
COMMIT; 

我没有填充表中的任何记录。有时会引发锁定等待超时错误或数据类型错误，或者只需要很长时间（2天），我怀疑它甚至在做任何工作。

我在网上搜索了一下，并将以下设置添加到my.cnf。

innodb_autoinc_lock_mode = 2 
innodb_lock_wait_time_out = 150 
innodb_flush_log_at_trx_commit =2 
innodb_buffer_pool_size = 14G 

有人会建议我如何有效地完成同样的任务吗？上面的代码运行时没有任何语法错误。如果有任何命名混淆，请告诉我是否需要澄清这一点，因为我稍微调整了这些变量表。

Answer 1

开始通过执行

UPDATE ... SET 
    comm_flag = TRIM(comm_flag), 
    sales_flag = TRIM(sales_flag), 
    ... 

这将加快后续查询一些，并简化他们。

然后避免使用LEFT JOIN (SELECT ... FROM x WHERE ...)。相反，看看你是否可以把它变成LEFT JOIN x ON ... WHERE ...。这可能会有所帮助。

将DATE和TIME分成两列通常是一个坏主意。或者你有这样的一个好的论点？让我们看看触摸那对列的查询。

如果字符串已经格式正确DATE或DATETIME，则不需要STR_TO_DATE()。也就是说，一个字符串工作得很好。

一旦TRIM不受欢迎，CONVERT(TRIM(comm_flag),UNSIGNED INTEGER)可以简单地为comm_flag。

不要一天一次地循环着事物 - 它的结构是一样的，它会进行全表扫描！大约1000次！ （这可能是最大的性能问题。）