0
我有要求将数十亿条记录加载到5个不同的表中，每个表都有不同的数据文件。这5个表格将每天填充并在加载新数据之前在第二天截断。使用sql加载器使用单个控制文件将多个数据文件加载到多个表中
- Que1：如何使用1个控件使用5个不同的数据文件将数据加载到5个不同的表中？
- Que2：我需要5种不同的丢弃，日志和坏文件来跟踪这5种不同的负载吗？问题3：每天加载数十亿条记录的更好和有效的方式是什么 - 使用5个不同的控制表，5个丢弃，5个日志文件或者只有1个控制表将解决目的。
- Que4：如果5个加载中的一个加载失败，那么我需要再次为所有5个表重新运行sqloader？
注意：截止目前我们正在将数据加载到一张表中，但加载需要5-6个小时，所以我们正在寻找更好的性能。 我将从shell脚本运行sqlldr。
有4个不同的数据文件，方含用于1天，7天数据，15天
LOAD DATA
replace
INTO TABLE T1_1DAY_STG
FIELDS TERMINATED BY X'05'
OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
MM_INTERVAL,
STRATEGY_ID ,
AGGREGATE_DATE date "YYYY-MM-DD"
)
INTO TABLE T1_7DAY_STG
FIELDS TERMINATED BY X'05'
OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(
MM_INTERVAL,
STRATEGY_ID ,
AGGREGATE_DATE date "YYYY-MM-DD"
)
我计划的shell脚本这样
echo "start SQL loader" >> ${LOG_FILE} 2>&1
DCTL=$(eval echo \${TX_SQLLDR_${i}_CTL_SP})
DDATA=$(eval echo \${TX_${i}_DATA_FILE_SP})
DLOG=$(eval echo \${TX_${i}_DATA_FILE_LOG_SP})
DBAD=$(eval echo \${TX_${i}_DATA_FILE_BAD_SP})
DDISCARD=$(eval echo \${TX_${i}_DATA_FILE_DISCARD_SP})
${ORACLE_HOME}/bin/sqlldr ${ORACLE_USER}/${ORACLE_PASSWD}@${ORACLE_SID} control=${CTL_DIR}/${DCTL} data=${DATA_DIR}/${DDATA} log=${LOG_DIR}/${DLOG} bad=${LOG_DIR}/${DBAD} discard=${LOG_DIR}/${DDISCARD} errors=${ERRNUM} direct=true silent=FEEDBACK > ${TMP_LOG_FILE} 2>&1
感谢 桑迪
您是否正在从服务器加载文件，如果是[外部表格]（http://docs.oracle.com/cd/E11882_01/server.112/e22490/et_concepts.htm）可行的选项？ – 2013-04-11 13:22:15
yes数据文件是从netezaa创建的外部表，但我们需要使用sql loader加载数据。 – user2270413 2013-04-11 13:29:50
有4个不同的数据文件1天方含数据，7天，15天LOAD DATA 取代 INTO TABLE T1_1DAY_STG 场TERMINATED BY X'05' OPTIONALLY ENCLOSED BY '“' TRAILING NULLCOLS （ MM_INTERVAL， STRATEGY_ID， AGGREGATE_DATE日期 “YYYY-MM-DD” ） INTO TERMINATED BY X'05' 表T1_7DAY_STG FIELDS OPTIONALLY ENCLOSED BY '“' TRAILING NULLCOLS （ MM_INTERVAL， STRATEGY_ID， AGGREGATE_DATE DAT E “YYYY-MM-DD” ） （ MM_INTERVAL， STRATEGY_ID， AGGREGATE_DATE日期 “YYYY-MM-DD” ） – user2270413 2013-04-11 13:31:36