介绍DB2新概念：IngestUtility支持的各种文件格式

Ingest 应用工具是 DB2 Galileo 版本中新的概念 , 它是一个客户端工具。用户可以用 INGEST 来进行数据的导入 , 它有比 LOAD,IMPORT 更好的性能，本文介绍 Ingest Utility 支持的各种文件格式，并详细介绍 Ingest Utility SQL statement（ insert, update, del

INGEST 是 DB2 Galileo( DB2 10 的开发代号) 的新特性 , 是为了有大量持续的数据流来实时和并发的快速进行数据导入而引入的新概念。本文将详细介绍了 INGEST 支持的各种数据文件格式，以及所支持的 insert, replace, update, delete, merge 的数据导入操作。

Ingest Utility 支持的各种文件格式介绍，用法和实例分析

Ingest 工具支持两种数据格式：DELIMITED 和 POSITIONAL。语法如清单 1 所示。 选择用 DELIMITED 文件格式的时候后面跟着划分符，如果不指定，默认的是“,”，这点和 import 和 load 类似。

如果选用的是 POSITIONAL 文件格式的数据时后面可跟数据记录的长度，这个长度是指每条记录每次截取的总长度，如果 RECORDLEN 指定的长度小于各列的长度之和时就会报错并退出，如果大于各列的长度之和，ingest 工具将会忽略最后一列结尾到指定的长度之间的字节。RECORDLEN 可指定的范围是 1-32767。如果不指定 RECORDLEN 的长度，则默认是回车符或者回车换行符作为每一条记录的结束符。并且在指定 field name 之后还可以通过 POSITION 关键字指定每个 field 的起始位置。

清单 1：INGEST 支持的数据文件格式定义

				
 |--+-DELIMITED--+----------+-----------+------------------------> 
   |            '-BY--char-'           |   
   '-POSITIONAL--+-------------------+-'   
                 '-RECORDLEN--length-'

 field-definition 

 |--$field-name--+-----------------------------------+-----------> 
                '-POSITION--(--start--+--------+--)-'   
                                      '-:--end-'      

清单 2 是一个用 POSITIONAL 格式但没有指定 RECORDLEN 参数的例子。 在 a.asc 文件中，每一行的第 12 位中不为空，第 17 到 19 位也有字符存在。但因为有 ingest 语句中指定了 position 的起始位置，所以 ingest 工具只取 position 指定的起始位置，并不关心别的位置有无字符。并且此处没有指定 RECORDLEN 的长度，所以默认为回车换行符为一行的结束位置。

清单 2: POSITIONAL INGEST 示例

				
数据文件 a.asc 的内容
 2     2001 552010aaa 
 25    2002 452011bbb 
 143   2003 2c2012ccc 
 1555  2004 3b2013ddd 
 1309  2005 7a2014eee 
执行 INGEST 语句的结果
 INGEST FROM file format21_01.asc format POSITIONAL 
 (  
 $field1 POSITION(1:4) int external, 
 $field2 POSITION(6:9) DATE 'YYYY', 
 $field3 POSITION(11:11)  TIME 'H', 
 $field4 POSITION(13:16) TIMESTAMP 'YYYY' 
 ) 
 restart off 
 insert into t1(perkey,perioddate, periodtime, periodts) values($field1,$field2, 
 $field3,$field4) 
 SQL2979I  The ingest utility is starting at "08/08/2012 01:34:10.517287". 
 SQL2914I  The ingest utility has started the following ingest job: 
"DB21001:20120808.013410.517287:00002:00004". 

 Number of rows read          = 5 
 Number of rows inserted     = 5 
 Number of rows rejected     = 0 

 SQL2980I  The ingest utility completed successfully at timestamp "08/08/2012 
 01:34:16.322027"
 db2 => select * from t1 

 PERKEY        PERIODDATE PERIODTIME PERIODTS 
 ----------- ---------- ---------- -------------------------- 
         25   01/01/2002 04:00:00   2011-01-01-00.00.00.000000 
       1555   01/01/2004 03:00:00   2013-01-01-00.00.00.000000 
        143   01/01/2003 02:00:00   2012-01-01-00.00.00.000000 
          2   01/01/2001 05:00:00   2010-01-01-00.00.00.000000 
       1309   01/01/2005 07:00:00   2014-01-01-00.00.00.000000 

  5 record(s) selected.