001 /*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 * http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016 package org.opengion.fukurou.process;
017
018 import org.opengion.fukurou.util.Argument;
019 import org.opengion.fukurou.util.StringUtil;
020 import org.opengion.fukurou.util.FileUtil;
021 import org.opengion.fukurou.util.Closer ;
022 import org.opengion.fukurou.util.LogWriter;
023
024 import java.util.Map ;
025 import java.util.LinkedHashMap ;
026
027 import java.io.File;
028 import java.io.BufferedReader;
029 import java.io.IOException;
030
031 /**
032 * Process_TableReaderは、ファイルから読み取った?容を?LineModel に設定後?
033 * 下流に渡す?FirstProcess インターフェースの実?ラスです?
034 *
035 * DBTableModel 形式?ファイルを読み取って、各行を LineModel にセ?して?
036 * 下?プロセスチェインの??タは上流から下流に渡されます?)に渡します?
037 *
038 * columns 属?は?NAME で列カラ?外部から?する?合に使用します?
039 * こ?属?とuseNumber属?は独立して?すが、?には?NAME を指?
040 * する場合?、useNumber="true"として、行番号??使用しますし、外部から
041 * ?する?合?、useNumber="false"にして先?から読み取ります?
042 * (自動セ?ではな??で、?に応じて設定してください)
043 * useNumber の初期値は?true" です?
044 *
045 * ※ 注?
046 * Process_TableReader では、セパレータ??で区?て読み込???、前後???ﾟｰ??
047 * 削除して?す?
048 *
049 * 引数??中にスペ?スを含??合?、ダブルコー??ション("") で括って下さ??
050 * 引数??の ?』?前後には、スペ?スは挟めません。??key=value の様に
051 * 繋げてください?
052 *
053 * @og.formSample
054 * Process_TableReader -infile=INFILE -sep=, -encode=UTF-8 -columns=AA,BB,CC
055 *
056 * -infile=入力ファイル? ??力ファイル?
057 * [-existCheck=存在確? ] ?ファイルが存在しな??合エラーにする(初期値:true)
058 * [-sep=セパレータ?? ] ?区???初期値:タ?
059 * [-encode=?エンコー? ] ??力ファイルのエンコードタイ?
060 * [-columns=読み取りカラ?] ??力カラ?(カンマ区?)
061 * [-useNumber=[true/false] ] ?行番号を使用する(true)か使用しな?false)か?
062 * [-display=[false/true] ] ?結果を標準?力に表示する(true)かしな?false)?初期値:false[表示しない])
063 * [-debug=[false/true] ] ?デバッグ??を標準?力に表示する(true)かしな?false)?初期値:false[表示しない])
064 *
065 * @version 4.0
066 * @author Kazuhiko Hasegawa
067 * @since JDK5.0,
068 */
069 public class Process_TableReader extends AbstractProcess implements FirstProcess {
070 private String separator = TAB; // ?区???
071 private String infile = null;
072 private BufferedReader reader = null;
073 private LineModel model = null;
074 private String line = null;
075 private int[] clmNos = null; // ファイルのヘッ??のカラ?号
076 private boolean useNumber = true; // 5.2.2.0 (2010/11/01) 行番号を使用する(true)か使用しな?false)?
077 private boolean nameNull = false; // ?件??タ?true
078 private boolean display = false; // 表示しな?
079 private boolean debug = false; // 5.7.3.0 (2014/02/07) ????
080
081 private int inCount = 0;
082 private int outCount = 0;
083
084 private static final Map<String,String> mustProparty ; // ?プロパティ???チェ?用 Map
085 private static final Map<String,String> usableProparty ; // ?プロパティ?整合?チェ? Map
086
087 static {
088 mustProparty = new LinkedHashMap<String,String>();
089 mustProparty.put( "infile", "入力ファイル?(??)" );
090
091 usableProparty = new LinkedHashMap<String,String>();
092 usableProparty.put( "existCheck", "ファイルが存在しな??合エラーにする(初期値:true)" );
093 usableProparty.put( "sep", "区???初期値:タ?" );
094 usableProparty.put( "encode", "入力ファイルのエンコードタイ? );
095 usableProparty.put( "columns", "入力カラ?(カンマ区?)" );
096 usableProparty.put( "useNumber", "行番号を使用する(true)か使用しな?false)? ); // 5.2.2.0 (2010/11/01)
097 usableProparty.put( "display", "結果を標準?力に表示する(true)かしな?false)? +
098 CR + " (初期値:false:表示しな?" );
099 usableProparty.put( "debug", "????を標準?力に表示する(true)かしな?false)? +
100 CR + "(初期値:false:表示しな?" ); // 5.7.3.0 (2014/02/07) ????
101 }
102
103 /**
104 * ?ォルトコンストラクター?
105 * こ?クラスは、動??されます??ォルトコンストラクターで?
106 * super クラスに対して、?な初期化を行っておきます?
107 *
108 */
109 public Process_TableReader() {
110 super( "org.opengion.fukurou.process.Process_TableReader",mustProparty,usableProparty );
111 }
112
113 /**
114 * プロセスの初期化を行います?初めに??、呼び出されます?
115 * 初期処?ファイルオープン??オープン?に使用します?
116 *
117 * @og.rev 5.2.2.0 (2010/11/01) useNumber属?の追?
118 *
119 * @param paramProcess ??タベ?スの接続???などを持って?オブジェク?
120 */
121 public void init( final ParamProcess paramProcess ) {
122 Argument arg = getArgument();
123
124 infile = arg.getProparty("infile");
125 boolean existCheck = arg.getProparty("existCheck",true);
126 String encode = arg.getProparty("encode",System.getProperty("file.encoding"));
127 separator = arg.getProparty("sep",separator );
128 String clms = arg.getProparty("columns" );
129 useNumber = arg.getProparty("useNumber",useNumber); // 5.2.2.0 (2010/11/01)
130 display = arg.getProparty("display",display);
131 debug = arg.getProparty("debug",debug); // 5.7.3.0 (2014/02/07) ????
132 // if( debug ) { println( arg.toString() ); } // 5.7.3.0 (2014/02/07) ????
133
134 if( infile == null ) {
135 String errMsg = "ファイル名が?されて?せん? ;
136 throw new RuntimeException( errMsg );
137 }
138
139 File file = new File( infile );
140
141 if( ! file.exists() ) {
142 if( existCheck ) {
143 String errMsg = "ファイルが存在しません?ile=[" + file + "]" ;
144 throw new RuntimeException( errMsg );
145 }
146 else {
147 nameNull = true; return ;
148 }
149 }
150
151 if( ! file.isFile() ) {
152 String errMsg = "ファイル名を?してください?ile=[" + file + "]" ;
153 throw new RuntimeException( errMsg );
154 }
155
156 reader = FileUtil.getBufferedReader( file,encode );
157
158 // 5.2.2.0 (2010/11/01) names の外部??処?先に行う?
159 // String[] clmNames = readName( reader ); // ファイルのカラ?配?
160 // if( clmNames == null || clmNames.length == 0 ) { nameNull = true; return ; }
161
162 final String[] names ;
163 if( clms != null ) {
164 names = StringUtil.csv2Array( clms ); // ??カラ?配?
165 }
166 else {
167 // 5.2.2.0 (2010/11/01) names の外部??処?先に行う?
168 String[] clmNames = readName( reader ); // ファイルのカラ?配?
169 if( clmNames == null || clmNames.length == 0 ) { nameNull = true; return ; }
170 names = clmNames;
171 }
172
173 model = new LineModel();
174 model.init( names );
175
176 if( display ) { println( model.nameLine() ); }
177
178 // clmNos = new int[names.length];
179 // for( int i=0; i<clmNames.length; i++ ) {
180 // int no = model.getColumnNo( clmNames[i] );
181 // if( no >= 0 ) { clmNos[no] = i+1; } // 行番号??１しておく?
182 // }
183 clmNos = new int[names.length];
184 for( int i=0; i<names.length; i++ ) {
185 int no = model.getColumnNo( names[i] );
186 // 5.2.2.0 (2010/11/01) useNumber="true"の場合?、行番号??１しておく?
187 if( no >= 0 ) { clmNos[no] = (useNumber) ? i+1 : i ; }
188 }
189 }
190
191 /**
192 * プロセスの終?行います??に??、呼び出されます?
193 * 終???ファイルクローズ??クローズ?に使用します?
194 *
195 * @param isOK ト?タルで、OK?たかど?[true:成功/false:失敗]
196 */
197 public void end( final boolean isOK ) {
198 Closer.ioClose( reader );
199 reader = null;
200 }
201
202 /**
203 * こ???タの処?おいて、次の処?出来るかど?を問?わせます?
204 * こ?呼び出し１回毎に、次の??タを取得する準備を行います?
205 *
206 * @og.rev 5.2.2.0 (2010/11/01) ""で囲われて???タに改行が入って?場合?対?
207 *
208 * @return 処?きる:true / 処?きな?false
209 */
210 public boolean next() {
211 if( nameNull ) { return false; }
212
213 boolean flag = false;
214 try {
215 while((line = reader.readLine()) != null) {
216 inCount++ ;
217 if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; }
218 else {
219 // 5.2.2.0 (2010/11/01) findbugs 対???の + 連結と、?判定ロジ?)
220 int quotCount = StringUtil.countChar( line, '"' );
221 if( quotCount % 2 != 0 ) {
222 String addLine = null;
223 StringBuilder buf = new StringBuilder( line );
224 while(quotCount % 2 != 0 && (addLine = reader.readLine()) != null) {
225 if( addLine.length() == 0 || addLine.charAt( 0 ) == '#' ) { continue; }
226 buf.append( CR ).append( addLine );
227 quotCount += StringUtil.countChar( addLine, '"' );
228 }
229 line = buf.toString();
230 }
231 flag = true;
232 break;
233 }
234 }
235 }
236 catch (IOException ex) {
237 String errMsg = "ファイル読込みエラー[" + reader.toString() + "]" ;
238 throw new RuntimeException( errMsg,ex );
239 }
240 if( debug ) { println( line ); } // 5.7.3.0 (2014/02/07) ????
241 return flag;
242 }
243
244 /**
245 * ??に?行データである LineModel を作?しま?
246 * FirstProcess は、次?処?チェインして???の行データ?
247 * 作?して、後続? ChainProcess クラスに処?ータを渡します?
248 *
249 * ファイルより読み込んだ?行???タ???ブルモ?に
250 * セ?するように?しま?
251 * なお?読込みは?NAME??読み込みます???タ件数が少な??合??
252 * "" をセ?しておきます?
253 *
254 * @param rowNo 処?の行番号
255 *
256 * @return 処?換後?LineModel
257 */
258 public LineModel makeLineModel( final int rowNo ) {
259 outCount++ ;
260 String[] vals = StringUtil.csv2Array( line ,separator.charAt(0) );
261
262 int len = vals.length;
263 for( int clmNo=0; clmNo<model.size(); clmNo++ ) {
264 int no = clmNos[clmNo];
265 if( len > no ) {
266 model.setValue( clmNo,vals[no] );
267 }
268 else {
269 // EXCEL が?終端TABを削除してしま?め?少な??合?埋める?
270 model.setValue( clmNo,"" );
271 }
272 }
273 model.setRowNo( rowNo ) ;
274
275 if( display ) { println( model.dataLine() ); }
276
277 return model;
278 }
279
280 /**
281 * BufferedReader より?NAME 行??名情報を読み取ります?
282 * ??タカラ?り前に??目名情報を示?"#Name" が存在する仮定で取り込みます?
283 * こ?行?、ファイルの形式に無関係に、TAB で区?れて?す?
284 *
285 * @param reader PrintWriterオブジェク?
286 *
287 * @return カラ?配?(存在しな??合?、サイズ??配?)
288 */
289 private String[] readName( final BufferedReader reader ) {
290 try {
291 // 4.0.0 (2005/01/31) line 変数名変更
292 String line1;
293 while((line1 = reader.readLine()) != null) {
294 inCount++ ;
295 if( line1.length() == 0 ) { continue; }
296 if( line1.charAt(0) == '#' ) {
297 String key = line1.substring( 0,5 );
298 if( key.equalsIgnoreCase( "#NAME" ) ) {
299 // ?レギュラー処???の TAB 以前???無視する?
300 String line2 = line1.substring( line1.indexOf( TAB )+1 );
301 return StringUtil.csv2Array( line2 ,TAB.charAt(0) );
302 }
303 else { continue; }
304 }
305 else {
306 String errMsg = "#NAME が見つかる前に??タが見つかりました?;
307 throw new RuntimeException( errMsg );
308 }
309 }
310 }
311 catch (IOException ex) {
312 String errMsg = "ファイル読込みエラー[" + reader.toString() + "]" ;
313 throw new RuntimeException( errMsg,ex );
314 }
315 return new String[0];
316 }
317
318 /**
319 * プロセスの処?果のレポ?ト表現を返します?
320 * 処??ログラ?、?力件数、?力件数などの??です?
321 * こ???をそのまま、標準?力に出すことで、結果レポ?トと出来るよ?
322 * 形式で出してください?
323 *
324 * @return 処?果のレポ??
325 */
326 public String report() {
327 String report = "[" + getClass().getName() + "]" + CR
328 + TAB + "Input File : " + infile + CR
329 + TAB + "Input Count : " + inCount + CR
330 + TAB + "Output Count : " + outCount ;
331
332 return report ;
333 }
334
335 /**
336 * こ?クラスの使用方法を返します?
337 *
338 * @og.rev 5.2.2.0 (2010/11/01) useNumber属?のコメント追?
339 *
340 * @return こ?クラスの使用方?
341 */
342 public String usage() {
343 StringBuilder buf = new StringBuilder();
344
345 buf.append( "Process_TableReaderは、ファイルから読み取った?容を?LineModel に設定後?" ).append( CR );
346 buf.append( "下流に渡す?FirstProcess インターフェースの実?ラスです?" ).append( CR );
347 buf.append( CR );
348 buf.append( "DBTableModel 形式?ファイルを読み取って、各行を LineModel にセ?して? ).append( CR );
349 buf.append( "下?プロセスチェインの??タは上流から下流に渡されます?)に渡します?" ).append( CR );
350 buf.append( CR );
351 buf.append( "columns 属?は?NAME で列カラ?外部から?する?合に使用します?" ).append( CR );
352 buf.append( "こ?属?とuseNumber属?は独立して?すが、?には?NAME を指? ).append( CR );
353 buf.append( "する場合?、useNumber=\"true\"として、行番号??使用しますし、外部から" ).append( CR );
354 buf.append( "?する?合?、useNumber=\"false\"にして先?から読み取ります?" ).append( CR );
355 buf.append( "(自動セ?ではな??で、?に応じて設定してください)" ).append( CR );
356 buf.append( "useNumber の初期値は、\"true\" です?" ).append( CR );
357 buf.append( CR );
358 buf.append( "引数??中に空白を含??合?、ダブルコー??ション(\"\") で括って下さ??" ).append( CR );
359 buf.append( "引数??の ?』?前後には、空白は挟めません。??key=value の様に" ).append( CR );
360 buf.append( "繋げてください? ).append( CR );
361 buf.append( CR ).append( CR );
362
363 buf.append( getArgument().usage() ).append( CR );
364
365 return buf.toString();
366 }
367
368 /**
369 * こ?クラスは、main メソ?から実行できません?
370 *
371 * @param args コマンド引数配?
372 */
373 public static void main( final String[] args ) {
374 LogWriter.log( new Process_TableReader().usage() );
375 }
376 }