001    /*
002     * Copyright (c) 2009 The openGion Project.
003     *
004     * Licensed under the Apache License, Version 2.0 (the "License");
005     * you may not use this file except in compliance with the License.
006     * You may obtain a copy of the License at
007     *
008     *     http://www.apache.org/licenses/LICENSE-2.0
009     *
010     * Unless required by applicable law or agreed to in writing, software
011     * distributed under the License is distributed on an "AS IS" BASIS,
012     * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013     * either express or implied. See the License for the specific language
014     * governing permissions and limitations under the License.
015     */
016    package org.opengion.fukurou.process;
017    
018    import org.opengion.fukurou.util.Argument;
019    import org.opengion.fukurou.util.HybsEntry ;
020    import org.opengion.fukurou.util.LogWriter;
021    import org.opengion.fukurou.util.StringUtil;            // 5.7.2.3 (2014/01/31)
022    
023    import java.util.Map ;
024    import java.util.LinkedHashMap ;
025    
026    /**
027     * Process_TableFilter は、上流から受け取ったデータをフィルタするã€?
028     * ChainProcess インターフェースの実è£?‚¯ラスですã?
029     *
030     * 上æµ?プロセスチェインのãƒ??タは上流から下流へと渡されますã?)から
031     * 受け取ったLineModel をå?にã€??目のフィルタリングを行いますã?
032     * 条件がæ?立したå?合ã?、下流に流しますã?è¤?•°の条件を指定できますがã€?
033     * すべて AND で判定されますã?
034     * (設定条件すべてをæº?�Ÿすå?合ã?み、下流にãƒ??タを流しますã?)
035     *
036     * 引数æ–?­—å?中にスペã?スを含ã‚??合ã?、ダブルコーãƒ??ション("") で括って下さã�??
037     * 引数æ–?­—å?の ã€?』ã?前後には、スペã?スは挟めません。å¿?�šã€?key=value の様に
038     * 繋げてくださいã€?
039     *
040     * @og.formSample
041     *  Process_TableFilter
042     *
043     *   [ -prefix_XXXX=接頭è¾?   ] ?šé?目å�?XXXX)がã?æŒ?®šã?接頭辞で始まるå?合ã?条件成立ã?
044     *   [ -suffix_XXXX=接尾è¾?   ] ?šé?目å�?XXXX)がã?æŒ?®šã?接尾辞で終わるå?合ã?条件成立ã?
045     *   [ -instr_XXXX=部åˆ?–‡字å? ] ?šé?目å�?XXXX)がã?æŒ?®šã?部åˆ?–‡字å?とä¸??する場合ã?条件成立ã?
046     *   [ -equals_XXXX=ä¸??      ] ?šé?目å�?XXXX)がã?æ–?­—å?とä¸??する場合ã?条件成立ã?æ–?­—å?は、大æ–?­—小文字ã?区別しません(equalsIgnoreCase)ã€?
047     *   [ -match_XXXX=正規表現   ] ?šé?目å�?XXXX)がã?正規表現とä¸??する場合ã?条件成立ã?
048     *   [ -unmatch_XXXX=正規表現 ] ?šé?目å�?XXXX)がã?正規表現とä¸??しなã�??合ã?条件成立ã?
049     *   [ -const_XXXX=固定å?     ] ??const_FGJ=1
050     *                                     é ?›®å�?XXXX)に、固定å?を設定しますã?
051     *   [ -replace_XXXX=固定å?   ] ??replace_BIKO="YYYY⇒ZZZZ"       (å…??æŒ?®šã?、â�çで区åˆ?‚Šますã?)
052     *                                     é ?›®å�?XXXX)のæ–?­—å?から、YYYY とã�?�†æ–?­—を ZZZZ に置換しますã?
053     *                                -replace_FGJ="_:0 A:1 B:2"    (å…??:新値 の?½?�゚ー?½区åˆ?‚Š)
054     *                                     区åˆ?‚Šæ–?­—に â‡?を使用しなã�??合ã?、CASE処ç�?‚’行いますã?
055     *                                     é ?›®å�?XXXX)の値をã?å…?? から 新値 に置換しますã?(完å?ä¸??)
056     *   [ -display=[false/true]  ] ?š結果を標準å?力に表示する(true)かしなã�?false)ã�?初期値:false[表示しない])
057     *   [ -debug=[false/true]    ] ?šデバッグæƒ??を標準å?力に表示する(true)かしなã�?false)ã�?初期値:false[表示しない])
058     *
059     * @version  4.0
060     * @author   Kazuhiko Hasegawa
061     * @since    JDK5.0,
062     */
063    public class Process_TableFilter extends AbstractProcess implements ChainProcess {
064            /** replace_ で使用する区åˆ?‚Š記号  {@value} */
065            public static final char REP_SEP                = '�   ;       // 4.3.1.1 (2008/08/24)
066    
067            private static final String PREFIX_KEY  = "prefix_"     ;
068            private static final String SUFFIX_KEY  = "suffix_"     ;
069            private static final String INSTR_KEY   = "instr_"      ;
070            private static final String EQUALS_KEY  = "equals_"     ;
071            private static final String MATCH_KEY   = "match_"      ;
072            private static final String UNMATCH_KEY = "unmatch_";
073            private static final String CONST_KEY   = "const_"      ;
074            private static final String REPLACE_KEY = "replace_" ;          // 4.3.1.1 (2008/08/24)
075    
076            private final LineModelFilter filter = new LineModelFilter();
077    
078            private boolean         display         = false;        // 表示しなã�?
079            private boolean         debug           = false;        // 5.7.3.0 (2014/02/07) ãƒ?ƒ�ãƒ?‚°æƒ??
080    
081            private String[]        cnstClm         = null;         // 固定å?を設定するカラãƒ?��
082            private int[]           cnstClmNos      = null;         // 固定å?を設定するカラãƒ?•ª号
083            private String[]        constVal        = null;         // カラãƒ?•ª号に対応した固定å?
084    
085            // 4.3.1.1 (2008/08/24) replace 置換関係にå¿?¦�なãƒ??タ
086            private String[]        repClm          = null;         // 置換を設定するカラãƒ?��
087            private int[]           repClmNos       = null;         // 置換を設定するカラãƒ?•ª号
088            private String[]        repValFrom      = null;         // カラãƒ?•ª号に対応した置換å?æ–?­—å?
089            private String[]        repValTo        = null;         // カラãƒ?•ª号に対応した置換後文字å?
090    
091            // 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�?–¢係にå¿?¦�なãƒ??タ
092            private String[]        caseVals        = null;         // カラãƒ?•ª号に対応した置換後文字å?
093    
094            private boolean         firstRow        = true;         // æœ??のä¸?¡Œ目
095            private int                     count           = 0;
096    
097            private static final Map<String,String> mustProparty   ;          // ?»プロパティ?½å¿??チェãƒ?‚¯用 Map
098            private static final Map<String,String> usableProparty ;          // ?»プロパティ?½整合æ?チェãƒ?‚¯ Map
099    
100            static {
101                    mustProparty = new LinkedHashMap<String,String>();
102    
103                    usableProparty = new LinkedHashMap<String,String>();
104                    usableProparty.put( PREFIX_KEY  ,       "é ?›®å�?XXXX)がã?æŒ?®šã?接頭辞で始まるå?合ã?条件成立ã?" );
105                    usableProparty.put( SUFFIX_KEY  ,       "é ?›®å�?XXXX)がã?æŒ?®šã?接尾辞で終わるå?合ã?条件成立ã?" );
106                    usableProparty.put( INSTR_KEY   ,       "é ?›®å�?XXXX)がã?æŒ?®šã?部åˆ?–‡字å?とä¸??する場合ã?条件成立ã?" );
107                    usableProparty.put( EQUALS_KEY  ,       "é ?›®å�?XXXX)がã?æ–?­—å?とä¸??する場合ã?条件成立ã?" +
108                                                                                    CR + "(大æ–?­—小文字ã?区別しなã�?" );
109                    usableProparty.put( MATCH_KEY   ,       "é ?›®å�?XXXX)がã?正規表現とä¸??する場合ã?条件成立ã?" );
110                    usableProparty.put( UNMATCH_KEY ,       "é ?›®å�?XXXX)がã?正規表現とä¸??しなã�??合ã?条件成立ã?" );
111                    usableProparty.put( CONST_KEY   ,       "é ?›®å�?XXXX)に、固定å?を設定しますã?" );
112                    // 4.3.1.1 (2008/08/24) replace 置換関ä¿?
113                    usableProparty.put( REPLACE_KEY ,       "é ?›®å�?XXXX)のæ–?­—å?から、YYYY⇒ZZZZ で部åˆ?½®換しますã?" +
114                                                                                    CR + "é ?›®å�?XXXX)のæ–?­—å?から、_:0 A:1 B:2でCASE置換しますã?" );
115                    usableProparty.put( "display"   ,       "結果を標準å?力に表示する(true)かしなã�?false)ã�? +
116                                                                                    CR + "(初期値:false:表示しなã�?" );
117                    usableProparty.put( "debug",    "ãƒ?ƒ�ãƒ?‚°æƒ??を標準å?力に表示する(true)かしなã�?false)ã�? +
118                                                                                    CR + "(初期値:false:表示しなã�?" );                // 5.7.3.0 (2014/02/07) ãƒ?ƒ�ãƒ?‚°æƒ??
119            }
120    
121            /**
122             * ãƒ?ƒ•ォルトコンストラクターã€?
123             * こã?クラスは、動çš?½œæ?されますã?ãƒ?ƒ•ォルトコンストラクターでã€?
124             * super クラスに対して、å¿?¦�な初期化を行っておきますã?
125             *
126             */
127            public Process_TableFilter() {
128                    super( "org.opengion.fukurou.process.Process_TableFilter",mustProparty,usableProparty );
129            }
130    
131            /**
132             * プロセスの初期化を行いますã?初めにä¸?º¦ã�?�‘、呼び出されますã?
133             * 初期処ç�?ファイルオープンã€?¼¤?¢オープンç­?に使用しますã?
134             *
135             * @og.rev 4.3.1.1 (2008/08/24) 置換関係対å¿?
136             * @og.rev 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�??
137             *
138             * @param   paramProcess ãƒ??タベã?スの接続å?æƒ??などを持ってã�?‚‹オブジェクãƒ?
139             */
140            public void init( final ParamProcess paramProcess ) {
141                    Argument arg = getArgument();
142    
143                    display = arg.getProparty( "display",display );
144                    debug   = arg.getProparty("debug",debug);                               // 5.7.3.0 (2014/02/07) ãƒ?ƒ�ãƒ?‚°æƒ??
145    //              if( debug ) { println( arg.toString() ); }                      // 5.7.3.0 (2014/02/07) ãƒ?ƒ�ãƒ?‚°æƒ??
146    
147                    HybsEntry[] entry = arg.getEntrys( PREFIX_KEY );
148                    for( int i=0; i<entry.length; i++ ) {
149                            filter.add( FilterOperation.PREFIX, entry[i].getKey(), entry[i].getValue() );
150                    }
151    
152                    entry = arg.getEntrys( SUFFIX_KEY );
153                    for( int i=0; i<entry.length; i++ ) {
154                            filter.add( FilterOperation.SUFFIX, entry[i].getKey(), entry[i].getValue() );
155                    }
156    
157                    entry = arg.getEntrys( INSTR_KEY );
158                    for( int i=0; i<entry.length; i++ ) {
159                            filter.add( FilterOperation.INSTR, entry[i].getKey(), entry[i].getValue() );
160                    }
161    
162                    entry = arg.getEntrys( EQUALS_KEY );
163                    for( int i=0; i<entry.length; i++ ) {
164                            filter.add( FilterOperation.EQUALS, entry[i].getKey(), entry[i].getValue() );
165                    }
166    
167                    entry = arg.getEntrys( MATCH_KEY );
168                    for( int i=0; i<entry.length; i++ ) {
169                            filter.add( FilterOperation.MATCH, entry[i].getKey(), entry[i].getValue() );
170                    }
171    
172                    entry = arg.getEntrys( UNMATCH_KEY );
173                    for( int i=0; i<entry.length; i++ ) {
174                            filter.add( FilterOperation.UNMATCH, entry[i].getKey(), entry[i].getValue() );
175                    }
176    
177                    HybsEntry[] cnstKey = arg.getEntrys( CONST_KEY );
178                    int csize       = cnstKey.length;
179                    cnstClm         = new String[csize];
180                    constVal        = new String[csize];
181                    for( int i=0; i<csize; i++ ) {
182                            cnstClm[i]      = cnstKey[i].getKey();
183                            constVal[i]     = cnstKey[i].getValue();
184                    }
185    
186                    // 4.3.1.1 (2008/08/24) replace 置換関ä¿?
187                    HybsEntry[] repKey = arg.getEntrys( REPLACE_KEY );
188                    int rsize       = repKey.length;
189                    repClm          = new String[rsize];
190                    repValFrom      = new String[rsize];
191                    repValTo        = new String[rsize];
192                    caseVals        = new String[rsize];                            // 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�?
193                    for( int i=0; i<rsize; i++ ) {
194                            repClm[i]       = repKey[i].getKey();
195                            String val      = repKey[i].getValue();                 // val は、YYYY⇒ZZZZ の形å¼?
196                            if( val != null ) {
197                                    int ad = val.indexOf( REP_SEP );                // REP_SEP はã€?â‡?
198                                    if( ad >= 0 ) {
199                                            repValFrom[i]   = val.substring( 0,ad );
200                                            repValTo[i]             = val.substring( ad+1 );
201                                    }
202                                    else {
203                                            // 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�?
204    //                                      repValFrom[i]   = val;                          // 昔ã?、â�ç が無ã�??合ã?、引数をクリアする処ç�?� ったã?
205    //                                      repValTo[i]             = "";                           // 
206                                            caseVals[i]             = val;                          // 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�?
207                                    }
208                            }
209                    }
210            }
211    
212            /**
213             * 引数の LineModel をå?ç�?�™るメソãƒ?ƒ‰ですã?
214             * 変換処ç�?¾Œã? LineModel を返しますã?
215             * 後続å?ç�?‚’行わなã�??å�?ãƒ??タのフィルタリングを行う場å�?はã€?
216             * null ãƒ??タを返しますã?つまりã?null ãƒ??タは、後続å?ç�?‚’行わなã�?
217             * フラグの代わりにも使用してã�?�¾すã?
218             * なおã?変換処ç�?¾Œã? LineModel と、オリジナルの LineModel がã?
219             * 同ä¸?�‹、コピã?(クローン)かã?、各処ç�?ƒ¡ソãƒ?ƒ‰å†?�§決めてã�?�¾すã?
220             * ドキュメントに明記されてã�?�ªã�??合ã?、副作用が問題になるå?合ã?ã€?
221             * å�??ç�?�”とに自åˆ?�§コピã?(クローン)して下さã�??
222             *
223             * @og.rev 4.3.1.1 (2008/08/24) 置換関係対å¿?
224             * @og.rev 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�??
225             *
226             * @param   data        オリジナルのLineModel
227             *
228             * @return      処ç�?¤‰換後ã?LineModel
229             */
230            public LineModel action( final LineModel data ) {
231                    count++ ;
232    
233    //              if( display ) { println( data.dataLine() ); }
234    
235                    if( !filter.filter( data ) ) {
236                            return null;            // 不ä¸??
237                    }
238    
239                    if( firstRow ) {
240                            int csize       = cnstClm.length;
241                            cnstClmNos      = new int[csize];
242                            for( int i=0; i<csize; i++ ) {
243                                    cnstClmNos[i] = data.getColumnNo( cnstClm[i] );
244                            }
245    
246                            // 4.3.1.1 (2008/08/24) 置換関係対å¿?
247                            int rsize       = repClm.length;
248                            repClmNos       = new int[rsize];
249                            for( int i=0; i<rsize; i++ ) {
250                                    repClmNos[i] = data.getColumnNo( repClm[i] );
251                            }
252    
253                            firstRow = false;
254                            if( display ) { println( data.nameLine() ); }           // 5.7.3.0 (2014/02/07) ãƒ?ƒ�ãƒ?‚°æƒ??
255                    }
256    
257                    if( debug ) { println( "Before:" + data.dataLine() ); }         // 5.1.2.0 (2010/01/01) display の条件変更
258    
259                    for( int i=0; i<cnstClm.length; i++ ) {
260                            data.setValue( cnstClmNos[i],constVal[i] );
261                    }
262    
263                    // 4.3.1.1 (2008/08/24) 置換関係対å¿?
264                    for( int i=0; i<repClm.length; i++ ) {
265                            // 5.7.2.3 (2014/01/31) Object ã�?null の時ã?処ç�?�Œおかしかったã?で修正
266    //                      String val = String.valueOf( data.getValue( repClmNos[i] ) );
267    //                      if( val != null ) {
268                            String val = "";
269                            Object obj = data.getValue( repClmNos[i] );
270                            if( obj != null ) { val = String.valueOf( obj ); }
271    
272                            if( caseVals[i] == null ) {             // 従来からのリプレース処ç�?
273                                    val = val.replaceAll( repValFrom[i],repValTo[i] );
274                            }
275                            else {
276                                    // 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�??
277                                    val = StringUtil.caseReplace( val , caseVals[i] , false );
278                            }
279                            data.setValue( repClmNos[i],val );
280                    }
281    
282                    if( debug ) { println( "After :" + data.dataLine() ); }         // 5.1.2.0 (2010/01/01) display の条件変更
283                    else if( display ) { println( data.dataLine() ); }              // 5.1.2.0 (2010/01/01) display の条件変更
284                    return data;
285            }
286    
287            /**
288             * プロセスの終äº?‚’行いますã?æœ?¾Œにä¸?º¦ã�?�‘、呼び出されますã?
289             * 終äº??ç�?ファイルクローズã€?¼¤?¢クローズç­?に使用しますã?
290             *
291             * @og.rev 4.3.1.1 (2008/08/24) 置換関係対å¿?
292             * @og.rev 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�??
293             *
294             * @param   isOK トã?タルで、OKã�?�£たかどã�?�‹[true:成功/false:失敗]
295             */
296            public void end( final boolean isOK ) {
297                    cnstClm         = null;         // 固定å?を設定するカラãƒ?��
298                    cnstClmNos      = null;         // 固定å?を設定するカラãƒ?•ª号
299                    constVal        = null;         // カラãƒ?•ª号に対応した固定å?
300    
301                    repClm          = null;         // 置換を設定するカラãƒ?��
302                    repClmNos       = null;         // 置換を設定するカラãƒ?•ª号
303                    repValFrom      = null;         // カラãƒ?•ª号に対応した置換å?æ–?­—å?
304                    repValTo        = null;         // カラãƒ?•ª号に対応した置換後文字å?
305                    caseVals        = null;         // 5.7.2.3 (2014/01/31) replace 置換ã? case処ç�?
306            }
307    
308            /**
309             * プロセスの処ç�?µ�果のレポã?ト表現を返しますã?
310             * 処ç�??ログラãƒ?��、å?力件数、å?力件数などのæƒ??ですã?
311             * こã?æ–?­—å?をそのまま、標準å?力に出すことで、結果レポã?トと出来るよã�?�ª
312             * 形式で出してくださいã€?
313             *
314             * @return   処ç�?µ�果のレポã?ãƒ?
315             */
316            public String report() {
317                    String report = "[" + getClass().getName() + "]" + CR
318                                    + TAB + "Model Filter : " + filter + CR
319                                    + TAB + "Output Count : " + count ;
320    
321                    return report ;
322            }
323    
324            /**
325             * こã?クラスの使用方法を返しますã?
326             *
327             * @return      こã?クラスの使用方æ³?
328             */
329            public String usage() {
330                    StringBuilder buf = new StringBuilder();
331    
332                    buf.append( "Process_TableFilter は、上流から受け取ったデータをフィルタするã€?                                 ).append( CR );
333                    buf.append( "ChainProcess インターフェースの実è£?‚¯ラスですã?"                                                              ).append( CR );
334                    buf.append( CR );
335                    buf.append( "上æµ?プロセスチェインのãƒ??タは上流から下流へと渡されますã?)から"                   ).append( CR );
336                    buf.append( "受け取ったLineModel をå?にã€??目のフィルタリングを行いますã?"                                      ).append( CR );
337                    buf.append( "条件がæ?立したå?合ã?、下流に流しますã?è¤?•°の条件を指定できますがã€?                     ).append( CR );
338                    buf.append( "すべて AND で判定されますã?"                                                                                                   ).append( CR );
339                    buf.append( "(設定条件すべてをæº?�Ÿすå?合ã?み、下流にãƒ??タを流しますã?)"                                 ).append( CR );
340                    buf.append( CR );
341                    buf.append( "引数æ–?­—å?中に空白を含ã‚??合ã?、ダブルコーãƒ??ション(\"\") で括って下さã�??" ).append( CR );
342                    buf.append( "引数æ–?­—å?の ã€?』ã?前後には、空白は挟めません。å¿?�šã€?key=value の様に"             ).append( CR );
343                    buf.append( "繋げてくださいã€?                                                                                                                              ).append( CR );
344                    buf.append( CR ).append( CR );
345                    buf.append( getArgument().usage() ).append( CR );
346    
347                    return buf.toString();
348            }
349    
350            /**
351             * こã?クラスは、main メソãƒ?ƒ‰から実行できませんã€?
352             *
353             * @param       args    コマンド引数配å?
354             */
355            public static void main( final String[] args ) {
356                    LogWriter.log( new Process_TableFilter().usage() );
357            }
358    }