    001/*
    002 * Copyright (c) 2009 The openGion Project.
    003 *
    004 * Licensed under the Apache License, Version 2.0 (the "License");
    005 * you may not use this file except in compliance with the License.
    006 * You may obtain a copy of the License at
    007 *
    008 *     http://www.apache.org/licenses/LICENSE-2.0
    009 *
    010 * Unless required by applicable law or agreed to in writing, software
    011 * distributed under the License is distributed on an "AS IS" BASIS,
    012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
    013 * either express or implied. See the License for the specific language
    014 * governing permissions and limitations under the License.
    015 */
    016package org.opengion.fukurou.process;
    017
    018import org.opengion.fukurou.system.OgRuntimeException ;                         // 6.4.2.0 (2016/01/29)
    019import org.opengion.fukurou.system.OgCharacterException ;                       // 6.5.0.1 (2016/10/21)
    020import org.opengion.fukurou.system.DateSet;                                                     // 6.4.2.0 (2016/01/29)
    021import org.opengion.fukurou.system.Closer;
    022import org.opengion.fukurou.util.FileUtil;
    023import org.opengion.fukurou.util.CommentLineParser;
    024import org.opengion.fukurou.util.FileInfo;                                                      // 6.4.0.2 (2015/12/11)
    025import org.opengion.fukurou.security.HybsCryptography ;                         // 5.7.2.1 (2014/01/17)
    026import static org.opengion.fukurou.system.HybsConst.CR;                         // 6.3.1.0 (2015/06/28)
    027
    028import java.io.File;
    029import java.io.BufferedReader;
    030import java.io.PrintWriter;
    031import java.io.IOException;
    032import java.nio.charset.CharacterCodingException;                                       // 6.3.1.0 (2015/06/28)
    033
    034/**
    035 * FileLineModel は、LineModel を継承した ファイルリスト専用の
    036 * LineModel の実装クラスです。
    037 *
    038 * FileLineModel オブジェクトには、ファイル属性(Level,File,Length,Modify,LineCnt,Biko,MD5)
    039 * が設定されます。
    040 * オプションで、FILEPATH,ADDRESS,FILENAME 属性を文字列で準備できます。(6.3.1.0 (2015/06/28))
    041 * ADDRESS は、指定ファイルの親フォルダ。FILENAME はファイル名。FILEPATH は、ファイル名を含む
    042 * 完全なファイルパスになります。
    043 * ※ 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    044 *    この、新しい属性に、値をセットする場合は、useFilePath="true" をセットしてください。
    045 * ※ 6.3.1.1 (2015/07/10) Modify のフォーマット(modifyForm)を、指定可能にします。
    046 *    これは、Date型のまま、扱いたい所だが、文字列化しています。
    047 *    初期値は、"yyyy/MM/dd HH:mm:ss" です。
    048 *
    049 * LineCnt と、MD5 は、それぞれ、計算するかどうかのフラグを設定する必要があります。
    050 *
    051 * ※ useLineCnt=false の場合のLength(文字数)は、File#length() メソッドで求めます。
    052 *    一方、useLineCnt=true にすると、行単位に、String#length() を加算するため、
    053 *    先のLength(文字数)値とは異なりますのでご注意ください。
    054 *
    055 * omitCmnt=true にすると、コメント部分を削除した行数と文字数を求めます。
    056 * これは、/&#042; から &#042;/ の間、&#47;&#47; から改行までです。
    057 * ただし、&#034;(二重引用符)で囲まれた文字列は、コメントとみなしません。
    058 *
    059 * データの１行分を FileLineModel に割り当てます。
    060 * カラム番号は、0 から始まります。カラム名よりカラム番号を求める場合に、
    061 * 存在しない場合は、-1 を返します。
    062 * カラム番号が -1 の場合は、処理を行いません。
    063 *
    064 * 注意：このクラスは、同期処理されていません。
    065 *
    066 * @version  4.0
    067 * @author   Kazuhiko Hasegawa
    068 * @since    JDK5.0,
    069 */
    070public class FileLineModel extends LineModel {
    071        // 5.7.2.1 (2014/01/17) MD5 項目追加
    072        // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    073        private static final String[] KEYS = { "Level","File","Length","Modify","LineCnt","Biko","MD5","FILEPATH","ADDRESS","FILENAME" };
    074
    075        private static final int LEVEL          = 0;
    076        private static final int FILE           = 1;
    077        private static final int LENGTH         = 2;
    078        private static final int MODIFY         = 3;
    079        private static final int LINECNT        = 4;
    080        private static final int BIKO           = 5;
    081        private static final int MD5            = 6;            // 5.7.2.1 (2014/01/17)
    082        private static final int FILEPATH       = 7;            // 6.3.1.0 (2015/06/28)
    083        private static final int ADDRESS        = 8;            // 6.3.1.0 (2015/06/28)
    084        private static final int FILENAME       = 9;            // 6.3.1.0 (2015/06/28)
    085
    086        private final boolean useLineCnt ;
    087        private final boolean useMD5 ;                          // 5.7.2.1 (2014/01/17) MD5 項目追加
    088        private final boolean omitCmnt ;                        // 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)
    089        private final boolean useFilePath ;                     // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性を使う場合は、true
    090        private String encode = "JISAutoDetect";        // 5.7.4.0 (2014/03/07) コメント削除時の文字数計算で利用するファイルのエンコード
    091        private String modifyForm = "yyyy/MM/dd HH:mm:ss" ;     // 6.3.1.1 (2015/07/10)
    092
    093        /**
    094         * コンストラクターです。
    095         * useLineCnt=false , useMD5=false , omitCmnt=false で初期化されます。
    096         *
    097         * @og.rev 5.7.2.1 (2014/01/17) MD5対応
    098         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
    099         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    100         *
    101         */
    102        public FileLineModel() {
    103                this( false,false,false,false );                // 6.3.1.0 (2015/06/28)
    104        }
    105
    106        /**
    107         * ラインカウントの有無を指定した、コンストラクターです。
    108         * useMD5=false , omitCmnt=false で初期化されます。
    109         *
    110         * @og.rev 4.2.2.0 (2008/05/10) 行数カウントの使用有無
    111         * @og.rev 5.7.2.1 (2014/01/17) MD5対応
    112         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
    113         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    114         *
    115         * @param       isLineCnt       行数カウントの使用有無
    116         */
    117        public FileLineModel( final boolean isLineCnt ) {
    118                this( isLineCnt,false,false,false );            // 6.3.1.0 (2015/06/28)
    119        }
    120
    121        /**
    122         * ラインカウントの有無と、MD5計算の有無を指定した、コンストラクターです。
    123         * omitCmnt=false で初期化されます。
    124         *
    125         * @og.rev 5.7.2.1 (2014/01/17) 新規追加(MD5対応)
    126         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
    127         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加。
    128         *
    129         * @param       isLineCnt       行数カウントの使用有無
    130         * @param       isMD5           ファイルのMD5の使用有無
    131         */
    132        public FileLineModel( final boolean isLineCnt,final boolean isMD5 ) {
    133                this( isLineCnt,isMD5,false,false );            // 6.3.1.0 (2015/06/28)
    134        }
    135
    136        /**
    137         * ラインカウントの有無と、MD5計算の有無と、コメント除外の可否を指定した、コンストラクターです。
    138         *
    139         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)
    140         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    141         *
    142         * @param       isLineCnt       行数カウントの使用有無
    143         * @param       isMD5           ファイルのMD5の使用有無
    144         * @param       isOmit          コメント除外の可否(true:除外する)
    145         */
    146        public FileLineModel( final boolean isLineCnt,final boolean isMD5,final boolean isOmit ) {
    147                this( isLineCnt,isMD5,isOmit,false );   // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    148        }
    149
    150        /**
    151         * ラインカウントの有無と、MD5計算の有無と、コメント除外の可否と、追加属性可否を指定した、コンストラクターです。
    152         *
    153         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)
    154         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    155         * @og.rev 6.4.1.1 (2016/01/16) PMD refactoring. It is a good practice to call super() in a constructor
    156         *
    157         * @param       isLineCnt       行数カウントの使用有無
    158         * @param       isMD5           ファイルのMD5の使用有無
    159         * @param       isOmit          コメント除外の可否(true:除外する)
    160         * @param       isPath          FILEPATH,ADDRESS,FILENAME 属性の可否(true:使用する)
    161         */
    162        public FileLineModel( final boolean isLineCnt,final boolean isMD5,final boolean isOmit,final boolean isPath ) {
    163                super();
    164                // 4.3.4.4 (2009/01/01)
    165                useLineCnt      = isLineCnt;
    166                useMD5          = isMD5;                                // 5.7.2.1 (2014/01/17)
    167                omitCmnt        = isOmit;                               // 5.7.4.0 (2014/03/07)
    168                useFilePath     = isPath;                               // 5.7.4.0 (2014/03/07)
    169                init( KEYS );
    170        }
    171
    172        /**
    173         * LineModel を元に、FileLineModel を構築します。
    174         * これは、一旦ファイル等にセーブされた FileLineModel 形式を
    175         * 元に戻す簡易コンストラクタです。
    176         *
    177         * @og.rev 4.2.3.0 (2008/05/26) 新規追加
    178         * @og.rev 5.7.2.1 (2014/01/17) MD5の設定処理追加
    179         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    180         * @og.rev 6.4.1.1 (2016/01/16) PMD refactoring. It is a good practice to call super() in a constructor
    181         *
    182         * @param       model   元のLineModel
    183         */
    184        public FileLineModel( final LineModel model ) {
    185                super();
    186                // 4.3.4.4 (2009/01/01)
    187                init( model.getNames() );
    188
    189                final Object[] obj = model.getValues();
    190
    191                setValue( LEVEL   ,Integer.valueOf( (String)obj[LEVEL] ) );
    192                setValue( FILE    ,new File((String)obj[FILE]) );
    193                setValue( LENGTH  ,Long.valueOf( (String)obj[LENGTH] ) );
    194                setValue( MODIFY  ,(String)obj[MODIFY] );
    195
    196                final String cnt = (String)obj[LINECNT] ;
    197                useLineCnt = cnt != null && cnt.length() > 0 && ! "null".equalsIgnoreCase( cnt ) ;
    198                if( useLineCnt ) { setValue( LINECNT ,cnt ); }
    199
    200                setValue( BIKO  ,(String)obj[BIKO] );
    201
    202                // 5.7.2.1 (2014/01/17)
    203                final String md5Data = (String)obj[MD5] ;
    204                useMD5 = md5Data != null && md5Data.length() > 0 && ! "null".equalsIgnoreCase( md5Data ) ;
    205                if( useMD5 ) { setValue( MD5 ,md5Data ); }
    206
    207                omitCmnt   = false;                     // 5.7.4.0 (2014/03/07) 既存の LineModel から取得できないので、強制設定します。
    208
    209                // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    210                // 念のため、配列数をチェックしながら処理します。
    211                if( obj.length > FILEPATH ) {
    212                        final String path = (String)obj[FILEPATH] ;
    213                        useFilePath = path != null && path.length() > 0 && ! "null".equalsIgnoreCase( path ) ;
    214                        if( useFilePath ) {
    215                                setValue( FILEPATH ,path );
    216                                if( obj.length > ADDRESS  ) { setValue( ADDRESS  ,(String)obj[ADDRESS]  ); }
    217                                if( obj.length > FILENAME ) { setValue( FILENAME ,(String)obj[FILENAME] ); }
    218                        }
    219                }
    220                else {
    221                        useFilePath = false;
    222                }
    223        }
    224
    225        /**
    226         * File属性値をセットします。
    227         * LEVEL,FILE,LENGTH,MODIFY,LINECNT,MD5 の各属性を設定します。
    228         *
    229         * @og.rev 4.2.2.0 (2008/05/10) 行数カウントの使用有無
    230         * @og.rev 5.5.7.2 (2012/10/09) HybsDateUtil を利用するように修正します。
    231         * @og.rev 5.7.2.1 (2014/01/17) MD5計算処理の追加
    232         * @og.rev 5.7.4.0 (2014/03/07) コメント除外の可否(true:除外する)対応
    233         * @og.rev 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
    234         * @og.rev 6.2.1.0 (2015/03/13) ファイルの削除に失敗するため、削除しない。
    235         * @og.rev 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    236         *
    237         * @param       level   ファイルのディレクトリ階層
    238         * @param       file    ファイルオブジェクト
    239         */
    240        public void setFileVals( final int level, final File file ) {
    241                setValue( LEVEL  ,Integer.valueOf( level ) );
    242                setValue( FILE   ,file );
    243                setValue( MODIFY ,DateSet.getDate( file.lastModified(),modifyForm ) );                                  // 6.3.1.1 (2015/07/10)
    244
    245                // 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
    246                // 別にコメント除去されたファイルを作成して、それの MD5 を求める。
    247                File ocFile = null;
    248                if( omitCmnt && useMD5 ) {
    249                        try {
    250                                ocFile = File.createTempFile( "temp",".tmp" );
    251                                ocFile.deleteOnExit();                                                          // 一応、このメソッド内で削除しますが、念のため。
    252                        }
    253                        catch( final IOException ex ) {
    254                                final String errMsg = "コメント除外のMD5計算用 temp ファイルの作成に失敗しました。" + ex.getMessage() ;
    255                                throw new OgRuntimeException( errMsg,ex );
    256                        }
    257                }
    258
    259                if( useLineCnt || omitCmnt ) {
    260                        final long[] cntVals = getLineCnt( file,ocFile );                       // 5.7.7.1 (2014/06/13) 出力ファイルを渡します。
    261                        setValue( LINECNT ,String.valueOf( cntVals[0] ) );
    262                        setValue( LENGTH  ,Long.valueOf(   cntVals[1] ) );
    263                }
    264                else {
    265                        setValue( LENGTH  ,Long.valueOf( file.length() ) );
    266                }
    267
    268                // 5.7.2.1 (2014/01/17) MD5計算がtrue で、かつ、ファイルの場合、MD5 計算を行います。
    269                if( useMD5 && file.isFile() ) {
    270                        // 5.7.7.1 (2014/06/13) omitCmnt を考慮したMD5計算
    271                        if( ocFile == null ) {
    272                                setValue( MD5 ,HybsCryptography.getMD5( file ) );
    273                        }
    274                        else {
    275                                setValue( MD5 ,HybsCryptography.getMD5( ocFile ) );
    276                                // 6.0.2.4 (2014/10/17) RV  java.io.File.delete() の例外的戻り値を無視しています。
    277                                // 6.2.1.0 (2015/03/13) ファイルの削除に失敗するため、削除しない。
    278                        }
    279                }
    280
    281                // 6.3.1.0 (2015/06/28) FILEPATH,ADDRESS,FILENAME 属性追加
    282                if( useFilePath ) {
    283                        // FILEPATH は、正規のパス名文字列 を求めるが、エラー時は、絶対パス名文字列 にする。
    284                        try {
    285                                setValue( FILEPATH      , file.getCanonicalPath() );    // 正規のパス名文字列
    286                        }
    287                        catch( final IOException ex ) {
    288                                setValue( FILEPATH      , file.getAbsolutePath() );             // 絶対パス名文字列
    289                        }
    290
    291                        // ADDRESS は、親の名前なので、直フォルダ名になる。
    292                        final File parent = file.getParentFile();
    293                        if( parent != null ) {
    294                                setValue( ADDRESS       ,parent.getName() );
    295                        }
    296
    297                        setValue( FILENAME      ,file.getName() );
    298                }
    299        }
    300
    301        /**
    302         * コメント削除時の文字数計算で利用するファイルのエンコードをセットします。
    303         * 初期値:JISAutoDetect
    304         *
    305         * @og.rev 5.7.4.0 (2014/03/07) 新規追加
    306         *
    307         * @param       encode  コメント削除時の文字数計算で利用するファイルのエンコード
    308         */
    309        public void setEncode( final String encode ) {
    310                this.encode = encode;
    311        }
    312
    313        /**
    314         * File属性値をセットします。
    315         *
    316         * @param       file    ファイルオブジェクト
    317         */
    318        public void setFile( final File file ) {
    319                setValue( FILE,file );
    320        }
    321
    322        /**
    323         * ファイルを取得します。
    324         *
    325         * @return      ファイル
    326         */
    327        public File getFile() {
    328                return (File)getValue( FILE );
    329        }
    330
    331        /**
    332         * 備考情報属性値をセットします。
    333         *
    334         * @og.rev 4.2.2.0 (2008/05/10) 行数カウントの使用有無
    335         *
    336         * @param       biko    備考情報
    337         */
    338        public void setBiko( final String biko ) {
    339                setValue( BIKO,biko );
    340        }
    341
    342        /**
    343         * レベル File属性値を取得します。
    344         *
    345         * @return      ファイルのディレクトリ階層
    346         */
    347        public int getLevel() {
    348                return ((Integer)getValue( LEVEL )).intValue();
    349        }
    350
    351        /**
    352         * ファイルサイズ File属性値を取得します。
    353         *
    354         * @return      ファイルサイズ
    355         */
    356        public long getLength() {
    357                return ((Long)getValue( LENGTH )).longValue();
    358        }
    359
    360        /**
    361         * 更新日時(Modify) のフォーマットを、指定します。
    362         *
    363         * ここで指定しない場合は、"yyyy/MM/dd HH:mm:ss" になります。
    364         * Date型で変換できないようなフォームを指定した場合は、実行時に
    365         * エラーになりますので、ご注意ください。
    366         *
    367         * @og.rev 6.3.1.1 (2015/07/10) Modify のフォーマットを、指定可能にします。
    368         *
    369         * @param       form 更新日時のフォーマット
    370         * @see         java.text.SimpleDateFormat
    371         */
    372        public void setModifyForm( final String form ) {
    373                if( form != null && !form.isEmpty() ) {
    374                        modifyForm = form;
    375                }
    376        }
    377
    378        /**
    379         * 更新日時 File属性値を取得します。
    380         *
    381         * @return      更新日時(yyyy/MM/dd HH:mm:ss)
    382         */
    383        public String getModify() {
    384                return (String)getValue( MODIFY );
    385        }
    386
    387        /**
    388         * MD5 File属性値を取得します。
    389         * ただし、useMD5 が true でないと値は返しません。
    390         *
    391         * @og.rev 5.7.2.1 (2014/01/17) 新規追加(MD5対応)
    392         *
    393         * @return      MD5の値
    394         */
    395        public String getMD5() {
    396                return (String)getValue( MD5 );
    397        }
    398
    399        /**
    400         * 行数と文字数を取得します。
    401         * 行数カウントとファイルの文字数カウント(バイト数ではありません)を行います。
    402         * ※ useLineCnt=false の場合のLength(文字数)は、File#length() メソッドで求めます。
    403         *    一方、useLineCnt=true にすると、行単位に、String#length() を加算するため、
    404         *    先のLength(文字数)値とは異なりますのでご注意ください。
    405         *
    406         * 結果は、long型の配列で返します。[0]が行数で、[1]が文字数です。
    407         * omitCmnt 属性を使用した場合は、コメント部分を削除した行数と文字数を求めます。
    408         * これは、/&#042; から &#042;/ の間、&#47;&#47; から改行までです。
    409         * ただし、&#034;(二重引用符)で囲まれた文字列は、コメントとみなしません。
    410         *
    411         * @og.rev 5.7.4.0 (2014/03/07) 行数カウントとファイルの文字数カウントを行う。
    412         * @og.rev 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
    413         * @og.rev 6.2.1.0 (2015/03/13) ディレクトリ以外からファイルのみに対象を変更。
    414         * @og.rev 6.3.1.0 (2015/06/28) nioを使用すると UTF-8とShuft-JISで、エラーになる。
    415         * @og.rev 6.4.0.2 (2015/12/11) CommentLineParser 改造。
    416         * @og.rev 6.5.0.1 (2016/10/21) CharacterCodingException は、OgCharacterException に変換する。
    417         *
    418         * @param       file    行数を数えるファイルオブジェクト
    419         * @param       ocFile  omitCmnt=trueの場合に、MD5計算する時の、仮出力ファイル(nullの場合は、無視)
    420         *
    421         * @return  long型の配列([0]が行数で、[1]が文字数)
    422         * @og.rtnNotNull
    423         */
    424        private long[] getLineCnt( final File file,final File ocFile ) {
    425                long lineCnt = 0L;              // 行数
    426                long charCnt = 0L;              // 文字数
    427
    428                final BufferedReader reader = FileUtil.getBufferedReader( file,encode );
    429
    430                // 5.7.7.1 (2014/06/13) omitCmnt=true(コメント除外する) and useMD5=true(MD5計算する) 場合の処理
    431                PrintWriter writer = null;
    432                if( ocFile != null ) { writer = FileUtil.getPrintWriter( ocFile ,encode ); }
    433
    434                // 6.4.0.2 (2015/12/11) CommentLineParser 改造
    435                final CommentLineParser clp = omitCmnt ? new CommentLineParser( FileInfo.getSUFIX( file ) ) : null;
    436                try {
    437                        // 6.2.1.0 (2015/03/13) ディレクトリ以外からファイルのみに対象を変更。
    438                        if( file.isFile() ) {
    439                                String line ;
    440                                while((line = reader.readLine()) != null) {
    441                                        if( omitCmnt ) {
    442                                                line = clp.line( line );
    443                                                if( line == null ) { continue; }        // 戻り値が null の場合は、行として不成立
    444                                                if( writer != null ) { writer.println( line ); }        // 5.7.7.1 (2014/06/13)
    445                                        }
    446
    447                                        lineCnt++;
    448                                        charCnt += line.length();
    449                                }
    450                        }
    451                }
    452                // 6.3.1.0 (2015/06/28) nioを使用すると UTF-8とShuft-JISで、エラーになる。
    453                catch( final CharacterCodingException ex ) {
    454                        final String errMsg = "文字のエンコード・エラーが発生しました。" + CR
    455                                                                +       "  ファイルのエンコードが指定のエンコードと異なります。" + CR
    456                                                                +       " [" + file.getPath() + "] , Encode=[" + encode + "]" ;
    457                        throw new OgCharacterException( errMsg,ex );    // 6.5.0.1 (2016/10/21)
    458                }
    459                catch( final IOException ex ) {
    460                        final String errMsg = "ファイルカウント中に例外が発生しました。" + CR
    461                                                                +       " [" + file.getPath() + "] , Encode=[" + encode + "]" ;
    462                        throw new OgRuntimeException( errMsg,ex );
    463                }
    464                finally {
    465                        Closer.ioClose( reader ) ;
    466                        Closer.ioClose( writer ) ;              // 5.7.7.1 (2014/06/13) ioClose は、引数が null なら無視します。
    467                }
    468
    469                return new long[] { lineCnt,charCnt };
    470        }
    471}