    001/*
    002 * Copyright (c) 2009 The openGion Project.
    003 *
    004 * Licensed under the Apache License, Version 2.0 (the "License");
    005 * you may not use this file except in compliance with the License.
    006 * You may obtain a copy of the License at
    007 *
    008 *     http://www.apache.org/licenses/LICENSE-2.0
    009 *
    010 * Unless required by applicable law or agreed to in writing, software
    011 * distributed under the License is distributed on an "AS IS" BASIS,
    012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
    013 * either express or implied. See the License for the specific language
    014 * governing permissions and limitations under the License.
    015 */
    016package org.opengion.hayabusa.servlet;
    017
    018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
    019import org.opengion.hayabusa.common.HybsSystem;
    020import org.opengion.hayabusa.servlet.multipart.MultipartParser;
    021import org.opengion.hayabusa.servlet.multipart.Part;
    022import org.opengion.hayabusa.servlet.multipart.FilePart;
    023import org.opengion.hayabusa.servlet.multipart.ParamPart;
    024import org.opengion.fukurou.util.ZipArchive;                            // 6.0.0.0 (2014/04/11) zip 対応
    025
    026import java.io.File;
    027import java.io.IOException;
    028// import java.io.FileNotFoundException;                                        // 6.9.0.1 (2018/02/05)
    029import java.util.Map;
    030import java.util.concurrent.ConcurrentSkipListMap;                      // 6.4.3.1 (2016/02/12) refactoring
    031
    032import java.util.List;
    033import java.util.ArrayList;
    034import java.util.Set;
    035import java.util.Random ;
    036import java.util.concurrent.atomic.AtomicInteger;                       // 5.5.2.6 (2012/05/25) findbugs対応
    037import javax.servlet.http.HttpServletRequest;
    038
    039/**
    040 * ファイルをサーバーにアップロードする場合に使用されるマルチパート処理サーブレットです。
    041 *
    042 * 通常のファイルアップロード時の、form で使用する、enctype="multipart/form-data"
    043 * を指定した場合の、他のリクエスト情報も、取り出すことが可能です。
    044 *
    045 * ファイルをアップロード後に、指定のファイル名に変更する機能があります。
    046 * file 登録ダイアログで指定した name に、"_NEW" という名称を付けたリクエスト値を
    047 * ファイルのアップロードと同時に送信することで、この名前にファイルを付け替えます。
    048 * また、アップロード後のファイル名は、name 指定の名称で、取り出せます。
    049 * クライアントから登録したオリジナルのファイル名は、name に、"_ORG" という名称
    050 * で取り出すことが可能です。
    051 *
    052 * maxPostSize : 最大転送サイズ(Byte)を指定します。 0,またはマイナスで無制限です。
    053 * useBackup   : ファイルアップロード時に、すでに同名のファイルが存在した場合に、
    054 *               バックアップ処理(renameTo)するかどうか[true/false]を指定します(初期値:false)
    055 *
    056 * ファイルアップロード時に、アップロード先に、同名のファイルが存在した場合は、既存機能は、そのまま
    057 * 置き換えていましたが、簡易バージョンアップ機能として、useBackup="true" を指定すると、既存のファイルを
    058 * リネームして、バックアップファイルを作成します。
    059 * バックアップファイルは、アップロードフォルダを基準として、_backup/ファイル名.拡張子_処理時刻のlong値.拡張子 になります。
    060 * オリジナルのファイル名（拡張子付）を残したまま、"_処理時刻のlong値" を追加し、さらに、オリジナルの拡張子を追加します。
    061 * バックアップファイルの形式は指定できません。
    062 *
    063 * 5.7.1.2 (2013/12/20) zip 対応
    064 * filename 属性に、".zip" の拡張子のファイル名を指定した場合は、アップロードされた一連のファイルを
    065 * ZIP圧縮します。これは、アップロード後の処理になります。
    066 * ZIP圧縮のオリジナルファイルは、そのまま残ります。
    067 * なお、ZIPファイルは、useBackup属性を true に設定しても、無関係に、上書きされます。
    068 *
    069 * @og.group その他機能
    070 *
    071 * @version  4.0
    072 * @author       Kazuhiko Hasegawa
    073 * @since    JDK5.0,
    074 */
    075public final class MultipartRequest {
    076        private static AtomicInteger dumyNewFileCnt = new AtomicInteger(1);             // 5.5.2.6 (2012/05/25) findbugs対応
    077
    078        // 6.3.9.0 (2015/11/06) Variables should start with a lowercase character(PMD)
    079        private static final String RANDOM_KEY = new Random().nextInt( Integer.MAX_VALUE ) + "_" ;      // 5.6.5.3 (2013/06/28) アップロード時のダミーファイル名をもう少しだけランダムにする。
    080
    081        /** 6.4.3.1 (2016/02/12) PMD refactoring. TreeMap → ConcurrentSkipListMap に置き換え。  */
    082        private final Map<String,List<String>> paramMap = new ConcurrentSkipListMap<>();        // 6.4.3.1 (2016/02/12) ソートします。
    083
    084        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    085        private final List<UploadedFile> files                          = new ArrayList<>();                    // 5.7.1.1 (2013/12/13) HTML5対応
    086
    087        /**
    088         * MultipartRequest オブジェクトを構築します。
    089         *
    090         * 引数として、ファイルアップロード時の保存フォルダ、最大サイズ、エンコード、
    091         * 新しいファイル名などを指定できます。新しいファイル名は、アップロードされる
    092         * ファイルが一つだけの場合に使用できます。複数のファイルを同時に変更したい
    093         * 場合は、アップロードルールにのっとり、リクエストパラメータで指定してください。
    094         *
    095         * HTML5 では、ファイルアップロード時に、multiple 属性（inputタグのtype="file"）を
    096         * 付ける事で、ファイルを複数選択できます。
    097         * その場合は、inputのname属性は、一つなので、_NEW による名前の書き換えはできません。
    098         *
    099         * @og.rev 3.8.1.3A (2006/01/30) 新ファイル名にオリジナルファイル名の拡張子をセットします
    100         * @og.rev 4.0.0.0 (2007/11/28) メソッドの戻り値をチェックします。
    101         * @og.rev 5.5.2.6 (2012/05/25) findbugs対応。staticフィールドへの書き込みに、AtomicInteger を利用します。
    102         * @og.rev 5.6.5.3 (2013/06/28) useBackup引数追加
    103         * @og.rev 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    104         * @og.rev 5.7.1.2 (2013/12/20) zip 対応
    105         * @og.rev 5.7.4.3 (2014/03/28) zip 対応復活。inputFilename のリクエスト変数処理追加
    106         * @og.rev 6.0.2.4 (2014/10/17) useBackup 修正。_PFX(接頭辞) , _SFX(接尾辞) 機能を追加。ファイル名にフォルダ指定可
    107         * @og.rev 6.4.3.1 (2016/02/12) PMD refactoring. HashMap → ConcurrentHashMap に置き換え。
    108         * @og.rev 5.9.25.0 (2017/10/06) ｸﾗｳﾄﾞｽﾄﾚｰｼﾞ利用処理追加
    109         * @og.rev 6.9.0.1 (2018/02/05) ﾌｧｲﾙをｾｰﾌﾞするﾃﾞｨﾚｸﾄﾘは、必要な場合のみ、作成します。
    110         *
    111         * @param       request HttpServletRequestオブジェクト
    112         * @param       saveDirectory   ファイルアップロードがあった場合の保存フォルダ名
    113         * @param       maxPostSize             ファイルアップロード時の最大ファイルサイズ(Byte)0,またはマイナスで無制限
    114         * @param       encoding                ファイルのエンコード
    115         * @param       inputFilename   アップロードされたファイルの新しい名前
    116         * @param       useBackup               ファイルアップロード時に、バックアップ処理するかどうか[true/false/rename]を指定
    117         * @param       fileURL                 クラウドストレージ用のURL
    118         * @throws IOException 入出力エラーが発生したとき
    119         * @throws IllegalArgumentException ｾｰﾌﾞﾃﾞｨﾚｸﾄﾘ に関係するｴﾗｰ
    120         */
    121        public MultipartRequest(final HttpServletRequest request,
    122                                                        final String    saveDirectory,
    123                                                        final int               maxPostSize,
    124                                                        final String    encoding,
    125                                                        final String    inputFilename,
    126                                                        final String    useBackup,                                                              // 6.0.2.4 (2014/10/17) true/false/rename
    127                                                        final String    fileURL) throws IOException,IllegalArgumentException {                  // (2017/10/06) 追加
    128
    129                if( request == null ) {
    130                        throw new IllegalArgumentException("request cannot be null");
    131                }
    132
    133//              // 6.9.0.1 (2018/02/05) ﾌｧｲﾙをｾｰﾌﾞするﾃﾞｨﾚｸﾄﾘは、必要な場合のみ、作成します。
    134//              if( saveDirectory == null ) {
    135//                      throw new IllegalArgumentException("saveDirectory cannot be null");
    136//              }
    137//              // 5.5.2.6 (2012/05/25) 0,またはマイナスで無制限
    138//              // Save the dir
    139//              final File dir = new File(saveDirectory);
    140//
    141//              // Check saveDirectory is truly a directory
    142//              if( !dir.isDirectory() ) {
    143//                      throw new IllegalArgumentException("Not a directory: " + saveDirectory);
    144//              }
    145//
    146//              // Check saveDirectory is writable
    147//              if( !dir.canWrite() ) {
    148//                      throw new IllegalArgumentException("Not writable: " + saveDirectory);
    149//              }
    150
    151                // Parse the incoming multipart, storing files in the dir provided,
    152                // and populate the meta objects which describe what we found
    153                final MultipartParser parser = new MultipartParser(request, maxPostSize);
    154                if( encoding != null ) {
    155                        parser.setEncoding(encoding);
    156                }
    157
    158                // 2017/10/06 ADD ｼｽﾃﾑﾘｿｰｽにｸﾗｳﾄﾞｽﾄﾚｰｼﾞ利用が登録されている場合は、ｸﾗｳﾄﾞｽﾄﾚｰｼﾞを利用する
    159                final String storage = HybsSystem.sys( "CLOUD_STORAGE");
    160                final boolean useStorage = storage != null && storage.length() > 0 ;
    161
    162                // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    163                Part part;
    164                File dir  = null;
    165                while( (part = parser.readNextPart()) != null ) {
    166                        final String name = part.getName();
    167                        if( part.isParam() && part instanceof ParamPart ) {
    168                                final ParamPart paramPart = (ParamPart)part;
    169                                final String value = paramPart.getStringValue();
    170                                // 6.4.3.1 (2016/02/12) ConcurrentMap 系は、key,val ともに not null 制限です。
    171                                List<String> existingValues = paramMap.get(name);
    172                                if( existingValues == null ) {
    173                                        existingValues = new ArrayList<>();
    174                                        paramMap.put(name, existingValues);
    175                                }
    176                                existingValues.add(value);
    177                        }
    178                        else if( part.isFile() && part instanceof FilePart ) {
    179                                final FilePart filePart = (FilePart)part;
    180                                final String orgName = filePart.getFilename();          // 5.7.1.1 (2013/12/13) 判りやすいように変数名変更
    181                                if( orgName != null ) {
    182                                        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    183                                        // 同一 name で、複数ファイルを扱う必要があります。
    184                                        // 3.8.1.2 (2005/12/19) 仮ファイルでセーブする。
    185                                        final String uniqKey = RANDOM_KEY + dumyNewFileCnt.getAndIncrement() ;          // 5.6.5.3 (2013/06/28) アップロード時のダミーファイル名をもう少しだけランダムにする。
    186                                        filePart.setFilename( uniqKey );
    187                                        // 標準のﾌｧｲﾙ書き込み 2017/10/06 DELETE ｸﾗｳﾄﾞｽﾄﾚｰｼﾞ利用判定を追加
    188
    189                                        if( useStorage ){
    190                                                // ｸﾗｳﾄﾞｽﾄﾚｰｼﾞにｱｯﾌﾟﾛｰﾄﾞ
    191                                                filePart.writeToCloud( storage, fileURL, request.getSession(true) );
    192                                        }else{
    193                                                if( dir == null ) { dir = makeDirs( saveDirectory ); }          // 6.9.0.1 (2018/02/05)
    194                                                // 標準のﾌｧｲﾙ書き込み
    195                                                filePart.writeTo(dir);
    196                                        }
    197
    198                                        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    199                                        files.add( new UploadedFile(
    200                                                                                        uniqKey,                // 5.7.1.1 (2013/12/13) 順番変更
    201                                                                                        dir.toString(),
    202                                                                                        name,                   // 5.7.1.1 (2013/12/13) 項目追加
    203                                                                                        orgName,
    204                                                                                        filePart.getContentType()));
    205                                }
    206                        }
    207                        else {
    208                                final String errMsg = "Partオブジェクトが、ParamPartでもFilePartでもありません。"
    209                                                        + " class=[" + part.getClass() + "]";
    210                                throw new OgRuntimeException( errMsg );
    211                        }
    212                }
    213
    214                // 5.7.4.3 (2014/03/28) inputFilename は、リクエスト変数が使えるようにします。
    215                final String filename = getReqParamFileName( inputFilename ) ;
    216
    217                // 3.5.6.5 (2004/08/09) 登録後にファイルをリネームします。
    218                // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    219                final int size = files.size();
    220
    221                // 5.7.1.2 (2013/12/20) zip 対応
    222                // 5.9.25.0 (2017/10/06) FileをString型に変更
    223                final String[] tgtFiles = new String[size];
    224                final boolean isZip = filename != null && filename.endsWith( ".zip" ) ;
    225
    226                for( int i=0; i<size; i++ ) {
    227                        final UploadedFile upFile = files.get(i);
    228                        final String name = upFile.getName();           // 5.7.1.1 (2013/12/13)
    229
    230                        String newName = isZip ? null : filename ;
    231                        String prefix = null ;                          // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
    232                        String sufix  = null ;                          // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
    233                        if( newName == null && name != null ) {
    234                                final int adrs = name.lastIndexOf( HybsSystem.JOINT_STRING );   // カラム__行番号 の __ の位置
    235                                // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
    236                                if( adrs < 0 ) {
    237                                        newName = getParameter( name + "_NEW" );
    238                                        prefix  = getParameter( name + "_PFX" );
    239                                        sufix   = getParameter( name + "_SFX" );
    240                                }
    241                                else {
    242                                        final String name1 = name.substring( 0,adrs );
    243                                        final String name2 = name.substring( adrs );
    244                                        newName = getParameter( name1 + "_NEW" + name2 );
    245                                        prefix  = getParameter( name1 + "_PFX" + name2 );
    246                                        sufix   = getParameter( name1 + "_SFX" + name2 );
    247                                }
    248                        }
    249
    250                        // 5.7.1.1 (2013/12/13) UploadedFile 内で処理するように変更
    251                        // 5.9.25.0 (2017/10/06) MODIFY fileURLとsessionを追加
    252                        tgtFiles[i] = upFile.renameTo( newName,prefix,sufix,useBackup,fileURL,request.getSession(true) );
    253                }
    254                // 5.7.1.2 (2013/12/20) zip 対応
    255                // 6.0.0.0 (2014/04/11) 一旦保留にしていましたが、復活します。
    256                if( isZip && !useStorage ) {
    257                        final File zipFile = new File( saveDirectory,filename );
    258                        // 5.9.25.0 (2017/10/06) tgtFiles が、String型に変更されたため
    259                        final File[] files = new File[tgtFiles.length];
    260                        for( int i=0; i<tgtFiles.length; i++ ) {
    261                                files[i] = new File( tgtFiles[i] );
    262                        }
    263                        ZipArchive.compress( files,zipFile );
    264                }
    265        }
    266
    267        /**
    268         * リクエストパラメータの名前配列を取得します。
    269         *
    270         * @return      リクエストパラメータの名前配列
    271         * @og.rtnNotNull
    272         */
    273        public String[] getParameterNames() {
    274                final Set<String> keyset = paramMap.keySet();
    275                return keyset.toArray( new String[keyset.size()] );
    276        }
    277
    278        /**
    279         * ファイルアップロードされたファイル群のファイル配列を取得します。
    280         *
    281         * @og.rev 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択（multiple）対応
    282         *
    283         * @return      アップロードされたファイル群
    284         * @og.rtnNotNull
    285         */
    286        public UploadedFile[] getUploadedFile() {
    287                return files.toArray( new UploadedFile[files.size()] );
    288        }
    289
    290        /**
    291         * 指定の名前のリクエストパラメータの値を取得します。
    292         *
    293         * 複数存在する場合は、一番最後の値を返します。
    294         *
    295         * @param       name    リクエストパラメータ名
    296         *
    297         * @return      パラメータの値
    298         */
    299        public String getParameter( final String name ) {
    300                final List<String> values = paramMap.get(name);
    301
    302                // 6.4.1.1 (2016/01/16) PMD refactoring. A method should have only one exit point, and that should be the last statement in the method
    303                return values == null || values.isEmpty() ? null : values.get( values.size() - 1 );
    304        }
    305
    306        /**
    307         * 指定の名前のリクエストパラメータの値を配列型式で取得します。
    308         *
    309         * @og.rev 5.3.2.0 (2011/02/01) 新規作成
    310         * @og.rev 6.3.9.1 (2015/11/27) null ではなく長さが0の配列を返すことを検討する(findbugs)。
    311         *
    312         * @param       name    リクエストパラメータ名
    313         *
    314         * @return      パラメータの値配列(存在しない場合は、長さ０の配列を返します)
    315         * @og.rtnNotNull
    316         */
    317        public String[] getParameters( final String name ) {
    318                final List<String> values = paramMap.get(name);
    319                return values == null || values.isEmpty()
    320                                        ? new String[0]
    321                                        : values.toArray( new String[values.size()] );
    322        }
    323
    324        /**
    325         * 指定の名前のリクエストパラメータの値を配列(int)型式で取得します。
    326         *
    327         * @og.rev 5.3.2.0 (2011/02/01) 新規作成
    328         * @og.rev 5.3.6.0 (2011/06/01) 配列値が""の場合にNumberFormatExceptionが発生するバグを修正
    329         * @og.rev 6.3.9.1 (2015/11/27) null ではなく長さが0の配列を返すことを検討する(findbugs)。
    330         *
    331         * @param       name    リクエストパラメータ名
    332         *
    333         * @return      パラメータの値配列(存在しない場合は、長さ０の配列を返します)
    334         * @og.rtnNotNull
    335         */
    336        public int[] getIntParameters( final String name ) {
    337                final List<String> values = paramMap.get(name);
    338
    339                return values == null || values.isEmpty()
    340                                        ? new int[0]
    341                                        : values.stream()
    342                                                        .filter( str -> str != null && !str.isEmpty() )         // 条件
    343                                                        .mapToInt( Integer::parseInt )                                          // 変換 String → int
    344                                                        .toArray();                                                                                     // int[] 配列
    345        }
    346
    347        /**
    348         * 指定の名前の ファイル名のリクエスト変数処理を行います。
    349         *
    350         * filename 属性のみ、{&#064;XXXX} のリクエスト変数が使えるようにします。
    351         *
    352         * @og.rev 5.7.4.3 (2014/03/28) 新規追加
    353         *
    354         * @param       fname   ファイル名
    355         * @return      リクエスト変数を処理したファイル名
    356         */
    357        private String getReqParamFileName( final String fname ) {
    358
    359                String rtn = fname ;
    360                if( fname != null ) {
    361                        final StringBuilder filename = new StringBuilder( fname ) ;
    362                        int st = filename.indexOf( "{@" );
    363                        while( st >= 0 ) {
    364                                final int ed = filename.indexOf( "}",st );
    365                                if( ed < 0 ) {
    366                                        final String errMsg = "{@XXXX} の対応関係が取れていません。"
    367                                                                + " filename=[" + fname + "]";
    368                                        throw new OgRuntimeException( errMsg );
    369                                }
    370                                final String key = filename.substring( st+2,ed );               // "}" は切り出し対象外にする。
    371                                final String val = getParameter( key );
    372                                filename.replace( st,ed+1,val );                                // "}" を含めて置換したいので、ed+1
    373                                // 次の "{@" を探す。開始は置換文字数が不明なので、st から始める。
    374                                st = filename.indexOf( "{@",st );
    375                        }
    376                        rtn = filename.toString();
    377                }
    378                return rtn ;
    379        }
    380
    381        /**
    382         * 指定のﾃﾞｨﾚｸﾄﾘが無ければ作成します。
    383         *
    384         * @og.rev 6.9.0.1 (2018/02/05) ﾌｧｲﾙをｾｰﾌﾞするﾃﾞｨﾚｸﾄﾘは、必要な場合のみ、作成します。
    385         *
    386         * @param       saveDir ﾃﾞｨﾚｸﾄﾘ名
    387         * @return      ｾｰﾌﾞ可能なﾃﾞｨﾚｸﾄﾘ
    388         * @throws      IllegalArgumentException        ｾｰﾌﾞﾃﾞｨﾚｸﾄﾘ に関係するｴﾗｰ(無理から)
    389         */
    390        private File makeDirs( final String saveDir ) throws IllegalArgumentException {
    391                // ｾｰﾌﾞﾃﾞｨﾚｸﾄﾘの名前ﾁｪｯｸ
    392                if( saveDir == null ) {
    393                        throw new IllegalArgumentException( "saveDir cannot be null" );
    394                }
    395
    396                // ｾｰﾌﾞﾃﾞｨﾚｸﾄﾘのｵﾌﾞｼﾞｪｸﾄ
    397                final File dir = new File( saveDir );
    398
    399                // ｾｰﾌﾞﾃﾞｨﾚｸﾄﾘ 作成
    400                if( ! dir.exists() && ! dir.mkdirs() ) {
    401                        throw new IllegalArgumentException( "Not make directory: " + saveDir );
    402                }
    403
    404                // ﾃﾞｨﾚｸﾄﾘでなければ、ｴﾗｰ
    405                if( !dir.isDirectory() ) {
    406                        throw new IllegalArgumentException( "Not a directory: " + saveDir );
    407                }
    408
    409                // 書込みできなければ、ｴﾗｰ
    410                if( !dir.canWrite() ) {
    411                        throw new IllegalArgumentException( "Not writable: " + saveDir );
    412                }
    413
    414                return dir;
    415        }
    416}