Linux でファイルを削除するさまざまな方法の効率の比較

Linux で大量のファイルを削除する効率をテストします。

まず500,000個のファイルを作成する

$ test for i in $(seq 1 500000);do echo text >>$i.txt;done

1. rm 削除

$ 時間 rm -f *
zsh: /home/hungerr/test [yn] 内のすべてのファイルを削除してもよろしいですか? y
zsh: 引数リストが長すぎます: rm
rm -f * 3.63秒 ユーザー 0.29秒 システム 98% CPU 3.985 合計

ファイル数が多いため、rm は機能しません。

2. 検索して削除する

$ time find ./ -type f -exec rm {} \;
find ./ -type f -exec rm {} \; 49.86秒 ユーザー 1032.13秒 システム 41% CPU 43:19.17 合計

コンピューターで約 43 分。 。 。 。 。 。動画を見ながら削除しました。

3. 削除して検索

$ 時間を見つける ./ -type f -delete
find ./ -type f -delete 0.43秒 ユーザー 11.21秒 システム 2% CPU 9:13.38 合計

9分かかります。

4. rsync削除

# まず空のフォルダblanktestを作成します
$ time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/ 0.59秒 ユーザー 7.86秒 システム 51% CPU 16.418 合計16秒

非常に優れており、強力です。

5. Python 削除

インポートOS
インポートtimeit
 
main() を定義します:  
  os.walk('/home/username/test') のパス名、ディレクトリ名、ファイル名の場合:    
    ファイル名のファイル名の場合:      
      ファイル = os.path.join(パス名,ファイル名)      
      os.remove(ファイル)     
__name__ == '__main__' の場合:
t = timeit.Timer('main()','__main__ から main をインポート')
t.timeit(1) を印刷する　
 1
2
$ pythonテスト.py 529.309022903

約9分かかります。

6. Perl 削除

$ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28秒 ユーザー 7.23秒 システム 50% CPU 16.784 合計16秒

これが最速のはずです。

7. 結果:

• rm: 使用できるファイルが多すぎます
• -exec で 500,000 個のファイルを検索すると 43 分かかりました
• -delete で検索 9 分
• Perl 16sPython 9分
• -delete 16s を使用した rsync
  

結論: rsync は、多数の小さなファイルを削除する最も高速で便利な方法です。

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。