88 秒で 1,000 万件のレコードを MySQL データベース テーブルに挿入する方法

88 秒で 1,000 万件のレコードを MySQL データベース テーブルに挿入する方法

私が使用しているデータベースはMySQLデータベースバージョン5.7です

まずデータベーステーブルを自分で準備する

実は、1000 万のデータを挿入するときにいくつか問題が発生しました。まずはそれらを解決します。最初は、100 万のデータを挿入するときにエラーが発生しました。コンソール情報は次のとおりです。

com.mysql.jdbc.PacketTooBigException: クエリのパケットが大きすぎます (4232009 > 4194304)。サーバー上でこの値を変更するには、max_allowed_pa​​cket 変数を設定します。

上記のエラーは、データベース テーブルの max_allowed_pa​​cket 構成が十分大きくないために発生します。デフォルトは 4M です。その後、これを 100M に調整したところ、エラーは報告されなくなりました。

グローバルmax_allowed_pa​​cketを100*1024*1024*に設定する

設定後にデータベースに再度ログインして、設定した値を確認する必要があることに注意してください。

'%max_allowed_pa​​cket%' のような変数を表示します

コードは次のとおりです。

添付文書;
java.sql.Connection をインポートします。
java.sql.DriverManager をインポートします。
java.sql.SQLException をインポートします。
java.util.Date をインポートします。
com.mysql.jdbc.PreparedStatement をインポートします。
パブリッククラス InsertTest {
   パブリック静的void main(String[] args)はClassNotFoundException、SQLExceptionをスローします{
     最終的な文字列 url = "jdbc:mysql://127.0.0.1/teacher" ; 
     最終的な文字列名 = "com.mysql.jdbc.Driver"; 
     最終的な文字列 user = "root" ; 
     最終的な文字列パスワード = "123456" ; 
     接続 conn = null; 
     Class.forName(name); //接続タイプを指定します conn = DriverManager.getConnection(url, user, password); //接続を取得します if (conn!= null ) {
       System.out.println("接続が正常に取得されました");
       挿入(conn);
     } それ以外 {
       System.out.println("接続を取得できませんでした");
     }
   }
   パブリック静的void挿入(接続conn) {
     // 開始時刻 Long begin = new Date().getTime();
     // sql プレフィックス String prefix = "INSERT INTO t_teacher (id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark) VALUES ";
     試す {
       // SQL サフィックスを保存します。StringBuffer suffix = new StringBuffer();
       // トランザクションを非自動コミットに設定します。conn.setAutoCommit( false );
       // PST は ST よりも優れています PreparedStatement pst = (PreparedStatement) conn.prepareStatement( "" ); // ステートメントを実行する準備をします // 外側のループ、コミットされたトランザクションの合計数 for ( int i = 1 ; i <= 100 ; i++) {
         サフィックス = 新しいStringBuffer();
         // j 番目の送信ステップ for ( int j = 1 ; j <= 100000 ; j++) {
           // SQL サフィックスを構築 suffix.append( "('" + uutil.UUIDUtil.getUUID()+ "','" +i*j+ "','123456'" + ",'Male'" + ",'Teacher'" + ",'www.bbk.com'" + ",'XX University'" + ",'" + "2016-08-12 14:43:26" + "','Note'" + ")," );
         }
         // 完全なSQLを構築
         文字列 sql = prefix + suffix.substring( 0 , suffix.length() - 1 );
         // 実行SQLを追加
         pst.addBatch(sql);
         // 操作を実行 pst.executeBatch();
         // トランザクションをコミットします conn.commit();
         // 最後に追加されたデータをクリアします suffix = new StringBuffer();
       }
       //ファーストクラスの接続 pst.close();
       接続を閉じる();
     } キャッチ (SQLException e) {
       e.printStackTrace();
     }
     // 終了時刻 Long end = new Date().getTime();
     // 時間がかかります System.out.println( "1000 万件のレコードを挿入するのにかかる時間: " + (end - begin) / 1000 + " 秒" );
     System.out.println("挿入が完了しました");
   }
}

要約する

上記は、編集者が紹介した、88秒で1000万件のデータをMySQLデータベーステーブルに挿入する操作方法です。皆様のお役に立てれば幸いです。ご質問がございましたら、メッセージを残してください。編集者がすぐに返信いたします。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。

以下もご興味があるかもしれません:
  • MySql クイック挿入数千万の大規模データの例
  • Java で JDBC を使用して MySQL に数百万のデータを挿入するサンプル コード
  • MySQLに何百万ものテストデータを素早く挿入する方法
  • 6秒でMySQLに100万件のレコードを挿入する方法を教えます

<<:  CenterOS7 インストールおよび構成環境 jdk1.8 チュートリアル

>>:  JavaScriptオフセットは、ウィンドウ内でのマウス座標の取得とモジュールのドラッグを実装します。

推薦する

CSS のサイズ単位についての簡単な説明

ブラウザの互換性はどんどん良くなってきています。モバイル端末は基本的にすべてWebKitベースです。...

ウェブページを作成するために最もよく使用されるHTMLタグ

1. よく使われるHTMLタグの最適化HTML は Web 編集者にとって基本的なスキルであるべきで...

Linuxサーバーのファイアウォールを変更してポートへのリモートアクセスを許可する方法

1. 問題の説明セキュリティ上の理由から、新しく構築されたサーバー クラスターでは、指定されたポート...

Navicat を使用して MySQL データベースをエクスポートおよびインポートする方法

MySql は、私たちが頻繁に使用するデータ ソースです。開発者が練習、小規模なプライベート ゲーム...

CentOS の起動時に RabbitMq ソフトウェアを自動的に起動する方法

1. /etc/init.dディレクトリに新しいrabbitmqを作成します。 [root@loca...

Linux システムで Java 環境変数を設定する方法

Java環境変数を設定するここで、環境変数は etc/profile に設定され、つまり、すべてのユ...

Xtrabackup を使用した MySQL バックアップ プロセスの詳細な説明

目次01 背景02 はじめに03 ワークフロー04 いくつかの質問05 ファイルをバックアップする0...

Centos7.5 は mysql5.7.24 バイナリ パッケージの展開をインストールします

1. 環境整備:オペレーティング システム: CentOS Linux リリース 7.5.1804 ...

CSS3で実装されたグラデーションスライド効果

成果を達成する コードhtml <div class="css-slideshow&...

html オプション 無効 選択 選択 無効 オプションの例

コードをコピーコードは次のとおりです。 <選択> <オプション値="&q...

動的なセカンダリメニューを実現するためのCSS

シンプルなセカンダリメニューを動的に実装するマウスを第 1 レベルのラベル上に置くと、マウスが小さな...

Linux で at および cron スケジュールタスクをカスタマイズする方法

Linux システムには 2 種類のスケジュールされたタスクがあります。1 つは 1 回だけ実行され...

DockerはホストのMysql操作に接続します

今日、会社のプロジェクトでは docker を設定する必要があります。Windows に正常にインス...

crontab の実行結果を電子メールでユーザーに通知する方法

症状Centos7 ホストに crontab タスクを設定しましたが、時間が来るとメールを実行して「...

JS 手ぶれ補正機能の実装と使用シナリオ

目次1. 手ぶれ補正機能とは何ですか? 1. なぜ手ぶれ補正機能が必要なのでしょうか? 2. 手ぶれ...