MySQLデータベース移行により、大量のデータを迅速にエクスポートおよびインポートできます

データベースの移行は、よく遭遇する問題です。データ量が少ない場合、移行は基本的に問題になりません。実稼働環境では、次のような状況で移行作業が必要になります。

• ディスク容量が不足しています。たとえば、古いプロジェクトの場合、選択したモデルが必ずしもデータベースに適しているとは限りません。時間が経つにつれて、ハードドライブが不足する可能性が高くなります。
• ビジネスにボトルネックがある。たとえば、プロジェクト内のすべての読み取りおよび書き込み操作を 1 台のマシンで処理すると、ビジネス上のプレッシャーが増大し、耐えられない状態になります。 IO 圧力が許容範囲内であれば、読み取りと書き込みの分離ソリューションが採用されます。
• マシンがボトルネックになっています。マシンのボトルネックは主にディスク IO 容量、メモリ、CPU です。ボトルネックを最適化するだけでなく、移行も優れたソリューションです。
• プロジェクトの変革。一部のプロジェクトのデータベースは異なるコンピュータ ルームにまたがって配置されているため、異なるコンピュータ ルームにノードを追加したり、あるコンピュータ ルームから別のコンピュータ ルームにマシンを移行したりすることが可能になります。たとえば、異なる事業体で同じサーバーを共有している場合、サーバーの負荷を軽減し、メンテナンスを容易にするために移行が実行されます。

MySQL 移行には、次の 3 つの一般的な方法があります。

1. データベースを直接エクスポートし、ファイルを新しいサーバーにコピーして、新しいサーバーにインポートします。

2. サードパーティの移行ツールを使用します。

3. データ ファイルとライブラリ テーブル構造ファイルを新しいサーバーに直接コピーし、同じ構成で MySQL サービスにマウントします。

最初のソリューションの利点は、データ ファイルを再構築し、データ ファイルが占めるスペースを削減し、互換性が最も高く、エクスポートやインポートで問題が発生することはほとんどなく、要件に柔軟に対応できることです。デメリット: 従来のエクスポートとインポートには長い時間がかかります。

2 番目のソリューションの利点: 設定が完了すると、送信は自動的に完了し、無人になります。デメリット: 柔軟性が不十分、設定が複雑、送信時間が長い、異常発生後に異常箇所からの送信を継続することが困難。

3 番目のソリューションの利点: 時間が短縮され、ブレークポイントでファイルを転送でき、操作手順が少なくなります。デメリット: 新しいサーバーと古いサーバーの MySQL のバージョンと構成は同じである必要があるため、未知の問題が発生する可能性があります。

データベースの移行がビジネスのボトルネックやプロジェクトの変革によるもので、データ テーブル構造 (パーティションやテーブルなど) の変更を必要とする場合は、最初の方法のみを使用できます。

MySQLのSELECT INTO OUTFILEとLOAD DATA INFILEを使用して、データを素早くエクスポートおよびインポートします。

LOAD DATA INFILEステートメントは、テキスト ファイルからデータを非常に高速にテーブルに読み取ります。 MySQL の公式ドキュメントには、この方法は一度に 1 行のデータを挿入するよりも 20 倍高速であるとも記載されています。

SELECT ... INTO OUTFILEとLOAD DATA INFILEを併用してデータベースからファイルにデータを書き込み、そのファイルをデータベースに読み込む場合、2 つのコマンドのフィールドと行の処理オプションが一致している必要があります。そうしないと、LOAD DATA INFILE はファイルの内容を正しく解釈できなくなります。

以下は、合計データ量が 12G の MySQL を Windows から Linux に移行するプロジェクトの例です。

Windows プラットフォームでデータをエクスポートする:

Tables.txt は、データ テーブルの名前を格納するファイルです。ファイルからデータ テーブルの名前を読み取ることで、すべてのテーブルがループでエクスポートされます。プロセスにサブ テーブルが含まれる場合、エクスポートされた SQL ステートメントとバッチ コードはサブ テーブルのルールに従って変更できるため、非常に柔軟です。

@echo off & setlocal enabledelayedexpansion
/f %%i in (tables.txt) do (set table=%%i
 echo "テーブルをダンプ -- !テーブル! --"
 mysql -uroot -p12345678 codetc_old -e "SELECT * INTO OUTFILE 'F:/MySQL/Uploads/!table!.txt' フィールドは ',' FROM !table" によって終了されます。
）
一時停止

Linux プラットフォームでのデータのインポート:

#!/bin/bash
行を読みながら
する
    mysql -uroot -p12345678 codetc_new -e "ファイル '/var/lib/mysql-files/$line.txt' のデータをテーブル $line にロードします。フィールドは ',' で終了します"
完了 < tables.txt

データをインポートする前に、新しいマシンにテーブル構造を作成する必要があります。12G のデータのエクスポートには約 3 分、インポートには約 4 分かかります (実行時間はマシンの構成によって異なり、参考値ではありません)

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。