MySQLからHiveにさらにデータをインポートするためのソリューション

元の派生コマンド:

bin/sqoop インポート -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info

原因分析: MySQL フィールドに '\n' などの区切り文字が含まれている可能性があります。Hive にインポートすると、デフォルトで 'n' が改行文字として使用され、Hive にレコードが多くなります。

解決：

データをインポートするときに、--hive-drop-import-delims オプションを追加して、フィールド内の \n、\r、および \01 を削除します。

最終導関数コマンド:

bin/sqoop インポート -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --hive-drop-import-delims --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info

公式ドキュメントを参照してください: https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

補足: Sqoop から Hive に MySQL データをインポートする際に遭遇する落とし穴

1.sqoopをHDFSにインポートする

1.1 sqoopジョブを実行すると、最後の値が自動的に更新されます

# sqoop 増分インポート スクリプト bin/sqoop ジョブ --create sqoop_hdfs_test02 --import \
--connect jdbc:mysql://localhost:3306/pactera_test \
--ユーザー名 ルート \
--パスワード 123456 \
--テーブル学生\
--target-dir /user/sqoop/test002/ \
--fields-terminated-by "\t" \
--check-column 最終更新日 \
--増分最終変更日 \
--last-value "2018-12-12 00:03:00" \
--追加

注: --append パラメータは必須です。指定しないと、ジョブを 2 回目に実行するときに次のようにエラーが報告されます。

この時点で、sqoop ジョブが構築されました。

2.Hiveはテーブルを作成し、sqoopによってインポートされたデータを読み取ります。

存在しない場合は外部テーブルを作成します student_hive (SId int、Sname string、Sage string、Ssex string、last_modified Timestamp) 
行形式の区切りフィールドは '\t' で終了し、場所は 'hdfs://node01:8020/user/sqoop/test002/' です。

注意: hive の時間形式はタイムスタンプです。日付に設定すると、DB データを正常に読み込むことができません。

最初のフルロードが完了し、ルート全体が完全に正常になり、Hive テーブルでデータをクエリできるようになりました。

-----------------------キー分割線-----------------------

* sqoop lastmodified 形式での増分ロードでは、最終値がジョブ実行のシステム時間として保存されます。テストデータベースのチェック列が現在のシステム時間 (つまり、前のジョブの最終値) より小さい場合、データはロードされません。