MySQLで重複データを削除する詳細な例

MySQLで重複データを削除する詳細な例

重複レコードには 2 つの意味があります。1 つは完全に重複したレコード、つまりすべてのフィールドが繰り返されているレコードです。もう 1 つは一部のフィールドが繰り返されているレコードです。最初のタイプの重複は比較的簡単に解決できます。重複を削除するには、クエリ ステートメントで distinctive キーワードを使用するだけです。ほぼすべてのデータベース システムが distinctive 操作をサポートしています。この重複の主な原因はテーブルの設計が不適切であることであり、テーブルに主キーまたは一意のインデックス列を追加することでこれを回避できます。

t から distinct * を選択します。

2 番目のタイプの重複問題の場合、通常は重複レコードのいずれかをクエリする必要があります。テーブル t に id、name、address の 3 つのフィールドがあるとします。id は主キーです。繰り返されるフィールドは name と address です。これら 2 つのフィールドに対して一意の結果セットを取得する必要があります。

-- Oracle、MySQL、相関サブクエリの使用

t t1から*を選択

 ここで、t1.id =

 (min(t2.id) を選択)

  t t2から

  ここで、t1.name = t2.name、t1.address = t2.address です。

-- Hive は FROM 句内のサブクエリのみをサポートします。サブクエリには名前が必要であり、列は一意である必要があります。

t1を選択します。*

 t t1から、

   (名前、アドレス、最小(ID) ID を t グループから名前、アドレスで選択) t2

 ここで、t1.id = t2.id;

 

-- Hiveのrow_number()分析関数を使用することもできます

t.id、t.name、t.address を選択

 （ID、名前、住所を選択）

row_number() を (名前で分配し、アドレスを ID でソート) として rn に適用 

     tから) t 

 ここでt.rn=1です。

読んでいただきありがとうございます。お役に立てれば幸いです。このサイトをサポートしていただきありがとうございます。