SQL重複排除方法の概要

SQL を使用してデータを抽出する場合、テーブル内で重複した値に遭遇することがよくあります。たとえば、UV (ユニークビジター数) を取得する場合は、重複を排除する必要があります。

MySQL では通常、 distinct句またはgroup by句が使用されますが、ウィンドウ関数をサポートする SQL ( Hive SQL 、 Oracleなど) では、 ROW_NUMBER ウィンドウ関数を使用して重複排除を行うこともできます。

たとえば、次のようなテーブルタスクがあります。

述べる：

task_id : タスク ID;
order_id : 注文ID;
start_time : 開始時刻

注: 1つのタスクは複数の注文に対応します

タスクの合計数を見つける必要があります。task_id は一意ではないため、重複を削除する必要があります。

明確な

-- task_id のすべての一意の値を一覧表示します (重複排除後)

異なるtask_idを選択する
タスクから;

--タスクの合計数 select count(distinct task_id) task_num
タスクから;

distinctは通常、効率が低くなります。重複排除後の特定の値を表示するのには適しておらず、通常はcountと組み合わせてエントリの数を計算するために使用されます。
distinct使用する場合は、 selectの後に配置して、後続のすべてのフィールドの値を重複排除します。たとえば、 distinct後に 2 つのフィールドがある場合、2 つのレコード 1,1 と 1,2 は重複値ではありません。

グループ化

-- task_id の一意の値をすべて一覧表示します (重複排除後、null も値になります)
-- タスクIDを選択
-- タスクから
-- task_id でグループ化します。

--タスクの合計数 select count(task_id) task_num
（タスクIDを選択）
   タスクから
   タスクIDでグループ化) tmp;

行番号

row_number は次の構文を持つウィンドウ関数です。

row_number() over (partition by <用于分組的字段名> order by <用于組內排序的字段名>)
部分partition by省略可能です。

 -- ウィンドウ関数をサポートするSQLでは、select count(case when rn=1 then task_id else null end) task_numを使用します。
（タスクIDを選択）
    、row_number() オーバー (task_id によるパーティション、start_time による順序) rn
  タスクから) tmp;

さらに、テーブルテストを使用して、重複排除における distinctive と group by の使用について説明します。

 -- 下のセミコロンは行を区切るために使用されます。select distinctive user_id
Test から; -- 1; 2 を返します

異なる user_id、user_type を選択
Test から; -- 1, 1; 1, 2; 2, 1 を返します

ユーザーIDを選択
テストから
group by user_id; -- 1; 2 を返します

ユーザーID、ユーザータイプを選択
テストから
group by user_id, user_type; -- 1, 1; 1, 2; 2, 1 を返します

ユーザーID、ユーザータイプを選択
テストから
user_id でグループ化します。 
  -- Hive、Oracle などではエラーが報告されますが、MySQL ではこのように記述できます。
-- 1, 1 または 1, 2; 2, 1 (合計 2 行) を返します。 group by の後のフィールドのみが重複排除されます。つまり、最後に返されるレコード数は、前の SQL ステートメントのレコード数、つまり 2 レコードになります。group by の後に配置されず、select に配置されているフィールドの場合、1 つのレコードのみが返されます (通常は最初のレコードですが、パターンはありません)。

SQL 重複排除方法の概要についてはこれで終わりです。より関連性の高い SQL 重複排除方法については、123WORDPRESS.COM の過去の記事を検索するか、以下の関連記事を引き続き参照してください。今後とも 123WORDPRESS.COM をよろしくお願いいたします。

以下もご興味があるかもしれません: