CSVの重複削除は、キーと残す行を決めてから

同じIDが複数行あっても、内容が同じとは限りません。重複を見つけることと、削除してよいと判断することを分けて確認します。

全列一致と、キー一致の違い

ID,名前,所属
00123,佐藤,営業
00123,佐藤,経理
00124,鈴木,営業

この例の最初の２レコードはIDが同じですが、所属が異なります。全列一致で比較すると重複ではなく、ID列をキーにすると重複になります。部署異動の履歴など、残すべき複数行の可能性もあります。

照合ノートで条件を指定する

キー列は左から１、２、３と数えます。「1」はID列だけ、「1,3」はIDと所属の組み合わせです。空欄なら全列を比較します。１行目が列名なら「先頭レコードは見出し」をオンにし、見出しを重複判定から除きます。

比較条件は判定用のキーだけに適用されます。前後空白を無視して比較しても、保存するデータの原表記は変更しません。キーの一部でも空欄ならそのレコードを判定対象から外し、保持します。これは空欄を同じ人物や商品とみなして削除するのを避けるためです。

最初と最後は、時系列ではない

「最初の行を残す」は現在の行順で最初、「最後の行を残す」は最後です。更新日時を自動的に比較しているわけではありません。最後を最新とみなすには、先に適切な日時順に並んでいることを確認します。

保存前の確認

1. 重複グループの元レコード番号を見て、原本の内容を確認する。
2. 入力件数から削除候補を引いた件数が保持件数と一致するか見る。
3. 空キーのレコードが保持されていることを確認する。
4. 別名で保存し、元データと比較する。

Excelの「重複の削除」も、確認せずに実行するとデータを失う可能性があります。元の範囲を別の場所へコピーしてから行う方法がMicrosoftで案内されています。