重複行削除ツールとは？
重複行削除ツールは、テキストから重複する行を取り除きます。リスト、ログファイル、データセットを貼り付けるだけで、ユニークな行だけが残ります。元の順序のまま、または A–Z、Z–A、長さ順、ランダムに並べ替えることもできます。
オプションで前後の空白を取り除いたり大文字小文字を無視したりしたあとに比較します。両方の設定をオンにすれば 'Apple' と 'apple ' と ' apple' は同じ行とみなされます。Before パネルでは重複している行が回数つきでハイライトされるので、どの行がまとめられたか確認できます。「残す」を「重複をすべて削除」にすると、1 回だけ出てくる行だけが残ります。行数制限はなく、テキストを貼り付けても、お使いの端末から .txt や .csv ファイルを直接読み込んでも構いません。どこにもアップロードされません。
使い方
- 重複行を含むテキストを入力エリアに貼り付けるか入力します。
- オプションを設定します：大文字小文字を区別するか、空白をトリムするか、最初と最後のどちらのコピーを残すか、そして出力の並べ順を選びます。
- クリーンなテキストは入力に合わせてリアルタイムに更新されます—ボタンを押す必要はありません。Before、After、削除された行の 3 つのパネルを並べて確認し、頻度表をチェックしてから、結果をコピーまたはダウンロードします。
使用するタイミング
- CSV の中で同じ顧客が微妙に違う行で何度も登場するときの整理。
- 1 万行のログを、ユニークなエラーメッセージだけに絞ってから調査するとき。
- 複数のイベントから集めたメールリストを統合し、同じ人に重複送信しないようにするとき。
結果
開発者が繰り返しエラーメッセージを含む500件のログエントリを貼り付け、47行のユニークな行に絞り込んだことで、実際の問題がすぐに見えるようになりました。
よくある質問
- 貼り付けた行の並び順は保たれますか?
- 「出力の並べ替え」を「元の順序」にすると、各行の最初のコピーが貼り付けた位置のまま残ります。A → Z、Z → A、長さ順、ランダムに切り替えれば、ユニークな行を並べ替えられます。アルファベット順は diff やコミット前に便利です。最後のコピーを残したい場合は「最後の行を残す」をオンにしてください。
- 大文字小文字の区別はどのように動きますか?
- 区別をオンにすると、'Apple' と 'apple' は別の行として扱われます。オフにすれば同じ行として扱われ、先に登場した側の表記が残るので、元のスタイルを崩しません。
- 「空白を切り詰める」は何をしますか?
- 各行の先頭と末尾にあるスペースやタブを比較前に取り除きます。「 hello 」と「hello」は同じになります。行の内側の空白は手を加えないため、「hello world」(空白 2 つ)と「hello world」(空白 1 つ)は別行のままです。
- 逆に重複している行だけを残すことはできますか?
- メインの出力としてはできませんが、右側の「削除された行」パネルに、除外された各行が元の行番号とともに一覧表示されます。Before パネルを探さなくても、重複行をそのまま読んだりコピーしたりできます。逆に、1 回だけ出てくる行だけを残したいときは「残す」を「重複をすべて削除」に切り替えてください。
- 貼り付けられるテキストに上限はありますか?
- 明確な上限はありません。100 万行を超えるファイルでも動作確認済みで、速度は端末性能によります。テキストは端末の外に出ないので、機密のリストもそのまま処理できます。