什麼是重複行移除工具?

重複行移除工具可清除文字中的重複行。貼上清單、日誌檔案或資料集,即可獲得僅含唯一行的結果,可保持原始順序,或依 A–Z、Z–A、長度排序,也可隨機打亂。

工具允許在比較前先去掉首尾空白、忽略大小寫,這樣「Apple」「apple 」「 apple」開啟對應選項後會合併為同一行。Before 面板會高亮所有重複行並顯示出現次數,方便核對被合併的內容。把「保留」設為「刪除全部重複」,就只會留下僅出現一次的行。沒有行數上限,可以貼上文字或直接從本機載入 .txt、.csv 檔案,資料不會上傳。

使用方法

  1. 將包含重複行的文字貼上或輸入到輸入區域。
  2. 設定選項:區分或不區分大小寫、修剪空白、保留首次還是最後一次出現,並為輸出選擇排序方式。
  3. 整理後的文字會隨輸入即時更新——不用點擊任何按鈕。並排查看 Before、After 和已移除三個面板,參考頻率表,然後複製或下載結果。

何時使用

  • 清理 CSV 中同一個客戶被重複輸入的列。
  • 把上萬行日誌壓縮成唯一的錯誤訊息再分類處理。
  • 合併多場活動的郵件名單,避免同一個收件人收到重複通知。

結果

一位開發者貼上了 500 條包含重複錯誤訊息的日誌記錄,精簡後僅剩 47 條唯一行,真正的問題一目了然。

常見問題

輸出會保留我貼上時的順序嗎?
將「輸出排序」設為「原始順序」,每行首次出現的位置會原樣保留。改成 A → Z、Z → A、依長度或隨機打亂則會重新排序唯一行——依字母排序在送進 diff 或提交前很方便。想保留最後一次出現?開啟「保留最後一個」即可。
大小寫敏感選項實際上怎麼判定?
開啟時,「Apple」與「apple」算兩條不同的行。關閉後兩者視為同一行,工具會保留先出現那條的大小寫,輸出維持原本的書寫風格。
「修剪空白」會做什麼?
比較前會去掉每行頭尾的空格與 Tab。「 hello 」與「hello」會被視為相同。但行內的空白不會被動,所以「hello world」(兩個空格)依然與「hello world」(一個空格)不同。
能反過來只保留出現多次的行嗎?
不作為主輸出,但右側的「已移除」面板會列出每一行被刪除的內容及其原始行號,你可以直接查看或複製這些重複行,不用在 Before 面板裡逐個找。若想反過來——只留出現一次的行——把「保留」設為「刪除全部重複」即可。
貼入的內容有長度限制嗎?
沒有硬性上限。曾在百萬行檔案上測試,速度視裝置而定。文字完全在本機處理,不會離開你的電腦,敏感清單也可以安心放上來。

相關工具