Xóa Dòng Trùng Lặp
Xóa các dòng lặp lại khỏi văn bản của bạn trong khi vẫn giữ nguyên thứ tự ban đầu.
Cách sử dụng Xóa Dòng Trùng Lặp
- 1
Dán văn bản của bạn
Nhập hoặc dán các dòng bạn muốn làm sạch vào ô nhập liệu.
- 2
Thiết lập tùy chọn
Bật tắt Case Sensitive và Trim Whitespace để kiểm soát cách các dòng được so sánh để tìm trùng lặp.
- 3
Xóa trùng lặp
Nhấn Remove Duplicates để loại bỏ các dòng lặp lại trong khi giữ lại lần xuất hiện đầu tiên của mỗi dòng.
- 4
Sao chép kết quả
Dùng nút sao chép trên ô kết quả để lưu văn bản đã loại trùng của bạn.
Loại bỏ dòng trùng lặp mà không làm mất thứ tự
Giữ dòng đầu tiên, bỏ phần còn lại
Công cụ này xóa các dòng lặp lại nhưng giữ lại lần đầu tiên mỗi dòng xuất hiện. Khi đọc từ trên xuống dưới, nó ghi nhớ mọi dòng đã gặp; khi một dòng xuất hiện lần nữa, bản sao về sau đó sẽ bị bỏ đi. Dòng được giữ lại luôn nằm ở vị trí ban đầu của nó, nhờ vậy trình tự tổng thể của văn bản được giữ nguyên chính xác.
Một ví dụ sẽ làm rõ điều này. Với các dòng apple, banana, apple, cherry, banana, kết quả sẽ là apple, banana, cherry. apple thứ hai và banana thứ hai bị xóa, nhưng thứ tự của những lần xuất hiện đầu tiên vẫn không thay đổi.
Loại bỏ trùng lặp mà không sắp xếp
Nhiều người tìm đến bảng tính hoặc lệnh sort trên dòng lệnh để xóa trùng lặp, nhưng việc sắp xếp lại làm xáo trộn thứ tự như một tác dụng phụ. Điều đó không sao với một danh sách đã xếp theo bảng chữ cái, nhưng lại là thảm họa với bất cứ thứ gì mà trình tự mang ý nghĩa, chẳng hạn như một tệp nhật ký theo trình tự thời gian, một danh sách được xếp hạng, hay các bước trong một quy trình. Công cụ này giữ nguyên thứ tự chính bởi vì nó không bao giờ sắp xếp.
Nếu bạn thực sự muốn một danh sách vừa duy nhất vừa được sắp xếp, hãy sắp xếp kết quả sau đó. Việc tách rời hai thao tác này cho bạn quyền kiểm soát: loại bỏ trùng lặp trước để giữ thứ tự, hoặc sắp xếp trước nếu thứ tự không quan trọng với bạn.
Phân biệt hoa thường, bật hay tắt
Theo mặc định, việc so sánh có phân biệt chữ hoa/thường, nên Apple và apple được coi là hai dòng khác nhau và cả hai đều được giữ lại. Tắt Case Sensitive đi thì công cụ sẽ coi chúng là cùng một dòng và chỉ giữ lại dòng đầu tiên. Điều này thường xuyên có ý nghĩa với dữ liệu thực tế, nơi cùng một giá trị xuất hiện với cách viết hoa lẫn lộn.
Hãy dùng cách so khớp không phân biệt hoa thường khi bạn loại bỏ trùng lặp với những thứ như địa chỉ email, thẻ (tag) hay tên người dùng, nơi '[email protected]' và '[email protected]' rõ ràng nên được tính là một. Hãy giữ phân biệt hoa thường khi cách viết hoa mang ý nghĩa, chẳng hạn như khi cần phân biệt các định danh trong mã nguồn.
Cắt bỏ khoảng trắng trước khi so sánh
Tùy chọn Trim Whitespace bỏ qua các khoảng trắng và tab ở đầu và cuối khi quyết định xem hai dòng có khớp nhau hay không. Nếu không có nó, một dòng kết thúc bằng một khoảng trắng cuối vô hình về mặt kỹ thuật sẽ khác với chính dòng đó nhưng không có khoảng trắng, và cả hai đều được giữ lại. Khi bật nó lên, những dòng gần như giống hệt đó sẽ gộp lại thành một mục duy nhất.
Điều này xử lý lý do phổ biến nhất khiến việc xóa trùng lặp có vẻ 'bỏ sót' những dòng lặp rõ ràng: khoảng trắng vô hình. Bật tính năng cắt khoảng trắng thường là lựa chọn đúng khi dữ liệu của bạn được ghép lại từ nhiều nguồn dán vào.
Kết hợp hai tùy chọn
Sức mạnh thực sự đến từ việc dùng cả hai công tắc cùng lúc. Hãy tắt phân biệt hoa thường và bật cắt khoảng trắng, công cụ sẽ coi ' Apple ', 'apple' và 'APPLE' là một và như nhau. Đó là thiết lập dễ dãi nhất và thường cho ra danh sách đã loại trùng sạch sẽ nhất từ dữ liệu đầu vào lộn xộn.
Ngược lại, nếu bạn cần loại trùng nghiêm ngặt, khớp chính xác tuyệt đối, hãy để phân biệt hoa thường bật và cắt khoảng trắng tắt. Dòng phải giống hệt từng byte một, kể cả mọi khoảng trắng, thì mới bị xóa.
Khi công cụ phát huy giá trị
Những công việc điển hình bao gồm làm sạch một danh sách gửi thư sao cho mỗi địa chỉ chỉ xuất hiện một lần, rút gọn các tệp nhật ký nơi cùng một lỗi lặp lại hàng trăm lần, gộp nhiều danh sách thành một danh sách tổng mà không có trùng lặp, và dọn dẹp dữ liệu đã xuất trước khi nhập vào. Bất cứ nơi nào bạn có các giá trị được phân tách theo dòng mà có thể trùng nhau, công cụ này sẽ gộp chúng lại thành một tập hợp duy nhất.
Vì mỗi mục được xét theo cả dòng trọn vẹn, công cụ tỏa sáng với những danh sách gồm các giá trị ngắn, mỗi mục một dòng, chứ không phải với văn xuôi liền mạch nơi khái niệm 'trùng lặp' không có nhiều ý nghĩa.
Theo dòng, không phải theo từ hay cụm từ
Cần nhớ rằng đơn vị so sánh là toàn bộ dòng. Hai dòng có chung một từ trùng nhau nhưng khác nhau ở bất kỳ chỗ nào khác thì cả hai đều được giữ lại, bởi vì xét theo cả dòng thì chúng không giống hệt nhau. Công cụ này không tìm các từ hay câu lặp lại bên trong một đoạn văn; nó chỉ làm việc đúng trên các dòng đầy đủ.
Nếu các mục trùng lặp của bạn chưa nằm trên những dòng riêng, hãy tách chúng ra trước, ví dụ dùng Add Line Breaks đặt để ngắt sau dấu phẩy, sao cho mỗi giá trị rơi xuống một dòng riêng, rồi sau đó mới chạy loại trùng.
Câu hỏi thường gặp
Công cụ có giữ thứ tự dòng ban đầu không?
Việc so sánh có phân biệt chữ hoa thường không?
Tùy chọn Trim Whitespace có tác dụng gì?
Bản nào của một dòng trùng lặp được giữ lại?
Văn bản của tôi có được tải lên máy chủ không?
Công cụ liên quan
Tiếp tục với những công cụ hữu ích này