중복 줄 제거

원래 순서를 유지하면서 텍스트에서 반복된 줄을 제거합니다.

입력

대소문자 구분

공백 자르기

중복 줄 제거 사용 방법

1
텍스트 붙여넣기
정리하려는 줄들을 입력란에 입력하거나 붙여넣으세요.
2
옵션 설정
Case Sensitive와 Trim Whitespace를 켜서 중복 비교 방식을 조절하세요.
3
중복 제거
Remove Duplicates를 클릭해 각 줄의 첫 등장은 유지하면서 반복되는 줄을 제거하세요.

4
결과 복사
출력의 복사 버튼으로 중복이 제거된 텍스트를 저장하세요.

순서를 잃지 않고 중복 줄 제거하기

첫 번째는 남기고 나머지는 버리기

이 도구는 각 줄이 처음 등장한 부분은 유지하면서 반복되는 줄을 제거합니다. 위에서 아래로 읽어 내려가며 이미 본 줄을 모두 기억해 두었다가, 같은 줄이 다시 나타나면 그 뒤쪽 사본을 버립니다. 살아남는 줄은 항상 원래 위치에 그대로 있으므로, 텍스트 전체의 순서가 정확히 보존됩니다.

예를 들면 이해가 쉽습니다. apple, banana, apple, cherry, banana라는 줄이 주어지면 출력은 apple, banana, cherry가 됩니다. 두 번째 apple과 두 번째 banana는 제거되지만, 첫 등장의 순서는 전혀 바뀌지 않습니다.

정렬하지 않고 중복 제거하기

많은 사람들이 중복을 제거하려고 스프레드시트나 명령줄의 정렬 기능을 사용하지만, 정렬은 부작용으로 순서를 뒤섞어 버립니다. 알파벳순 목록이라면 문제없지만, 시간순 로그나 순위 목록, 작업 단계처럼 순서 자체가 의미를 지니는 경우에는 치명적입니다. 이 도구는 결코 정렬을 하지 않기 때문에 순서를 정확히 유지합니다.

정렬된 고유 목록이 정말로 필요하다면, 나중에 출력을 정렬하면 됩니다. 두 작업을 분리하면 더 큰 통제력을 얻을 수 있습니다. 순서를 유지하려면 중복 제거를 먼저 하고, 순서가 중요하지 않다면 정렬을 먼저 하면 됩니다.

대소문자 구분, 켜거나 끄거나

기본적으로 비교는 대소문자를 구분하므로 Apple과 apple은 서로 다른 줄로 간주되어 둘 다 유지됩니다. 대소문자 구분을 끄면 도구는 둘을 같은 줄로 취급하여 첫 번째만 남깁니다. 같은 값이 대소문자가 섞인 채로 나타나는 실제 데이터에서는 이 점이 늘 중요합니다.

이메일 주소, 태그, 사용자 이름처럼 '[email protected]'과 '[email protected]'이 분명히 하나로 계산되어야 하는 항목의 중복을 제거할 때는 대소문자를 구분하지 않는 비교를 사용하세요. 코드 식별자를 구별할 때처럼 대소문자가 의미를 지니는 경우에는 대소문자 구분을 켜 두세요.

비교하기 전에 공백 다듬기

공백 자르기 옵션은 두 줄이 일치하는지 판단할 때 앞뒤의 공백과 탭을 무시합니다. 이 옵션이 없으면, 끝에 보이지 않는 공백이 붙은 줄은 그것이 없는 같은 줄과 엄밀히는 다른 것이어서 둘 다 살아남습니다. 이 옵션을 켜면 거의 같은 그 줄들이 하나의 항목으로 합쳐집니다.

이렇게 하면 중복 제거가 명백한 반복을 '놓친' 것처럼 보이는 가장 흔한 원인, 즉 보이지 않는 공백을 잡아냅니다. 여러 곳에서 붙여넣어 데이터를 모았다면 대체로 공백 자르기를 켜는 것이 올바른 선택입니다.

두 옵션을 함께 사용하기

진정한 위력은 두 토글을 함께 사용할 때 나옵니다. 대소문자 구분을 끄고 공백 자르기를 켜면, 도구는 ' Apple ', 'apple', 'APPLE'을 모두 똑같은 하나로 취급합니다. 이는 가장 너그러운 설정으로, 지저분한 입력에서 가장 깔끔한 중복 제거 목록을 만들어 내는 경향이 있습니다.

반대로 엄격한 정확 일치 중복 제거가 필요하다면, 대소문자 구분은 켜 두고 공백 자르기는 꺼 두세요. 그러면 줄이 공백까지 포함해 바이트 단위로 완전히 동일해야만 제거됩니다.

이 도구가 진가를 발휘하는 곳

대표적인 작업으로는 각 주소가 한 번만 나오도록 메일링 리스트를 정리하기, 같은 오류가 수백 번 반복되는 로그 파일을 압축하기, 여러 목록을 중복 없이 하나의 마스터로 병합하기, 가져오기 전에 내보낸 데이터를 정돈하기 등이 있습니다. 겹칠 수 있는 줄 단위 값이 있는 곳이라면 어디서든, 이 도구는 그것들을 고유한 집합으로 정리해 줍니다.

각 항목을 줄 전체 단위로 판단하기 때문에, 이 도구는 '중복'이라는 개념이 의미를 갖지 않는 줄글보다는 한 줄에 한 항목씩 담긴 짧은 값들의 목록에서 빛을 발합니다.

단어나 구가 아니라 줄 단위

비교의 단위가 줄 전체라는 점을 기억하는 것이 중요합니다. 중복되는 단어를 공유하더라도 다른 곳이 조금이라도 다른 두 줄은 줄 전체로 보면 동일하지 않으므로 둘 다 유지됩니다. 이 도구는 한 단락 안에서 반복되는 단어나 문장을 찾지 않으며, 오직 줄 전체만을 대상으로 동작합니다.

중복 항목이 아직 각자의 줄에 있지 않다면, 먼저 그것들을 나누세요. 예를 들어 줄 바꿈 추가를 쉼표 뒤에서 줄을 바꾸도록 설정하면 각 값이 별도의 줄에 놓이게 되며, 그런 다음 중복 제거를 실행하면 됩니다.

자주 묻는 질문

원래 줄 순서를 유지하나요?

네. 도구는 이후의 반복은 제거하지만 각 줄의 첫 등장을 원래 위치에 보존하므로, 텍스트의 순서가 그대로 유지됩니다.

비교가 대소문자를 구분하나요?

직접 정합니다. 기본적으로 대소문자가 다른 줄을 서로 다른 것으로 취급하지만, Case Sensitive를 끄면 Apple과 apple이 같은 줄로 계산됩니다.

Trim Whitespace 옵션은 무엇을 하나요?

줄을 비교할 때 앞뒤 공백을 무시하므로, 여분의 공백만 다른 두 줄이 중복으로 취급됩니다.

중복된 줄 중 어느 것이 유지되나요?

줄이 처음 나타난 것이 유지되고, 그 뒤의 동일한 줄은 모두 출력에서 제거됩니다.

내 텍스트가 서버로 업로드되나요?

아니요. 모든 처리가 브라우저 안에서 로컬로 이루어지므로 텍스트가 기기를 벗어나지 않으며, 가입 없이 무료로 사용할 수 있습니다.