Как найти в папке одинаковые файлы: Программы для поиска дубликатов файлов (или как найти одинаковые картинки, фото, документы, аудио и видео в разных папках)

Содержание

Практическое руководство. Запрос повторяющихся файлов в дереве папок (LINQ) — Visual Basic

  • Статья
  • Чтение занимает 2 мин
  • Участники: 11

Были ли сведения на этой странице полезными?

Да Нет

Хотите оставить дополнительный отзыв?

Отзывы будут отправляться в корпорацию Майкрософт.

Нажав кнопку «Отправить», вы разрешаете использовать свой отзыв для улучшения продуктов и служб Майкрософт. Политика конфиденциальности.

Отправить

В этой статье

Иногда файлы с одинаковыми именами могут находиться в нескольких папках. Например, в папке установки Visual Studio несколько папок содержат файл readme.htm. В этом примере показано, как запросить такие повторяющиеся имена файлов в указанной корневой папке. Во втором примере показано, как запросить файлы, размер и время создания которых также совпадают.

Пример

Module QueryDuplicateFileNames  
  
    Public Sub Main()  
  
        Dim path As String = "C:\Program Files\Microsoft Visual Studio 9.0\Common7"  
        QueryDuplicates1(path)  
        ' Uncomment to run this query instead  
        ' QueryDuplicates2(path)  
  
    End Sub  
    Sub QueryDuplicates1(ByVal root As String)  
        Dim dir As New System. IO.DirectoryInfo(root)  
        Dim duplicates = From aFile In dir.GetFiles("*.*", System.IO.SearchOption.AllDirectories) _  
                                 Order By aFile.Name _  
                                 Group aFile By aFile.Name Into newGroup = Group _  
                                 Where newGroup.Count() >= 2 _  
                                 Select newGroup  
  
        ' Page the display so that the results can be read.  
        Dim trimLength = root.Length  
        PageOutput(duplicates, trimLength)  
  
    End Sub  
    Sub QueryDuplicates2(ByVal root As String)  
  
        ' This time a composite key is used. This sub finds all files  
        ' that have been copied into multiple subfolders.  
        Dim dir As New System.IO.DirectoryInfo(root)  
  
        Dim duplicates = From aFile In Dir.GetFiles("*.*", System.IO.SearchOption.AllDirectories) _  
                                 Order By aFile.Name _  
                                 Group aFile By aFile.
Name, aFile.CreationTime, aFile.Length Into newGroup = Group _ Where newGroup.Count() >= 2 _ Select newGroup ' Page the display so that the results can be read. Dim trimLength = root.Length PageOutput(duplicates, trimLength) End Sub ' Pages console display for large query results. No more than one group per page. ' This sub specifically works with group queries of FileInfo objects ' but can be modified for any type. Sub PageOutput(ByVal groupQuery, ByVal charsToSkip) ' "3" = 1 line for extension key + 1 for "Press any key" + 1 for input cursor. Dim numLines As Integer = Console.WindowHeight - 3 ' Flag to indicate whether there are more results to display Dim goAgain As Boolean = True For Each fg As IEnumerable(Of System.IO.FileInfo) In groupQuery ' Start a new extension at the top of a page.
Dim currentLine As Integer = 0 Do While (currentLine < fg.Count()) Console.Clear() ' Get the next page of results ' No more than one filename per page Dim resultPage = From file In fg _ Skip currentLine Take numLines ' Execute the query. Trim the paths in the output. For Each line In resultPage Console.WriteLine(vbTab & line.FullName.Substring(charsToSkip)) Next ' Advance the current position currentLine = numLines + currentLine ' Give the user a chance to break out of the loop Console.WriteLine("Press any key for next page or the 'End' key to exit.") Dim key As ConsoleKey = Console.ReadKey().Key If key = ConsoleKey.End Then goAgain = False Exit For End If Loop Next End Sub End Module

В первом запросе используется простой ключ для определения соответствия; при этом выполняется поиск файлов, которые имеют то же имя, однако их содержимое может быть другим. Второй запрос использует составной ключ для сравнения трех свойств объекта FileInfo. Этот запрос дает гораздо больше шансов найти файлы, имеющие одинаковые имена и схожее или идентичное содержимое.

Компиляция кода

создайте проект консольного приложения Visual Basic с Imports инструкцией для пространства имен System. Linq.

См. также

Повторяющиеся значения в Excel — найти, выделить или удалить дубликаты в Excel. Как найти одинаковые значения в столбце Excel

Программа для поиска дубликатов файлов чаще всего необходима пользователям, хранящим на диске большое количество музыки, фото и документов.

И, хотя удалять такие лишние копии можно вручную, специализированные приложения способны сэкономить немало времени.

Особенно, если файлы расположены в разных папках или в .

Искать такие дубликаты можно с помощью универсального программного обеспечения или же рассчитанного на конкретный тип данных.

В первом случае повышается скорость поиска, во втором – увеличивается вероятность обнаружить все копии.

Содержание:

Универсальные приложения

Универсальные приложения для поиска копий, в основном, работают по принципу сравнивания размеров файлов.

И, так как вероятность совпадения количества байтов у разных фото практически равна нулю, одинаковые значения считаются признаком дубликата.

Иногда алгоритм предусматривает проверку имён – тоже важный параметр для поиска, тем более что одинаковые данные в большинстве случаев совпадают и по названию.

Преимуществами программ являются возможность найти с их помощью файлы любого типа и сравнительно высокая скорость работы. Недостаток – меньшая точность обнаружения.

Так, например, ни одна из таких утилит не посчитает дубликатом одну и ту же , сохранённую с различным разрешением.

1. DupKiller

А среди её преимуществ можно отметить:

  • простоту настройки;
  • установку нескольких критериев поиска;
  • возможность игнорировать некоторые файлы (с определённым размером или датой создания, а также системные или скрытые).

Важно: При обнаружении файлов с нулевым размером их не обязательно удалять. Иногда это может быть информация, созданная в другой операционной системе (например, Linux).

Рис. 4. Программа для оптимизации системы CCleaner может искать и дубликаты файлов.

5. AllDup

Среди преимуществ ещё одной программы, AllDup , можно отметить поддержку любой современной операционной системы Windows – от XP до 10-й.

При этом поиск ведётся и внутри скрытых папок, и даже в архивах.

Хотя сравнение информации по умолчанию происходит по названиям файлов, поэтому настройки желательно сразу же изменить.

Зато в процессе поиска каждый найдённый дубликат можно просмотреть, не закрывая приложение.

А при обнаружении копии её можно не только удалить, но и переименовать или перенести в другое место.

К дополнительным преимуществам приложения относится и полностью бесплатная работа в течение любого периода времени.

Кроме того, производитель выпускает ещё и портативную версию для того чтобы искать копии на тех компьютерах, на которых запрещена установка постороннего ПО (например, на рабочем ПК).

Рис. 5. Поиск файлов с помощью portable-версии AllDup.

6. DupeGuru

Ещё одним полезным приложением, проводящим поиск дубликатов с любым расширением, является DupeGuru .

Её единственный недостаток – отсутствие новых версий для Windows (при этом обновления для и MacOS появляются регулярно).

Впрочем, даже сравнительно устаревшая утилита для неплохо справляется со своими задачами и при работе в более новых ОС.

С её помощью легко обнаруживаются даже системные файлы, а меню интуитивно понятное и русскоязычное.

Рис. 6. Обнаружение копий с помощью утилиты DupeGuru.

Примечательно, что, кроме обычного универсального варианта, компания-производитель создала утилиту для поиска файлов определённого типа.

Существует отдельная версия для изображений и ещё одна для музыки.

И, при необходимости очистить свой компьютер не только от документов и системных файлов (которые, кстати, требуется удалять очень осторожно – иногда стоит даже оставить «лишнюю» копию, чем нарушить работоспособность системы), стоит скачать и эти приложения.

7. Duplicate Cleaner Free

Утилита для обнаружения копий любого файла Duplicate Cleaner Free отличается следующими особенностями:

  • фильтрации данных по расширению;
  • русским языком интерфейса;
  • возможность бесплатного использования;
  • высокой скоростью работы.

К её недостаткам относят небольшие ограничения при поиске изображений (для этого рекомендуется приобрести платную версию) и не совсем точный перевод отдельных элементов меню .

Тем не менее, благодаря своей эффективности и удобству использования, приложение пользуется определённой популярностью.

Рис. 7. Поиск дубликатов с помощью утилиты Duplicate Cleaner Free.

Поиск дубликатов аудио файлов

Если результаты поиска дубликатов не устраивают пользователя, можно рассмотреть вариант, предназначенный для определённых файлов. Например, для , скопившейся на диске.

Такая необходимость часто возникает при загрузке сразу нескольких альбомов и сборников одного и того же исполнителя – нередко в разных папках оказываются одинаковые треки.

Они могут иметь похожие размеры и отличаться, по большому счёту, только названиями. Специально для этого существуют утилиты для поиска похожих мелодий.

8. Music Duplicate Remover

Среди особенностей программы Music Duplicate Remover – сравнительно быстрый поиск и неплохая эффективность.

Фактически, это приложение как бы «прослушивает» композицию и проводит её сравнение с другими аудио файлами.

При этом, естественно, время её работы больше, чем у универсальных утилит.

Однако количество проверяемых программой данных, как правило, в десятки раз меньше, поэтому средняя продолжительность проверки редко превышает пару часов.

Рис. 8. Обнаружение копий музыки и аудио файлов по альбомам.

9. Audio Comparer

При этом анализ фото тоже длится дольше по сравнению с поиском файлов любого расширения, но результат оправдывает себя.

Изображения определяются даже в том случае, когда на диске находятся несколько дубликатов одной картинки, но с разным разрешением и, соответственно, размером.

Кроме того, для повышения эффективности проверяются файлы с любыми графическими расширениями – от до.png.

Рис. 11. Поиск картинок с помощью ещё одной версии DupeGuru.

12. ImageDupeless

При этом она распространяется бесплатно и имеет русский интерфейс. А производитель периодически выпускает к ней обновления, повышая эффективность поиска изображений.

Рис. 12. Стильный интерфейс приложения ImageDupeless.

13. Image Comparer

Преимуществами приложения Image Comparer , кроме простого интерфейса, можно назвать наличие пошагового мастера, позволяющего научиться быстрому и результативному поиску изображений.

Эта особенность отличает утилиту от большинства остальных, для работы с которыми придётся читать файлы справки, не всегда правильно переведённые (а иногда и вообще предоставляемые только на английском).

Фактически, приложение является ещё одной версией Audio Comparer, и тоже распространяется по «условно бесплатной» лицензии – то есть за определённые функции пользователю придётся заплатить.

Рис. 13. Приложение Image Comparer – неплохой способ найти дубликаты картинок.

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент

Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

  • Синхронизировать каталоги;
  • Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

  • Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
  • Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»


Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

  • «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
  • «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
  • «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .


Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»


В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

Удаление одинаковых файлов (копий одного и того же файла) или папок может освободить свободное дисковое пространство и уменьшает ненужный мусор в системе, что благоприятно отражается на быстродействии системы. Иногда дубликаты создаются самим пользователем (например, одни и те же фотографии копируются в разные папки, находящиеся внутри одного физического диска), в некоторых случаях они остаются после использования различного программного обеспечения. Функцию поиска ненужных копий выполняют множество приложений, большинство которых распространяются по статусу free (бесплатно ). Опишем работу нескольких таких приложений.

Удаление дубликатов с помощью Total Commander

Используем Dupeguru

Данное ПО разработано исключительно для сканирования системы на наличие копий и не выполняет иные функции.


AllDup для определения дубликатов


Дизайн программы выполнен в красивом и удобном для использования стиле. Сразу же после запуска появляется окно с кратким руководством по поиску дубликатов. Можно искать по всему физическому диску целиком, отметив галочкой нужные локальные диски.

Или добавить отдельные папки, нажав на стрелочку возле кнопки «Исходные папки » и выбрав в выпадающем списке «Добавить папки ».

Давайте попробуем найти дубликаты в папке Games в локальном диске «С:\»

Активируем вкладку «Метод поиска », настраиваем критерии. По умолчанию активен параметр поиска дубликатов только по схожим именам , при необходимости отмечаем галочкой нужные настройки . Желательно включить поиск и по расширениям , иначе ПО может показать файлы со схожими именами, даже если они не являются копиями друг друга.

После, нажимаем кнопку начало поиска .

После завершения откроется новое окно с результатами , в котором отмечаем галочками ненужные файлы , щелкаем правой кнопкой мышки по файлу , который предполагается очистить от дубликатов (открываем контекстное меню) и выбираем «Удалить все остальные файлы из этой группы навсегда », чтобы удалить копии. При этом сам оригинал останется не тронутым, удалятся только дубликаты.

Как использовать DuplicateCleaner Free

Очень продуманное приложение для поиска и удаления дубликатов на компьютере. При этом можно выполнять поиск всех файлов в обычном режиме, искать копии изображений или музыки, или одинаковых папок.

Запускаем приложение . Первым делом настраиваем критерии поиска, для этого в разделе «Дополнительные опции » отмечаем настройку «С тем же именем » и переходим во вкладку «Сканировать путь »

Выбираем папку , нажимаем кнопку добавления выбранной папки в включенные пути и жмем кнопку «Сканировать ».

Дожидаемся окончания сканирования, в котором будет отображена статистика обнаруженных дубликатов в отдельном окне. Закрываем окно.

Во вкладке «Дубликаты Файлов » списком отображаются одинаковые файлы, отмечаем ненужные и нажимаем меню «Вид », выбираем пункт «Удаления файлов »

В открывшемся окне нажимаем «Удалить файл(ы) ». При этом желательно включить удаление в Корзину , чтобы можно было восстановить нужные файлы.

Очень удобной функцией в приложении CCleaner является поиск дубликатов файлов. Очень часто на компьютере существуют идентичные по дате, размеру и названию файлы. Безусловно, некоторые из них нужны, а некоторые могли быть созданы случайно или загружены несколько раз из интернета. Все эти файлы в итоге накапливаются, свободного места становится все меньше и меньше, и, в итоге, компьютер начинает притормаживать. Поэтому, время от времени, от таких файлов нужно избавляться. Если вы продвинутый пользователь ПК, то вам не составит труда найти файлы дубликаты CCleaner какие удалять, но если вы новичок в этом деле, тогда мы поможем вам в этом разобраться.

Какие файлы не нужно удалять

Прежде чем начать поиск дубликатов и удалить их, давайте рассмотрим можно ли удалять файлы дубликаты Сиклинер? Для начала, хотелось бы отметить, что программа не даст удалить абсолютно все копии файла. Один из них обязательно должен остаться нетронутым. Далее, не рекомендуем удалять системные файлы. Наличие у них дубликатов вполне нормальное явление. Как правило системные файлы расположены на диске С в папке Windows.

Файлы, какие можно удалить

Как правило, компьютер состоит из нескольких разделов (дисков). Объем информации, который хранится на каждом из них, скорее всего, впечатляющий. Там есть и картинки, и музыка, и видео, и фотографии, и еще много всего. Некоторые из повторяющихся файлов могли быть продублированы пользователем ошибочно, например, по забывчивости файл был сохранен в разные разделы. Некоторые файлы могли быть загружены с интернета несколько раз и т.д. И когда программа находит такие файлы, то можно смело удалять их с вашего компьютера.

Поиск дубликатов

Во вкладке «Сервис » есть раздел «Поиск дублей ».

В этом разделе, на усмотрение пользователя, можно задать критерии поиска. Можно задать поиск дубликатов по какому-либо одному параметру поиска: по размеру, по дате, по имени и по содержимому или по нескольким параметрам одновременно, отмечая их галочками.

Также можно определить те файлы, которые необходимо пропускать. Здесь есть несколько вариантов:

  • Файлы нулевого размера;
  • Файлы, которые доступны только для чтения;
  • Скрытые файлы;
  • Системные файлы;
  • Файлы, размер которых не превышает заданный вами объем мегабайт;
  • Файлы, размер которых больше заданного объема мегабайт.

Во вкладке «Включения » можно указать места, в которых будет осуществляться поиск. Для проверки какой-либо определенной папки необходимо выбрать «Добавить ». Появится следующее окошко

Нажимаем на кнопку «Обзор » и выбираем желаемую папку, указав путь к ней.

Во вкладке «Исключения » можно задать те папки, которые не должны быть затронуты при поиске.

Добавить их можно аналогично вкладке «Включения ». Нажимаем «Обзор » и выбираем данную папку.

После установки всех параметров поиска нажимаем на кнопку «Найти ».

Результаты поиска дубликатов

После поиска, результаты будут показаны в виде таблицы.

В ней будет указано имена файлов, места, где они расположены, их размеры и даты создания.

Чтобы удалить дубликаты, ставим напротив них галочки. Если вы нажмете правой кнопкой мыши на каком-нибудь файле, то появится контекстное меню.

Выделить все Возможность отметить все найденные дубликаты. У всех файлов останется только одна копия – нижняя.
Снять выделение Возможность убрать отметку со всех найденных дубликатов, в случае их выделения.
Выделить тип/Снять с типа Возможность отметить (снять отметку) все файлы одинакового типа.
Исключить/Ограничить/Выбрать дубликаты Возможность произвести выбранное действие применительно к одной из папок, в которых находится файл.
Сохранить отчет… Возможность сохранения отчета в текстовом документе.
Открыть папку Позволяет открыть папку, в которой располагается данный файл.

После того, как вы выбрали все дубликаты, которые хотите удалить, нажимаем на кнопку «Удалить ».


Здравствуйте дорогие читатели. Сегодня мы с вами поговорим о дубликатах файлов, а также о методах борьбы с ними.

Исходя из самого названия вы, наверное, уже догадались, что это за файлы. Такие вот повторяющиеся файлы очень загрязняют жесткий диск, поэтому от них нужно периодически избавляться.

Дубликаты появляются на компьютере произвольно и из-за невнимательности пользователей. Хотя все мы люди и нам свойственно накапливать всякую всячину. Какой бы большой объем памяти не имел ваш жесткий диск – после удалению дубликатов он станет намного свободнее, нежели был до совершения этого процесса.

К большому сожалению, удаление дубликатов файлов невозможно произвести без посторонних программ. Разработчики Windows почему-то упустили этот момент, но люди нашли выход. В интернете есть масса бесплатных программ для избавления от дублирующих файлов. Ниже я приведу три лучшие из них, а также дам вам возможность их скачать.

CloneSpy

Очень простая и удобная утилита для очистки вашего компьютера от дубликатов файлов. После запуска CloneSpy производит поиск по контрольным суммам файлов, игнорируя при этом дату и время их создания, размер и т.д. Такой метод поиска дубликатов файлов позволяет сделать более точный и детальный поиск.


Но CloneSpy имеет также и минус, поскольку в результатах поиска, помимо копий может отобразить файлы с одинаковым именем.

Скачать бесплатно утилиту CloneSpy

Auslogics Duplicate File Finder

Более мощная программа поиска файлов-дублей. Делает детальный анализ жесткого диска на наличие одинаковых файлов, в конце которого вы получите список со всеми найденными дубликатами.


Я заметил, что Auslogics Duplicate File Finder хорошо специализируется на поиске мультимедийных файлов-дублей, а это гигабайты одинаковых музыкальных треков, фильмов, картинок и т.д.

Скачать бесплатно программу Auslogics Duplicate File Finder


DupKiller

Тоже очень хорошая программа для поиска и удаления дубликатов файлов. Очень понравилась функция установки процента допустимого совпадения, который вы можете установить вручную перед запуском анализа жесткого диска.

Как удалить повторяющиеся (дубликаты) аудиозаписи: обзор решений

Приветствую!
Знаете ли вы, какие файлы пользуются не меньшей популярностью, даже в сравнении с играми, видео и графическими файлами? Аудиофайлы! Именно аудио треки – зачастую наиболее популярные файлы на ПК. И это совсем неудивительно, ибо музыка весьма помогает и настроиться на рабочий лад, и хорошо расслабиться, да и в целом, неплохо отвлекает от окружающего шума и суеты.

Да, современные жесткие диски достаточно емки и могут достигать объёма в 1..3ТБ, однако большое количество музыки может позаимствовать от этого объёма существенное дисковое пространство. Если вы являетесь приверженцем различного рода аудио сборников и дискографий разного рода певцов и исполнителей – то наверняка обратили внимание на то, что в очередном сборнике зачастую имеется приличное количество дублирующийся композиций из аналогичных сборников (которые мало чем отличаются). Смысла держать по 2..5 (а возможно и более) одинаковых аудио треков на компьютере или ноутбуке нет никакого, а потому логичным было бы их найти и удалить, освободив тем самым место и упорядочив вашу коллекцию. В этом материале будет рассказано о нескольких утилитах, которые помогут вам найти все дубликаты музыкальных композиций с их последующим удалением в различных папках вашего персонального компьютера.

Содержание:

Обзор программы Audio Comparer

Данная утилита относится к редко встречающейся категории программ – поиску схожих аудио треков, не по размеру, вписанным тегам или имени файла, а по непосредственному содержанию (звучанию) аудиоряда. Сканирование аудиотреков занимает некоторое время, но благодаря этому достигается высокая эффективность в поиске и определении как полных по содержанию копий аудиофайлов, так и весьма схожих по звучанию, которые располагаются в разных папках вашего персонального компьютера.

При запуске программы будет открыто окно мастера, в котором необходимо будет указать папку(ки) сканирования и выбрать, что вы хотите найти: полные копии или схожие по звучанию. На последнем этапе окна мастера необходимо будет указать имя файла и путь для файла-отчёта. Этот файл может вам пригодиться, если вам понадобится наглядно увидеть результаты сканирования в будущем.

Если у вас очень большая коллекция, то сначала рекомендуется провести сканирование между небольшой группой аудиофайлов, дабы разобраться в основных принципах работы программы. А уже после этого просканировать всю вашу коллекцию.

После указания всех аудиофайлов и остальных параметров запустите процесс сканирования. Если сканируемых файлов очень много, то процесс займёт некоторое время. К примеру, 6 тысяч аудиотреков были просканированы за полтора часа.

По окончании сканирования отобразится окно с результатами. В нём, напротив каждого трека, для которого были найдены схожие композиции – будет отображён процент схожести. Прослушав их (в программе имеется штатный плеер для воспроизведения и оценки «на слух» схожих композиций), вы сможете выбрать, какую из копий оставить, а какую удалить. Всё достаточно наглядно и удобно.

Официальный сайт программы: https://audiocomparer.com/rus/

Обзор программы Music Duplicate Remover

Данная утилита позволяет искать дубли аудио треков как по ID3 тэгам,  так и аудио ряду. Необходимо отметить, что работает она на несколько порядков быстрее Audio Comparer, однако и результаты поиска дублей несколько хуже.

Программа с лёгкостью просканирует ваш жёсткий диск и наглядно отобразит имеющиеся в вашей коллекции схожие треки, которые ей удалось обнаружить. Естественно, в программе имеется возможность быстрого удаления всей найденных дубликатов.

Интерфейс программы столь же непритязателен и интуитивно понятен. Сразу после установки и запуска вам останется только отметить галочками те папки, которые необходимо просканировать на наличие дублей аудиозаписей и запустить процесс сканирования нажатием кнопки Найти дубликаты.

После чего останется только ожидать результатов сканирования.

Официальный сайт программы: https://www.maniactools.com/ru/soft/music-duplicate-remover/

Обзор программы Similarity

Эта утилита, несомненно, заслуживает внимания, т.к. помимо традиционного сравнения аудио треков по названию и размеру файла, она также анализирует и их содержание с помощью специальных алгоритмов: Wavelet и FFT.

Она молниеносно анализирует ID3 и ASF теги у аудиофайлов, а с применением вышеописанных спец. алгоритмов  – также находит дубли аудио, даже если схожие или идентичные композиции имеют разные названия и\или размер. Что же касается скорости анализа с применением спец. алгоритмов – то оно достаточно существенно при большом количестве сканируемых аудиофайлов и может занять не один час.

Подытожив вышесказанное, можно сказать, что Similarity достаточно простая и современная утилита для поиска дублей аудиозаписей.

Официальный сайт программы: https://www.similarityapp.com/

Обзор программы Duplicat Cleaner Pro

Достаточно интересная утилита для поиска и удаления дубликатов файлов, причем не только аудиофайлов, но и любых других. Однако это ей никак не мешает эффективно справляться с поиском и удалением дублей аудиофайлов.

Особо можно отметить следующее: продуманный и интуитивный интерфейс! У новичка не должно возникнуть сложностей с освоением данной программы. Сразу после старта программы в главном окне будет отображено несколько вкладок:

1) Критерии поиска: указывается режим поиска (к примеру, режим аудио с указанием дополнительных критериев)

2) Сканировать путь: в данной вкладке указываются папки, в которых должен осуществляться поиск дублей

3) Дубликаты файлов (появляется после первого сканирования): окно, в котором отображаются результат поиска

4) Одинаковых папок (появляется после первого сканирования): окно, в котором отображаются директории, в которых находится полностью идентичное содержимое

Впечатление от работы данная программа оставила весьма достойное: пользоваться Duplicat Cleaner весьма удобно и довольно просто, множество настроек для сканирования дубликатов файлов, достаточно хорошие результаты сканирования и выявления дублей.

Данную программу однозначно можно порекомендовать к использованию.

Официальный сайт программы: https://www.duplicatecleaner.com/

Краткий итог

В данной статье-обзоре мы рассмотрели несколько решений, благодаря которым вы сможете быстро и просто избавить ваш компьютер от дубликатов аудиокомпозиций, которые без особой надобности занимают место на вашем жёстком диске.

Если у вас остались вопросы, вы можете задать их в комментариях.

Поиск дубликатов файлов

Поиск дубликатов файлов

Поиск дубликатов файлов

Этот инструмент позволяет искать на дисках дубликаты файлов. Эта функция имеет два различных режима:

  1. Для поиска всех файлов, которые встречаются более одного раза (т.е. все файлов-дубликатов)
  2. Для поиска дубликатов одного или нескольких определенных файлов

 

Чтобы получить доступ к средству поиска дубликатов файлов, выберите Find Duplicate Files из меню Инструменты .Поиск дубликатов файлов появляется в нижней части Lister на панели утилит.

В верхней части панели поиска дубликатов файлов можно указать, куда поиск. Вы можете искать одну или несколько папок (или целых дисков) одновременно, добавив записи в список Найти в .

 

Каждая запись в списке соответствует папке для поиска. Чтобы добавить папку в список дважды щелкните папку Добавить для поиска элемента .Вы также можете используйте кнопку Select Folders to Search () на панели инструментов — это отображает диалоговое окно выбора папки с флажками, чтобы вы могли выбрать несколько папок одновременно. Вы можете изменить путь к папке в списке, дважды щелкнув его (или выберите его и нажмите F2 , если вы хотите ввести путь с помощью клавиатуры).

Чтобы удалить папку из списка, выберите ее и нажмите кнопку Удалить Папка () кнопка. Кнопка Сбросить список папок () очищает список папок, а кнопка Lock Folder () блокирует Find in расположение в папку, отображаемую в текущем отображении файлов.Когда папка заблокирована, автоматически появится список Найти в . сбрасывать в текущее местоположение всякий раз, когда вы перемещаетесь по файлу отображать.

 

В нижней части панели можно указать, какие файлы вы хотите поиск дубликатов. Если этот список пуст, поисковик будет искать все дублированных файлов (первый режим). Если вы укажете один или несколько файлов в этот список, программа поиска будет искать только дубликаты этих файлов (режим два).

 

Каждая запись в списке представляет файл, который будет искать средство поиска. дубликаты. Чтобы добавить файл в список, дважды щелкните значок Добавить файл в поиск дубликатов элемента или нажмите кнопку Browse () на панели инструментов. Вы можете редактировать путь к файлу в списке, дважды щелкнув его (или выделив его и нажав F2 , если вы хотите ввести путь вручную). Используйте файл удаления () кнопку для удаления файла из списка и кнопку Clear File List () кнопку, чтобы очистить его.

 

В правой части панели находятся параметры, позволяющие управлять Opus ищет дубликаты.

  • Показать результаты в : позволяет указать имя коллекции файлов, которую результаты поиска будут отображаться в. Отображение текущего файла будет автоматически перемещаться, чтобы показать эту коллекцию, когда начинается поиск, и как файлы будут найдены, они появятся на дисплее. Дисплей будет автоматически группируются, чтобы хранить дубликаты файлов вместе.Если указанный коллекция еще не существует, она будет создана автоматически.
  • В раскрывающемся списке Метод сравнения можно указать, что метод сравнения, который Opus использует, чтобы определить, являются ли два файла дубликаты:
    • Только имя файла : Сравнение основано на имени файла Только. Если два файла имеют одинаковое имя, они будут считаться дубликатами.
    • Имя и размер файла : Сравнение основано на имени файла и размер.Если два файла имеют одинаковое имя и одинаковый размер, они будут считаются дубликатами.
    • Контрольная сумма MD5 : Это самый медленный, но самый точный метод сравнения. При использовании этого метода имена файлов не учитываются; вместо этого для любых двух файлов Opus сначала сравнивает их размеры. Если размеры будут тот же Opus затем вычисляет контрольную сумму MD5 для обоих файлов — если контрольная сумма совпадает, то два файла считаются дубликатами.
  • Очистить предыдущие результаты : Если эта опция есть в содержании результатов Show в коллекции файлов будут автоматически очищается до начала поиска.
  • Режим удаления : Если причина, которую вы ищете, дубликаты файлов для устранения неиспользуемого пространства, этот режим может быть удобен. Когда эта опция включена, и вы выполняете поиск, показывая файл результаты автоматически помещаются в режим флажка.Когда поиск завершен, Opus автоматически выберет все, кроме первого файла каждого дубликата файла группа. Затем вы можете использовать кнопку Удалить в нижней части панель для удаления отмеченных файлов. Кнопка Select позволяет вы повторно запускаете процесс выбора удаления без необходимости повторного запуска поиска. Это может быть полезно, если вы хотите пересортировать список, чтобы указать, какие файлы проверено на удаление.
  • Фильтр : Поле фильтра позволяет определить фильтр для контролировать, в каких файлах и местах искать.Вы можете использовать это в двух способы:
    • Вы можете ввести простой шаблон подстановки для управления какие файлы будут учитываться при поиске дубликатов. Например, введите *.jpg для поиска только дубликатов JPG файлов.
    • Вы можете нажать кнопку Определить фильтр (), чтобы определить фильтр с помощью расширенный контроль фильтра (или используйте раскрывающийся список, чтобы выбрать ранее сохраненный фильтр).Вы можете использовать это, чтобы указать файлы для поиска, а также для управления (используя предложения Sub-folder), в каких подпапках выполняется поиск. См. страницу «Отфильтрованные операции» для получения дополнительной информации о фильтрах.
  • Число повторяющихся групп : Поиск дубликатов создает группы для каждого набора найденных повторяющихся файлов, и обычно эти группы называются в соответствии с критериями, используемыми для поиска дубликатов. если ты включите эту опцию, тогда каждая группа дубликатов будет пронумерована (от от 1 до X в порядке их обнаружения).
  • Поиск в архивах : Функция также будет искать содержимое любых архивных файлов, найденных в указанных местах.
  • Поиск внутри подпапок : Функция будет искать содержимое всех подпапок указанных мест, а также сами локации. Вы можете использовать опцию Filter ниже, чтобы контролировать, в каких подпапках искать.

 

Когда вы указали места и параметры для дубликатов поиск, нажмите кнопку Найти , чтобы начать.

 

 

 

Как найти и массово удалить дубликаты файлов Google Диска

Google Drive — одно из самых популярных облачных хранилищ. Это позволяет пользователям легко хранить, получать доступ, обмениваться и совместно работать над файлами из любого места. Как и любой сервис, он не безупречен. Пользователи жаловались на проблему с дубликатами файлов на Google Диске.

Дубликаты файлов в вашей учетной записи Google Диска занимают драгоценное место.Кроме того, они могут затруднить поиск нужных файлов. В этой статье будет рассказано о том, как найти и удалить дубликаты файлов на Google Диске и как Google Диск решает проблему дубликатов файлов.

Средство поиска дубликатов Cisdem

Лучший поиск дубликатов на Google Диске

  • Поиск дубликатов фотографий, видео, аудио, документов и других файлов-дубликатов
  • Сканировать компьютер, внешний жесткий диск, SD-карту и т. д. на наличие дубликатов файлов
  • Сканировать Microsoft Photos, Apple Photos и iTunes на наличие дубликатов
  • Сканировать Google Диск на наличие дубликатов файлов
  • Поиск дубликатов файлов в папке/диске или в нескольких местах
  • Позволяет просматривать найденные дубликаты файлов подробно или рядом
  • Автоматически выбирать дубликаты файлов для массового удаления одним щелчком мыши
  • Упростите настройку выбора
  • Простой в использовании и мощный
  • Доступно для ПК с Windows и Mac
Бесплатная загрузка   Загрузка бесплатная

 

Часть 1.Как найти дубликаты файлов на Google Диске и удалить их на ПК с Windows

Вот лучший способ для пользователей Windows 10 и 11 удалить сразу точных дубликатов файлов с Google Диска. Точные дубликаты файлов — это файлы, которые абсолютно одинаковы независимо от имени файла.

Во время всего процесса убедитесь, что у вас хорошее подключение к Интернету.

1. На компьютере перейдите на страницу www.google.com/drive/download.

2. Нажмите Загрузить диск для настольных ПК .

3. Установите приложение Google Диск для Windows.

4. Вы получите приглашение и нажмите Войти с помощью браузера . Если нет, щелкните значок на панели задач и нажмите Войти .

5. Войдите в свою учетную запись Google.

6. Щелкните значок Google Диска на панели задач. Подождите, пока не увидите Все обновлено .

7. Загрузите и установите Cisdem Duplicate Finder. Открой это.

Скачать бесплатно

8.Откройте проводник. На панели навигации слева щелкните Google Диск (G:) , чтобы открыть его.

9. Перетащите My Drive в это приложение для поиска дубликатов Google Диска. Щелкните Сканировать .

10. После завершения сканирования на вкладке Все отображаются все дубликаты файлов, найденные на вашем Google Диске. Вы можете просмотреть, отсортировать и изучить их.

11. Это приложение уже автоматически выбирает дубликаты файлов для массового удаления.При желании вы можете выбрать желаемое правило выбора.

12. Чтобы удалить выбранные дубликаты файлов Google Диска, нажмите Удалить .

Приложение Google Диск обнаружит и синхронизирует удаление. Удаленные файлы-дубликаты попадут в корзину (drive.google.com/drive/trash). Вы можете сразу избавиться от них, нажав «Очистить корзину». Или они будут автоматически удалены навсегда через 30 дней.

Важное примечание: Убедитесь, что вы знаете, где сканировать.Чтобы удалить дубликаты файлов из раздела «Мой диск» (drive.google.com/drive/my-drive), отсканируйте раздел «Мой диск». Чтобы удалить повторяющиеся файлы в разделе «Компьютеры» (drive.google.com/drive/computers), отсканируйте «Другие компьютеры». Чтобы выполнить поиск дубликатов на всем Google Диске, отсканируйте Google Диск (G:).

Совет: как удалить дубликаты фотографий с Google Диска

Вы можете легко избавиться от точных дубликатов фотографий, выполнив 12 шагов, описанных выше.

Если на вашем Google Диске также есть почти дубликаты фотографий, и вы хотите их очистить, вот совет, который вам поможет.

Прежде чем нажимать «Удалить» на шаге 12, перейдите на вкладку «Похожие изображения». На этой вкладке отображаются визуально идентичные фотографии с разным уровнем качества и визуально похожие фотографии. Они сгруппированы вместе, и вы можете легко выбрать ненужные фотографии для удаления.

Часть 2. Как найти и удалить дубликаты файлов Google Диска на Mac

Эта часть покажет пользователям Mac, как определить точных дубликатов файлов на Google Диске и избавиться от них одним щелчком мыши.Точные дубликаты файлов — это файлы, полностью идентичные независимо от имени файла.

Во время всего процесса убедитесь, что у вас хорошее интернет-соединение.

1. Перейдите на страницу www.google.com/drive/download. Нажмите Загрузить диск для настольных ПК .

2. Установите приложение Google Диск для Mac. Открой это.

3. В появившемся окне Войти в Google Диск нажмите Войти с помощью браузера . Войдите в систему, и приложение Google Диск перезапустится.

4. Откройте приложение Google Диск, щелкнув его значок в строке меню. Подождите, пока не увидите Все обновлено .

5. Загрузите и установите Cisdem Duplicate Finder.

Скачать бесплатно

Откройте программу.

6. Щелкните значок настроек в правом верхнем углу. На вкладке «Общие» выберите « Удалить навсегда » в качестве метода удаления.

7.Щелкните значок плюса и добавьте My Drive . Прежде чем щелкнуть, прочтите это примечание.

8. Нажмите Сканировать .

9. После завершения сканирования средство поиска и удаления дубликатов файлов на Google Диске отобразит все найденные дубликаты файлов.

10. Вы можете просматривать их по типу файла, сортировать их и предварительно просматривать.

11. Программное обеспечение уже автоматически выбрало дубликаты файлов для массового удаления.При желании вы можете настроить выбор вручную или выбрав правило выбора.

12. Нажмите Удалить в правом нижнем углу.

13. Нажмите Да , чтобы подтвердить удаление.

Удаленные файлы попадут в корзину (drive.google.com/drive/trash).

Примечание: При сканировании вашего Mac на наличие дубликатов файлов выберите «Переместить в корзину» в качестве метода удаления (как в шаге 6).

Часть 3.Как Google Диск обрабатывает несколько копий одного и того же файла?

В Google Диске есть некоторые меры для предотвращения появления ненужных дубликатов файлов. Давайте посмотрим на них.

Загружает ли Google Drive дубликаты?

лет назад, если вы попытались загрузить дубликаты файлов на Google Диск, ваши файлы были загружены и получили такие имена файлов, как этот Файл (1), Файл (2) и т. д., что могло вызвать путаницу и усложнить организацию файлов.

Теперь Google может пропускать повторяющиеся загрузки.Когда вы загружаете файл на Google Диск, если вы повторно загружаете тот же файл или если на вашем Google Диске уже есть файл с таким же именем и форматом, копия будет обнаружена и не загружена. Но есть опция «Сохранить как отдельный файл». Если вы нажмете на нее, дубликат будет загружен с именем файла, например, Файл (1).

Согласно моим тестам, Google Диск может идентифицировать дубликаты файлов только на основе имени файла и формата файла. Содержание не принимается во внимание.Идентификация и обнаружение все еще могут быть улучшены. Кроме того, обнаружение не сработает, если вы загрузите один и тот же файл в разные папки Google Диска по отдельности.

Почему Google Диск создает дубликаты файлов?

Во время загрузки создаются дубликаты файлов на Google Диске. Кроме того, давнее решение синхронизации рабочего стола Google Диска «Резервное копирование и синхронизация» иногда могло дублировать файлы, создавая копии файлов с (1) в имени файла.

Создает ли Google Диск дубликаты файлов после редактирования?

Когда речь идет о нескольких копиях одного и того же файла Office, например документа Word или электронной таблицы Excel, Google Диск объединит их и сохранит только последнюю загруженную версию (другие версии будут доступны для просмотра и восстановления).Например, чтобы получить доступ к более старым версиям документа, откройте его с помощью Google Docs. В строке меню выберите «Файл» > «История версий» > «Просмотреть историю версий».

Обнаруживает ли Google Диск дубликаты файлов и удаляет их?

Google Диск не обнаруживает существующие дубликаты файлов в вашей учетной записи, а тем более не удаляет их.

Как запретить Google Диску дублировать файлы?

Приложение «Резервное копирование и синхронизация» может создавать дубликаты файлов из-за ваших настроек.Для такого случая пользователь Google Диска нашел решение и поделился им.

Часть 4. Другие способы устранения дубликатов в Google Диске

#1 Используйте расширение браузера для удаления дубликатов файлов с Google Диска

Если вы являетесь пользователем Google Chrome или Firefox, вы можете использовать расширение под названием Duplicate File Finder, Cleaner for Drive для обнаружения и удаления дубликатов на Google Диске. Обратите внимание, что вам будет предложено авторизовать инструмент для доступа к вашему Google Диску.

… дайте ему разрешение делать абсолютно все, что угодно, с файлами на диске, а также с контактными данными людей, с которыми вы делитесь этими файлами! — пользователем Google Диска

1. Установите это средство для удаления дубликатов файлов на свой Chrome. Нажмите Приложения на панели закладок, а затем щелкните это расширение.

2. Нажмите Сканировать весь диск , и появится окно входа в систему. Нажмите Войти и авторизоваться и войдите, используя свою учетную запись Google.

Пожалуйста, прочитайте уведомление и узнайте о рисках. Нажмите Разрешить , если хотите продолжить.

3. Скопируйте код, который вы видите, и переключитесь обратно. Вставьте код в поле и нажмите Войти .

4. Вы можете сканировать весь Google Диск или выбранные папки на наличие дубликатов файлов. Здесь мы выбираем Сканировать весь диск .

5. В разделе Duplicate File Results вы можете найти все обнаруженные дубликаты файлов Google Диска.Выберите ненужные и нажмите Trash All . Как только он завершит удаление дубликатов, дубликаты файлов на вашем Google Диске должны исчезнуть.

Совет: Прежде чем нажать кнопку сканирования, вы можете установить параметры фильтрации, такие как тип сканирования и тип файла. Вы также можете указать имя файла и диапазон времени.

#2 Поиск и удаление дубликатов файлов Google в Интернете

Cloud Duplicate Finder — это веб-приложение, предназначенное для поиска дубликатов файлов на Google Диске и в нескольких других облачных хранилищах.Он может работать на компьютере и мобильных устройствах, таких как телефон Android, что делает его средством поиска дубликатов на Google Диске для Android.

1. Перейдите на сайт www.cloudduplicatefinder.com. Щелкните Создать учетную запись . Войдите в свою учетную запись.

2. Выберите GoogleDrive . На левой панели нажмите Добавить новый диск . Войдите в свою учетную запись Google. Если вы доверяете CloudDuplicateFinder, нажмите Разрешить , чтобы продолжить.

3. Выберите одну или несколько папок Google Диска для поиска дубликатов файлов.Щелкните Сканировать . После завершения сканирования появится всплывающее окно Result , показывающее результат сканирования. Щелкните OK , чтобы закрыть окно.

4. На главном экране вы можете просматривать и сортировать файлы по своему усмотрению. Вы можете вручную пометить файлы, которые не хотите сохранять. Кроме того, вы можете щелкнуть раскрывающийся список Выбрать дубликаты в нижней части экрана и выбрать нужный вариант выбора, например, Сохранить новейший файл в каждой группе .

5. Нажмите Выберите Действие > Постоянное удаление , чтобы избавиться от дубликатов фотографий, документов и других дубликатов на Google Диске.

Заключение

Функция дедупликации значительно предотвращает загромождение диска дубликатами файлов Google Диска. Но этого недостаточно. Там все еще могут быть дубликаты файлов. Если вы хотите удалить дубликаты фотографий и файлов с Google Диска, которые идентичны по содержанию, вы можете использовать программное обеспечение для удаления дубликатов файлов.Программное обеспечение простое в использовании и не будет запрашивать доступ к вашей учетной записи Google или любой другой учетной записи.

Фильтровать дубликаты файлов в папке и подпапках

Это продолжение моего последнего поста. Сравните имена файлов в двух разных папках и их подпапках. Очевидный вопрос после прочтения этой статьи: «Как найти дубликаты файлов в одной папке и ее подпапках?»

Эта статья отвечает на этот вопрос, ниже есть два макроса: «FindDuplicateFiles» и «Recursive».Эти макросы, возможно, более полезны для читателей моего блога, чем макрос в моем последнем посте.

Я полагаю, что макросы отлично подходят для поиска дубликатов mp3-файлов или файлов с изображениями. Обратите внимание, что они сравнивают только имена файлов, а не их размеры.

1. Код VBA

Проверьте статью Сравните имена файлов в двух разных папках и их подпапках, где я объясняю код VBA.

 Sub FindDuplicateFiles()
Dim pth2 как строка
Dim arrd() как вариант
Dim arru() как вариант
ReDim Arrd (от 0 до 2, 0)
ReDim arru (от 0 до 2, 0)

С приложением.Файлдиалог (мсофиледиалогфолдерпикер)
.Шоу
pth2 = .SelectedItems(1) & "\"
Конец с

Листы.Добавить
Установите x = ActiveSheet

Application.ScreenUpdating = Ложь
x.Range("A1") = "Повторяющиеся файлы"
x.Range("A2") = "Путь"
x.Range("B2") = "Имя файла"
x.Range("C2") = "Размер"
x.Range("A:F").Font.Bold = False
x.Range("A1:C2").Font.Bold = Истина

Рекурсивный pth2

Lrow = ActiveSheet.Range("A" & Rows.Count).End(xlUp).Row
Икс.Range("A2:C" & Lrow).Sort Key1:=x.Range("B1"), Header:=xlYes

arr1 = x.Range("A3:C" & Lrow).Value

x.Range("A3:C" & Lrow).Очистить

Для r1 = LBound(arr1, 1) + 1 To UBound(arr1, 1)

    Если arr1(r1, 2) = arr1(r1 - 1, 2), то
    
        массив (0, UBound (массив, 2)) = массив1 (r1 - 1, 1)
        приб(1, UBound(приб, 2)) = приб1(r1 - 1, 2)
        приб(2, UBound(приб, 2)) = приб1(r1 - 1, 3)
        
        ReDim Preserve arrd(UBound(arrd, 1), UBound(arrd, 2) + 1)
        
        приб1(r1 - 1, 1) = ""
        приб1(r1 - 1, 2) = ""
        приб1(r1 - 1, 3) = ""
        
        проверка = Истина
    
    Еще
    
        Если Чк = Верно Тогда
        
            массив (0, UBound (массив, 2)) = массив1 (r1 - 1, 1)
            приб(1, UBound(приб, 2)) = приб1(r1 - 1, 2)
            приб(2, UBound(приб, 2)) = приб1(r1 - 1, 3)
            чек = Ложь
            
            ReDim Preserve arrd(UBound(arrd, 1), UBound(arrd, 2) + 1)
            
            приб1(r1 - 1, 1) = ""
            приб1(r1 - 1, 2) = ""
            приб1(r1 - 1, 3) = ""
        
        Еще
        
            arru(0, UBound(arru, 2)) = arr1(r1 - 1, 1)
            arru(1, UBound(arru, 2)) = arr1(r1 - 1, 2)
            arru(2, UBound(arru, 2)) = arr1(r1 - 1, 3)
            
            ReDim Preserve arru(UBound(arru, 1), UBound(arru, 2) + 1)
            
            приб1(r1 - 1, 1) = ""
            приб1(r1 - 1, 2) = ""
            приб1(r1 - 1, 3) = ""
        
        Конец, если
    
    Конец, если

Следующий р1

Если Чк = Верно Тогда
    массив (0, UBound (массив, 2)) = массив1 (r1 - 1, 1)
    приб(1, UBound(приб, 2)) = приб1(r1 - 1, 2)
    приб(2, UBound(приб, 2)) = приб1(r1 - 1, 3)
Еще
    arru(0, UBound(arru, 2)) = arr1(r1 - 1, 1)
    arru(1, UBound(arru, 2)) = arr1(r1 - 1, 2)
    arru(2, UBound(arru, 2)) = arr1(r1 - 1, 3)
Конец, если

Икс.Range("A3").Resize(UBound(arrd, 2) + 1, UBound(arrd, 1) + 1) = Application.Transpose(arrd)

x.Range("A" & UBound(arrd, 2) + 3) = "Уникальные файлы"
x.Range("A" & UBound(arrd, 2) + 4) = "Путь"
x.Range("B" & UBound(arrd, 2) + 4) = "Имя файла"
x.Range("C" & UBound(arrd, 2) + 4) = "Размер"
x.Range("A" & UBound(arrd, 2) + 3 & ":C" & UBound(arrd, 2) + 4).Font.Bold = True
x.Range("A" & UBound(arrd, 2) + 5).Resize(UBound(arru, 2) + 1, UBound(arru, 1) + 1) = Application.Транспонировать (arru)

x.Columns("A:C").Автоподбор

Конец сабвуфера

Подрекурсивный (Путь к папке как строка)
Dim Value как строка, Folders() как строка
Папка Dim As Variant, a As Long
Папки ReDim(0)
Если Right(FolderPath, 2) = "\\", то выйдите из Sub
Значение = Каталог (Путь к папке, & h2F)
Делать до значения = ""
    Если Значение = "." Или Значение = ".." Тогда
    Еще
        Если GetAttr(FolderPath & Value) = 16 или GetAttr(FolderPath & Value) = 48, тогда
            Папки (UBound (Папки)) = Значение
            Папки сохранения ReDim (UBound (папки) + 1)
        Еще
            Низкий = ActiveSheet.Диапазон ("A" и Rows.Count).End(xlUp).Row + 1
            ActiveSheet.Range("A" & Lrow) = путь к папке
            ActiveSheet.Range("B" & Lrow) = Значение
            ActiveSheet.Range("C" & Lrow) = FileLen(FolderPath & Value)
        Конец, если
    Конец, если
    Значение = Направление
Петля
Для каждой папки в папках
    Рекурсивный путь к папке, папка и "\"
Следующая папка
Конец сабвуфера


 

Вернуться к началу

2. Как использовать этот макрос?

Самый простой способ — получить файл Excel в нижней части этого поста и запустить его оттуда.Но если вы хотите скопировать макрос в свою книгу, выполните следующие действия:

  1. Скопируйте приведенный выше код.
  2. Перейти в редактор VB (Alt+F11).
  3. Нажмите левой кнопкой мыши на «Вставить» в меню.
  4. Нажмите левой кнопкой мыши на «Модуль».
  5. Вставьте код в окно кода.
  6. Вернуться в Excel.

Наверх

3. Как запустить макрос?

  1. Перейдите на вкладку «Разработчик» на ленте.
  2. Нажмите левой кнопкой мыши на кнопку «Макросы».
  3. Выберите имя макроса «FindDuplicateFiles».
  4. Нажмите левой кнопкой мыши на кнопку «Выполнить».

Наверх

4. Что происходит, когда я запускаю макрос?

  1. Выберите папку на жестком или сетевом диске.
  2. Вставлен новый лист.
  3. Лист заполнен данными.
  4. Макрос завершается.

Наверх

Сохраните макрос в личной книге макросов

Если вы сохраните макрос в личной книге макросов, вы сможете получить доступ к этому макросу независимо от того, какая книга у вас открыта.

Прочитайте это: Скопируйте свои макросы в личную книгу макросов

Инструмент командной строки для поиска и удаления дубликатов файлов в Linux

Поиск и замена дубликатов файлов является общим требованием для большинства пользователей компьютеров. Поиск и удаление дубликатов файлов — утомительная работа, требующая времени и терпения. Поиск дубликатов файлов может быть очень простым, если ваша машина работает под управлением GNU/Linux, благодаря утилите « fdupes ».

Fdupes — поиск и удаление повторяющихся файлов в Linux
Что такое fdupes?

Fdupes — это утилита Linux, написанная Адрианом Лопесом на языке программирования C , выпущенная под лицензией MIT.Приложение может находить дубликаты файлов в заданном наборе каталогов и подкаталогов. Fdupes распознают дубликаты, сравнивая подпись файлов MD5 с последующим побайтовым сравнением. С помощью Fdupes можно передать множество параметров для перечисления, удаления и замены файлов с жесткими ссылками на дубликаты.

Сравнение начинается в порядке:

Сравнение размеров > Частичное сравнение подписей MD5 > Полное сравнение подписей MD5 > Побайтное сравнение .

Установите fdupes на Linux

Установка последней версии fdupes (fdupes версии 1.51) так же проста, как запуск следующей команды в системах на базе Debian , таких как Ubuntu и Linux Mint .

 $ sudo apt-get установить fdupes
 

В системах на базе CentOS / RHEL и Fedora вам необходимо включить репозиторий epel для установки пакета fdupes.

 # ням установить fdupes
# dnf install fdupes [в Fedora 22 и более поздних версиях]
 

Примечание : менеджер пакетов по умолчанию yum заменен на dnf из Fedora 22 и далее…

Как использовать команду fdupes?

1. В целях демонстрации давайте создадим несколько дубликатов файлов в каталоге (скажем, tecmint ) просто как:

 $ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "Я люблю Tecmint. Tecmint - очень хорошее сообщество пользователей Linux." > tecmint${i}.txt ; сделано
 

После выполнения вышеуказанной команды давайте проверим, созданы ли файлы-дубликаты или нет с помощью команды ls.

  $ лс-л 

всего 60
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint10.текст
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint11.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint12.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint13.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint14.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint15.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint1.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint2.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint3.текст
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint4.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint5.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint6.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint7.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint8.txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint9.txt
 

Приведенный выше сценарий создает 15 файлов, а именно tecmint1.txt, tecmint2.txt… tecmint15.txt, и все файлы содержат одни и те же данные, т.е.д.,

 «Я люблю Tecmint. Tecmint — очень приятное сообщество пользователей Linux».
 

2. Теперь найдите дубликаты файлов в папке tecmint .

  $ fdupes /home/$USER/Desktop/tecmint 

/home/tecmint/Рабочий стол/tecmint/tecmint13.txt
/home/tecmint/Рабочий стол/tecmint/tecmint8.txt
/home/tecmint/Рабочий стол/tecmint/tecmint11.txt
/home/tecmint/Рабочий стол/tecmint/tecmint3.txt
/home/tecmint/Рабочий стол/tecmint/tecmint4.текст
/home/tecmint/Рабочий стол/tecmint/tecmint6.txt
/home/tecmint/Рабочий стол/tecmint/tecmint7.txt
/home/tecmint/Рабочий стол/tecmint/tecmint9.txt
/home/tecmint/Рабочий стол/tecmint/tecmint10.txt
/home/tecmint/Рабочий стол/tecmint/tecmint2.txt
/home/tecmint/Рабочий стол/tecmint/tecmint5.txt
/home/tecmint/Рабочий стол/tecmint/tecmint14.txt
/home/tecmint/Рабочий стол/tecmint/tecmint1.txt
/home/tecmint/Рабочий стол/tecmint/tecmint15.txt
/home/tecmint/Рабочий стол/tecmint/tecmint12.txt
 

3. Рекурсивный поиск дубликатов в каждом каталоге, включая его подкаталоги, с использованием параметра -r .

Рекурсивный поиск по всем файлам и папкам, в зависимости от количества файлов и папок сканирование дубликатов займет некоторое время. Тем временем вам будет представлен общий прогресс в терминале, что-то вроде этого.

  $ fdupes -r /home 

Прогресс [37780/54747] 69%
 

4. Просмотр размера дубликатов, найденных в папке, с помощью параметра -S .

  $ fdupes -S /home/$USER/рабочий стол/tecmint 

  65 байт каждый  :
/home/tecmint/Рабочий стол/tecmint/tecmint13.txt
/home/tecmint/Рабочий стол/tecmint/tecmint8.txt
/home/tecmint/Рабочий стол/tecmint/tecmint11.txt
/home/tecmint/Рабочий стол/tecmint/tecmint3.txt
/home/tecmint/Рабочий стол/tecmint/tecmint4.txt
/home/tecmint/Рабочий стол/tecmint/tecmint6.текст
/home/tecmint/Рабочий стол/tecmint/tecmint7.txt
/home/tecmint/Рабочий стол/tecmint/tecmint9.txt
/home/tecmint/Рабочий стол/tecmint/tecmint10.txt
/home/tecmint/Рабочий стол/tecmint/tecmint2.txt
/home/tecmint/Рабочий стол/tecmint/tecmint5.txt
/home/tecmint/Рабочий стол/tecmint/tecmint14.txt
/home/tecmint/Рабочий стол/tecmint/tecmint1.txt
/home/tecmint/Рабочий стол/tecmint/tecmint15.txt
/home/tecmint/Рабочий стол/tecmint/tecmint12.txt
 

5. Вы можете увидеть размер дубликатов файлов для каждого каталога и подкаталогов, встречающихся при использовании параметров -S и -r одновременно, как:

  $ fdupes-Sr /home/avi/Desktop/ 

  65 байт каждый: 
/home/tecmint/Рабочий стол/tecmint/tecmint13.текст
/home/tecmint/Рабочий стол/tecmint/tecmint8.txt
/home/tecmint/Рабочий стол/tecmint/tecmint11.txt
/home/tecmint/Рабочий стол/tecmint/tecmint3.txt
/home/tecmint/Рабочий стол/tecmint/tecmint4.txt
/home/tecmint/Рабочий стол/tecmint/tecmint6.txt
/home/tecmint/Рабочий стол/tecmint/tecmint7.txt
/home/tecmint/Рабочий стол/tecmint/tecmint9.txt
/home/tecmint/Рабочий стол/tecmint/tecmint10.txt
/home/tecmint/Рабочий стол/tecmint/tecmint2.txt
/home/tecmint/Рабочий стол/tecmint/tecmint5.txt
/home/tecmint/Рабочий стол/tecmint/tecmint14.текст
/home/tecmint/Рабочий стол/tecmint/tecmint1.txt
/home/tecmint/Рабочий стол/tecmint/tecmint15.txt
/home/tecmint/Рабочий стол/tecmint/tecmint12.txt

  107 байт каждый: 
/home/tecmint/Рабочий стол/resume_files/r-csc.html
/home/tecmint/Рабочий стол/resume_files/fc.html
 

6. Помимо рекурсивного поиска в одной папке или во всех папках, вы можете выбрать две или три папки по мере необходимости. Не говоря уже о том, что при необходимости вы можете использовать опцию -S и/или -r .

 $ fdupes /home/avi/Desktop/ /home/avi/Шаблоны/
 

7. Чтобы удалить дубликаты файлов с сохранением копии, вы можете использовать опцию ‘-d’ . При использовании этой опции следует проявлять особую осторожность, иначе вы можете потерять необходимые файлы / данные, и помните, что процесс не может быть восстановлен.

  $ fdupes -d /home/$USER/рабочий стол/tecmint 

[1] /home/tecmint/Desktop/tecmint/tecmint13.txt
[2] /home/tecmint/Desktop/tecmint/tecmint8.текст
[3] /home/tecmint/Desktop/tecmint/tecmint11.txt
[4] /home/tecmint/Desktop/tecmint/tecmint3.txt
[5] /home/tecmint/Desktop/tecmint/tecmint4.txt
[6] /home/tecmint/Desktop/tecmint/tecmint6.txt
[7] /home/tecmint/Desktop/tecmint/tecmint7.txt
[8] /home/tecmint/Desktop/tecmint/tecmint9.txt
[9] /home/tecmint/Desktop/tecmint/tecmint10.txt
[10] /home/tecmint/Desktop/tecmint/tecmint2.txt
[11] /home/tecmint/Desktop/tecmint/tecmint5.txt
[12] /home/tecmint/Desktop/tecmint/tecmint14.текст
[13] /home/tecmint/Desktop/tecmint/tecmint1.txt
[14] /home/tecmint/Desktop/tecmint/tecmint15.txt
[15] /home/tecmint/Desktop/tecmint/tecmint12.txt

Установить 1 из 1, сохранить файлы [1–15, все]:
 

Вы можете заметить, что в списке перечислены все дубликаты, и вам будет предложено удалить либо один за другим, либо определенный диапазон, либо все за один раз. Вы можете выбрать диапазон, как показано ниже, чтобы удалить файлы из определенного диапазона.

 Набор 1 из 1, сохранить файлы [1–15, все]:  2–15 

   [-] /home/tecmint/Desktop/tecmint/tecmint13.текст
   [+] /home/tecmint/Desktop/tecmint/tecmint8.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint11.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint3.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint4.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint6.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint7.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint9.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint10.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint2.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint5.текст
   [-] /home/tecmint/Desktop/tecmint/tecmint14.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint1.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint15.txt
   [-] /home/tecmint/Desktop/tecmint/tecmint12.txt
 

8. С точки зрения безопасности вы можете распечатать вывод «fdupes» в файл, а затем проверить текстовый файл, чтобы решить, какой файл удалить. Это уменьшит вероятность случайного удаления вашего файла. Вы можете сделать:

 $ fdupes -Sr /home > /home/fdupes.текст
 

Примечание : Вы можете заменить ‘/home’ на нужную папку. Также используйте опцию ‘-r’ и ‘-S’ , если вы хотите выполнять рекурсивный поиск и размер печати соответственно.

9. Вы можете опустить первый файл из каждого набора совпадений, используя опцию ‘-f’ .

Первый Список файлов каталога.

  $ ls -l /home/$USER/Desktop/tecmint 

всего 20
-rw-r--r-- 1 tecmint tecmint 65 8 августа 11:22 tecmint9 (3-я копия).текст
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint9 (4-я копия).txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint9 (другая копия).txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint9 (копия).txt
-rw-r--r-- 1 tecmint tecmint 65 8 авг 11:22 tecmint9.txt
 

, а затем опустите первый файл из каждого набора совпадений.

  $ fdupes -f /home/$USER/рабочий стол/tecmint 

/home/tecmint/Desktop/tecmint9 (копия).txt
/home/tecmint/Desktop/tecmint9 (3-я копия).текст
/home/tecmint/Desktop/tecmint9 (еще одна копия).txt
/home/tecmint/Desktop/tecmint9 (4-я копия).txt
 

10. Проверить установленную версию fdupes.

  $ fdupes --версия 

фдупс 1.51
 

11. Если вам нужна помощь по fdupes, вы можете использовать переключатель ‘-h’ .

  $ fdupes-h 

Использование: fdupes [options] DIRECTORY...

 -r --recurse для каждого заданного каталога следуйте подкаталогам
                  встречается внутри
 -R --recurse: для каждого каталога, указанного после этой опции, следует
                  подкаталоги, встречающиеся внутри (обратите внимание на ':' в
                  конец опции, справочная страница для более подробной информации)
 -s --symlinks следует за символическими ссылками
 -H --жесткие ссылки обычно, когда два или более файла указывают на один и тот же
                  области диска они рассматриваются как не дублирующиеся; это
                  опция изменит это поведение
 -n --noempty исключить из рассмотрения файлы нулевой длины
 -A --nohidden исключить из рассмотрения скрытые файлы
 -f --omitfirst пропустить первый файл в каждом наборе совпадений
 -1 --sameline перечислить каждый набор совпадений в одной строке
 -S --size показать размер дубликатов файлов
 -m --summarize суммировать информацию об обмане
 -q --quiet скрыть индикатор выполнения
 -d --delete запрашивать у пользователя файлы для сохранения и удаления всех
                  другие; важно: при определенных обстоятельствах,
                  данные могут быть потеряны при совместном использовании этой опции
                  с -s или --symlinks, или при указании
                  конкретный каталог более одного раза; обратитесь к
                  документация fdupes для получения дополнительной информации
 -N --noprompt вместе с --delete сохранить первый файл в
                  каждый набор дубликатов и удалить остальные без
                  подсказка пользователю
 -v --version показать версию fdupes
 -h --help показать это справочное сообщение
 

Теперь это для всех.Дайте мне знать, как вы до сих пор находили и удаляли дубликаты файлов в Linux? а также скажите свое мнение об этой утилите. Оставьте свой ценный отзыв в разделе комментариев ниже и не забудьте поставить лайк / поделиться нами и помочь нам распространиться.

Я работаю над другой утилитой под названием fslint для удаления дубликатов файлов, скоро опубликую, и вам понравится читать.

Если вы цените то, что мы делаем здесь, в TecMint, вам следует подумать:

TecMint — это самый быстрорастущий и пользующийся наибольшим доверием сайт сообщества, где можно найти любые статьи, руководства и книги по Linux в Интернете.Миллионы людей посещают TecMint! искать или просматривать тысячи опубликованных статей, доступных всем БЕСПЛАТНО.

Если вам нравится то, что вы читаете, пожалуйста, купите нам кофе (или 2) в знак признательности.

Мы благодарны за вашу бесконечную поддержку.

XYplorer — выпущена версия 11.60

Поиск дубликатов файлов. Находит дубликаты файлов по имени, дате, размеру и/или контент в любом месте. Обнаружение дубликатов, особенно те, что по содержанию, могут быть полезны для освобождения места на диске.

Средство поиска дубликатов файлов XYplorer реализовано в виде фильтра Dupes на вкладке «Найти файлы». Если фильтр активен, в результатах поиска отображаются только файлы-дубликаты, т. е. файлы, которые имеют один или несколько дубликатов в искомых местах. То, что считается «дубликатом», можно определить на вкладке «Дубликаты»: это либо совпадение по Имя , либо Дата (изменено), либо Размер , либо Содержимое , либо любая их комбинация.

Фильтр Dupes в поиске файлов на информационной панели (F12).(Нажмите, чтобы увидеть все)

Для содержимого вы можете дополнительно определить метод сравнения: выбор идет от MD5 (самый быстрый, но наименее надежный) через SHA-1 , SHA-256 , SHA-512 , до байт- to-byte (медленный, но самый надежный). Как правило, SHA-1 считается достаточно надежным для использования в реальных условиях, и, следовательно, он также является заводским значением по умолчанию.

Установите флажок Инвертировать , чтобы найти все единичные/уникальные файлы; весьма полезно при сравнении двух папок, которые должны быть синхронизированы.

В списке результатов поиска дубликатов есть специальный столбец «Дубликаты», где каждая группа дубликатов имеет уникальный идентификатор, начинающийся с номера 1 для первой обнаруженной группы. Сортировка списка по этому столбцу приведет к тому, что дубликаты файлов, которые принадлежат друг другу, будут расположены в соседнем порядке. Список результатов поиска дубликатов всегда инициализируется для сортировки по столбцу «Дубликаты». При сортировке по дубликатам для списка внутри устанавливается стиль сетки «Выделенные группы», а столбец дубликатов дополнительно выделяется цветом в зависимости от критерия соответствия:

.

Поиск дубликатов файлов по имени, выделено белым на синем фоне.(Нажмите, чтобы увеличить)

Поиск дубликатов файлов по дате, выделен белым на фиолетовом фоне. (Нажмите, чтобы увеличить)

Поиск дубликатов файлов по размеру, выделен белым на коричневом фоне. (Нажмите, чтобы увеличить)

Поиск дубликатов файлов по содержимому, выделено белым на зеленом фоне. (Нажмите, чтобы увеличить)

При комбинированных критериях соответствия «самый высокий» критерий определяет цвет:

Поиск дубликатов файлов по имени и размеру, выделен белым на коричневом фоне.(Нажмите, чтобы увеличить)

Дополнительные замечания:

Фильтр Dupes полностью интегрирован с модулем поиска файлов XYplorer и может комбинироваться со всеми другими поисковыми фильтрами.

Фильтр Dupes находит только файлы, но не папки. Точно так же опция Invert вернет только отдельные файлы.

Если щелкнуть правой кнопкой мыши столбец «Дубликаты», когда список отсортирован по этому столбцу, открывается специальное контекстное меню с двумя командами для выбора элементов на основе групп дубликатов: «Выбрать первый элемент в каждой группе», «Выбрать непервые элементы в каждой группе».

Конечно, проверка дубликатов по содержимому может занять много времени. Тем не менее, XYplorer здесь довольно быстр из-за некоторой умной логики. Узким местом, однако, является скорость чтения жесткого диска.

Кэширование результатов поиска поддерживается поиском дубликатов. Но всегда помните, что кеши могут устареть: возможно, файлы, помеченные как дубликаты, больше ими не являются.

Поиск и управление дубликатами файлов

Хранилище корпоративных данных с каждым годом быстро растет в объеме и плотности.Однако не все эти данные критически важны для бизнеса. Исследования показывают, что более 30 процентов данных, хранящихся в организации, являются избыточными, устаревшими или тривиальными (ROT).

Из них избыточные/дубликаты файлов труднее всего обрабатывать по нескольким причинам:
  • Накопление повторяющихся файлов:  Дубликаты файлов быстро накапливаются в средах хранения файлов. Это неизбежно и является результатом множества факторов, начиная от копирования папок между дисками и заканчивая созданием нескольких резервных копий.
  • Идентификация дубликатов: Создать дубликаты файлов невероятно просто, но находить их в нескольких средах хранения утомительно.
  • Управление дубликатами файлов:  Излишние данные занимают ценное пространство и должны быть удалены или, по крайней мере, перемещены во вторичное хранилище. Учитывая объем дубликатов файлов, это легче сказать, чем сделать.

Как DataSecurity Plus может помочь в управлении дубликатами файлов.

Оптимизация процесса поиска и удаления дубликатов файлов имеет решающее значение для оптимизации хранилища. Вот где вам пригодится DataSecurity Plus.

Анализирует метаданные файлов, чтобы найти дубликаты файлов на файловых серверах Windows, отказоустойчивых кластерах и средах рабочих групп и создать отчет о них. Пользователи также могут удалять эти копии прямо с панели управления для быстрой и простой оптимизации хранилища.

Поиск дубликатов файлов с помощью DataSecurity Plus.

Чтобы настроить DataSecurity Plus для поиска дубликатов файлов, выполните следующие действия:

  1. Загрузите и установите DataSecurity Plus.
  2. Откройте консоль DataSecurity Plus.
  3. Перейдите к Анализ файлов > Конфигурация.  
  4. В разделе «Источник» выберите тип хранилища (Windows File Server или Workgroup Server) , которое вы хотите добавить.
    а. Чтобы добавить файловые серверы Windows
    • Выберите Windows File Server и нажмите + Добавить сервер в правом верхнем углу.
    • Выберите свой  Домен .
    • Нажмите символ + рядом с пунктом «Выбрать сервер». Выберите серверы, которые хотите добавить, и нажмите  Выбрать.
    • Выберите, хотите ли вы анализировать все диски или только определенные файлы на выбранных серверах.
    • Нажмите Установить агент и завершить.
    б. Чтобы добавить серверы рабочей группы
    • Выберите сервер рабочей группы , и нажмите + Добавить рабочую группу в правом верхнем углу.
    • Нажмите на + рядом с полем Выберите сервер и выберите сервер, который хотите проверить.
    • Выберите объекты для наблюдения.

      Для аудита общих ресурсов:  Выберите один или несколько общих ресурсов для аудита.
      Для аудита вложенных папок, локальных папок или локальных файлов:  Введите соответствующие пути.

    • Нажмите Установить агент и завершить.
  5. В разделе Анализ файлов > Конфигурация > Настройки > Конфигурация отчета, b> щелкните значок редактирования рядом с Отчетом о повторяющихся файлах.
  6. Выберите параметры, по которым вы хотите точно определить дубликаты файлов. Вы можете выбрать один из вариантов: Тот же размер, То же имя, и То же время последнего изменения.
  7. Совет:  Для получения наиболее точных результатов рекомендуется выбрать все три параметра.

  8. Щелкните Сохранить .

DataSecurity Plus теперь может находить дубликаты файлов в вашем домене и сообщать о них. На вкладке Обзор хранилища можно просмотреть полезную разбивку по составу файлов обнаруженных дубликатов, а также сведения о том, сколько места они занимают.

шагов для удаления дубликатов файлов.

Чтобы удалить обнаруженные повторяющиеся файлы, выполните следующие действия:

  1. Перейдите к Анализ файлов > Отчеты > Отчеты о хранении > Дублирующиеся файлы.  
  2. Нажмите + рядом с полем  Выберите серверы .
  3. Во всплывающем окне выберите сервер, на котором вы хотите найти дубликаты файлов.
  4. Нажмите  Выбрать.
  5. После загрузки в отчете отображаются файлы, имеющие несколько копий на выбранном сервере, а также количество повторяющихся копий.
  6. Нажмите на запись отчета о файле, в котором есть дубликаты, которые вы хотите удалить.
  7. Во всплывающем окне выберите копии , которые вы хотите удалить, и нажмите значок удаления.
  8. Нажмите Да во всплывающем окне подтверждения.

Отслеживание удаления повторяющихся файлов.

При удалении файла-дубликата с помощью DataSecurity Plus это событие будет записано в журнал технического аудита. Чтобы просмотреть это, выполните следующие действия:

.
  1. Перейдите к Конфигурация > Администрирование > Технические специалисты.
  2. В столбце «Журнал аудита» нажмите  Просмотреть.
  3. Будет показан журнал аудита всех действий, выполненных техническим специалистом. Чтобы вывести список только удаленных файлов:
    • Нажмите на значок поиска .
    • В разделе «Сообщение» введите « дубликат » и нажмите . Введите .

Это позволит вам просмотреть подробную информацию о том, кто удалил какой дубликат файла, когда и откуда.

Freeware zumsuchen und Löschen von Dateiduplikaten

Найти и удалить повторяющиеся файлы

AllDup — это бесплатный инструмент для поиска и удаления дубликатов файлов на вашем компьютере с Windows.Алгоритм быстрого поиска находит дубликаты файлов любого типа, например, текст, изображения, музыку или фильмы.

Функции AllDup

  • Дубликаты файлов можно копировать или перемещать в папку по вашему выбору
  • Удаление дубликатов файлов и создание жестких ссылок
  • Сохранение и восстановление результатов поиска для продолжения работы позже
  • Список неповторяющихся файлов
  • Удобный список результатов поиска со всеми дубликатами файлов
  • Поиск файлов с похожими именами
  • Поиск похожих файлов
  • Поиск дубликатов музыкальных и видеофайлов
  • Игнорирование тегов ID3 ​​файлов MP3
  • Алгоритм быстрого поиска
  • Поиск жестких ссылки
  • Поиск внутри архивов со следующими расширениями файлов: 7Z, ARJ, CAB, CB7, CBR, CBT, CBZ, EPUB, GZ, ISO, LZH, LHA, NRG, RAR, TAR, ZIP
  • Многие гибкие команды помогут вам для автоматического выбора ненужных дубликатов
  • Для вашей безопасности все файлы, которые необходимо удалить, можно переместить в корзину
  • Создавайте ярлыки или жесткие ссылки на папку st исходный файл
  • Подробный файл журнала обо всех действиях
  • Игнорировать метаданные файлов FLAC
  • Игнорировать данные EXIF ​​файлов JPEG и CR2
  • Поиск по неограниченному количеству файлов и папок
  • Поиск выполняется в нескольких указанных папки, диски, носители, CD/DVD…
  • Поиск дубликатов файлов цифровых фотографий
  • Встроенная программа просмотра файлов позволяет предварительно просмотреть множество различных форматов файлов и проанализировать содержимое файла, прежде чем решить, что с ним делать
  • Поиск дубликатов изображений
  • Ненужные дубликаты могут быть удалены навсегда
  • Поиск видео и музыкальных файлов с одинаковой или почти одинаковой длиной звука
  • Для вашей безопасности все файлы, которые необходимо удалить, могут быть перемещены в резервную папку
  • Поиск похожих изображений
  • Поиск дубликатов исполняемые и любые другие файлы
  • Экспорт результатов поиска в текстовый файл, файл CSV или файл Excel
  • Поиск дубликатов файлов с комбинацией следующих критериев: содержимое файла, имя файла, расширение файла, даты файла или атрибуты файла!
  • Целые папки или отдельные файлы могут быть исключены из поиска по маске или условиям размера

Что AllDup может сделать для вас?

  • Поиск файлов с похожими именами
  • Удаляйте дубликаты файлов — Легко и Везде!
  • AllDup — мощный инструмент для поиска дубликатов файлов на вашем компьютере!
  • Найдите, удалите, удалите, скопируйте или переместите дубликаты файлов!
  • Больше никаких клонов и дубликатов файлов!
  • AllDup поможет вам найти, просмотреть и удалить файлы с повторяющимся содержимым, независимо от имени!
  • Удалять дубликаты файлов — как хотите!
  • Удалить дубликаты фотографий и изображений!
  • Найти похожие изображения
  • Найти дубликаты файлов MP3 с разными тегами ID3!
  • Найти и связать дубликаты файлов!
  • Найдите и удалите дубликаты файлов!
  • Узнать, есть ли у файла жесткие ссылки!
  • Очистите свой компьютер, музыку или коллекцию фотографий от повторяющихся файлов!
  • Удалить дубликаты музыкальных файлов!
  • Поиск дубликатов фотографий
  • Удаляйте дубликаты файлов быстрее и безопаснее, чем с помощью любого другого средства поиска дубликатов файлов!
  • Освободите место на жестком диске вашего ПК!
  • Найдите и удалите дубликаты файлов с вашего компьютера, ноутбука, сетевых дисков, флешек, накопителей!
  • Поиск и удаление жестких ссылок
  • Поиск дубликатов изображений
  • Это может быть особенно полезно, если у вас есть большие папки с музыкой, изображениями, загрузками или документами!
  • Найдите и удалите дубликаты файлов ЛЮБОГО типа!
  • Найдите и удалите дубликаты файлов!
  • Поиск похожих музыкальных файлов
.

Leave a comment