ReDoubler

В общем первая утилита — обычный раздубливатель. Из «фишек»:
Можно сравнение проводить не на основании всей строки, а на основании доменов. То есть если строки — это www-адреса, ftp или email, то утилитка вычленит домены, и будет сравнивать их, ну а в результат конечно будут записаны не домены, а сами строки полностью.
Штатными средствами можно выбрать несколько файлов, утилита прочтет их все и сделает уникальный список на основании всех файлов. Удобно, когда есть старая база и надо добавить одну или несколько новых, прочекивая на дубли. Кстати, вернемся к режиму сравнения по доменам. Если выбрать сначала старую базу, а потом новые, то СНАЧАЛА в результат добавятся значения старой базы, а новые URL с таким же доменом не добавятся. Ну и наоборот, то есть какой файл первый выбираешь — имеет значение.
Естественно, программа рассчитана на многомиллонные списки. Скажем 15 миллионов (файл около 400 Mb) я ей раздубливал.

Ну и еще парочку утилит, которые делают следующее. Первая утилита отбирает в результат из файла №1 только те строки, которые есть в файле №2. Вторая — удаляет из файла №1 строки, которые есть в файле №2. Типичные задачи — чекинг по блэк-листу, или выборка общих значений из двух баз.
Выглядят, как близницы.
Очень быстрые

Скачать

зеркало

VT 1

VT 2

VT 3

Пароль на все архивы: hh