Но если хранить не ипы, а диапазоны, то по мере парсинга памяти будет потребляться все меньше и меньше

Ну ок, а если хранить 4 листа для каждой позиции в адресе. И дальше удалять только при совпадении во всех четырех?

Тогда это 4 листа по 256 индексов.

192,168,13,1
17,88,55,1
удаляй единицу из последнего листа. И второй адрес будет уже неуникальным.

Чего?

Ладно, не суть. Глупость сказал. Удалить из файла я строку не могу, а проверять по твоим листам... бред это, количество уникальных значений я так не посчитаю.

Не понял мысль

Была идея сделать boolean[ 256 ] [256 ] [256 ] [256 ] и при нахождении соответствующей координаты фолс на тру менять... но тоже в пямять не лезет.

Те же 16 ГБ минимально нужны.

Бред какой-то сморозил я...

Пока единственно работающим алгоритмом видится посоветованный выше  external sorting, но оно  будет очень медленно работать, плюс еще 109 гигов на диске дополнительно скушает.

Но мне кажется тут нужно подумать в сторону представления данных, например по позициям. А не брать весь адрес целиком. Может дерево строить.

потому что вы булеан юзаете, используйте byte и будет уже 4Гб

Вариант конечно...

а если напишите нормальную обертку над битами, то 4Гб ужимаются в 0.5Гб

Решать эту задачу через урезание хэшсета/дерева только по памяти - так себе номер

С фига ли? Один ip никак не займет меньше 4 байт. Всего существует 4 "гигабайта" ипов по 4 байта

С учётом того, что айпишники тривиально маппятся в инты, мне на самом деле нравится идея с деревом диапазонов

хороший вопрос, многа букав:
рассмотрим множество всех ip адресов. Мощность 2*32. Эта мощность соответствует множеству 2*32 отдельных битов, если мы сгруппируем эти отдельные биты в байты по 8 штук, то получается 2*29 байт (512Мб) - звучит интересно и нам чтобы это использовать необходимо лишь одно - реализовать симметричное отображение (может забыл уже как зовется поправьте).
Отображением ip в конкретный бит будет преобразование ip в номер бита ip в инт, а инт уже и есть номер бита. И обратное - номер бита в ip.

Так что берем массив из 512кк байт, пишем небольшую обертку по преобразованию ip в два инта номер байта и номер бита в байте и обратно. И готово

суть в подходе, на чем реализовывать не имеет значения