Ага

почему?

Почему set'ы нельзя использовать? Выглядит, как искусственная палка в колёса

Добрый вечер. Может кто покупал книгу Сеттер, Яшин: Java на примерах. Практика, практика и только практика. Стоит покупать именно для решения задач?

Видимо, чтобы посмотреть, как я эту задачу решу, не выползая за рамки доступной памяти(

2^32 возможных адресов - это уникальные значения, т.е. в файле они повторяются, как минимум, по тысяче раз...

Files.lines(Path.of("yourFile.txt"))
    .distinct()
    .forEach(System.out::println);

не подходит?

Можно отсортировать, а потом кусками считать различные
Для сортировки данных, не влезающих в память, гугли external sorting

Files.lines(Path.of("yourFile.txt"))
    .distinct()
    .forEach(System.out::println);

У него стоит явно задача сделать алгоритм эфективным

Как вариант, кстати

Дан простой текстовый файл с IPv4 адресами. Одна строка – один адрес.
Файл в размере не ограничен и может занимать десятки и сотни гигабайт.

Необходимо посчитать количество уникальных адресов в этом файле, затратив как можно меньше памяти и времени. Существует "наивный" алгоритм решения данной задачи (читаем строка за строкой, кладем строки в HashSet), желательно чтобы ваша реализация была лучше этого простого, наивного алгоритма.

Опять всем чатом чужие тестовые задания решаем?

В сроки я не уложился и отказался от работы, но принципиально понять алгоритм хочется) Попробую через external sorting, спасибо.

наверняка в книге "грокаем алгоритмы" есть что-то подходящее)

наивная подсказка ipv4 всего 4ккк - однозначно можно влезть в 4Гб памяти. После прохода по всем они схлопываются в диапазоны. Можно оптимистично сразу диапазонами считать, но так пиково будет больше памяти

Форкнуть второй проект, заклонить себе на комп, в свой импортнуть нужные классы. Так не пойдет?

Я подобное слышал, там как то по модному с очередями решалось. Я вкатывальщик, слышал от товарища мидло сеньора. Там суть примерно похожая, о рейтинге фильмов

с очередями эт конечно круто))

А то, что 4 байта на адрес (это если строку с айпишником преобразовывать в инт) или до 30 байт на строку - 2^32 значений - итого от 16 до дофига памяти на хранение списка уникальных...

4 байта на адресс = 4ккк комбинаций = по 1бит на комбинацию = 4Гб