ну и например у тебя 10 элементов в лист и set, тебе постоянно нужен последний элемент в list, будет 10 переборов постоянно, list будет сильно проигрывать, а set выигрывать, если так случилось, что ты находишь постоянно первый элемент в list, то конечно set будет проигрывать (hashset)