У
ну если индекса нет, то каждый апдейт вычитывает ВСЮ таблицу
Size: a a a
2020 July 15
AS
Select the feed to remove, or
1. Planet MySQL
AS
Всем привет 👋
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
S
Всем привет 👋
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
А цель только в том что бы получить уникальные значения?
МС
Всем привет 👋
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
ОС какая? В линуксе для этого есть готовая утилита uniq
МС
Михаил Семочкин
ОС какая? В линуксе для этого есть готовая утилита uniq
Судя по Википедии, у нее есть порт и под Windows.
AS
А цель только в том что бы получить уникальные значения?
Цель - держать БД с уникальными значениями
И когда будут новые словари снова загружать их в базу далее удалять дубли выгружать все дальше в тхт
И когда будут новые словари снова загружать их в базу далее удалять дубли выгружать все дальше в тхт
AS
Михаил Семочкин
ОС какая? В линуксе для этого есть готовая утилита uniq
Не подходит уже делал так, не обработает такой массив данных
МС
А много уникальных значений?
ИД
Всем привет 👋
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
Есть одна не совсем тривиальная задача:
Имеется словарь объём которого 1 ТБ у формате .txt все слова записанные с новой строки, каким образом это все дело перегнать в MySQL, удалить дубли и выгрузить назад в .txt уже уникальные значения?
я делал отдельную таблицу, построчно читал файл, и в таблицу записывал "значение"-"кол-во повторений". файл был тоже огромный, в память целиком не помещался.. это было небыстро ) но операция достаточно редко повторялась
AS
Михаил Семочкин
А много уникальных значений?
Уникальных значений 70-80 процентов
МС
Даже интересно, LOAD DATA IGNORE+ уникальный индекс справятся?
ИД
заминка была в том, что памяти надо было сильно больше, чем весит сам файл, чтобы его целиком прочитать
МС
Уникальных значений 70-80 процентов
Это не просто слова, а какие-то строки?
AS
Да строки разного значения и спецсимволы тоже
AS
Михаил Семочкин
Это не просто слова, а какие-то строки?
Да строки разного значения и спецсимволы тоже
DE
Не подходит уже делал так, не обработает такой массив данных
Разбей на файлы по первым нескольким буквам
DE
Я так бд для кроссворда парсил
DE
А сколько строк всего?
AS
Разбей на файлы по первым нескольким буквам
Ок, только там строки начинаются и с Бук и с цыфр