BD
Надеюсь когда-нибудь придут к тому, что питон не самый идеальный вариант для таких вещей)
там свифт пилят для этого
Size: a a a
2020 April 08
BD
Надеюсь когда-нибудь придут к тому, что питон не самый идеальный вариант для таких вещей)
BD
но это пока еще рано конечн
MF
Интересно
MF
Ну да, столько денег вложено в уже существующую экосистему
А
у меня есть парсер на нейросетях, который умеет анализировать любую страницу любого сайта и выдергивает оттуда полезный контент. Для Украины собираю несколько тысяч сайтов почти в реальном времени. Все новости прогоняются через различные языковые модели. Украинские тексты переводятся в русские, потом все это обрабатывается, накладывается алгоритм кластеризации новостей по группам, определения их тематики
Какие вычислительные мощности используются, и есть ли какие-то сбои, если не секрет?
VF
Как-то уж больно толсто, я удивлён, что статья от второго апреля, а не первого 😃
p
Надеюсь когда-нибудь придут к тому, что питон не самый идеальный вариант для таких вещей)
На данный момент самый идеальный. И не вижу причин почему это плохо, если честно.
MF
Какие вычислительные мощности используются, и есть ли какие-то сбои, если не секрет?
Сбои какого плана? Для всего хватает сервера с 64 оперативки и средним процессором
VF
Swift — вообще ни разу не под числодробительные задачи задумывался (что показывают многие бенчмарки)
MF
Благодаря экономности раста
VP
Swift сам тормоз еще тот
AL
Сбои какого плана? Для всего хватает сервера с 64 оперативки и средним процессором
64мб?
MF
Гигабайта
MF
Но там очень много данных в 40 потоков параллельных просятся
MF
Парсятся
А
Сбои какого плана? Для всего хватает сервера с 64 оперативки и средним процессором
Перегруз, нестандартные ситуации?
MF
Перегруз, нестандартные ситуации?
Благодаря удобному управлению ошибками в расте ничего такого нет
MF
Уже год работает без сбоев этот Парсинг
BD
Vasily Popov
Swift сам тормоз еще тот
там есть сравнения скорости, по сравнению с питоном это просто турбопепяка