SC
Добрый вечер ! как реализовать лучше ? Буду ещедневно парсить большинство сайтов, данные будет применно по 1000 + ! куда все эта сохранить что бы работать с ними ?
Если речь только о тысячах итемах, то любой бд хватит с головой, даже MySQL
Size: a a a
2020 June 20
Gt
Если речь только о тысячах итемах, то любой бд хватит с головой, даже MySQL
Ну вообще да, чанкать можно ведь.
SC
Всяко лучше чем excel
SC
Если речь о миллионах итемах, то нужно брать более продвинутые инструменты, типа clickhouse, elasticsearch и тогдалие
SC
Какую-нибудь быструю новомодную бд типа КликХауса.
Мы от него в итоге отказались, не хватило нормальной поддержки первичных ключей
.
Если речь только о тысячах итемах, то любой бд хватит с головой, даже MySQL
по началу так, так как на сайтах не очень много данные, которые я буду брать !
SC
Хотя статистику отдаёт очень быстро.
Gt
Мы от него в итоге отказались, не хватило нормальной поддержки первичных ключей
А что взамен взяли?
SC
А что взамен взяли?
Elastic
SC
Отлично вписался, накидали index template, юзеров побили по index-ам, аггрегация достаточно быстрая
AH
Уверен?
Роут:
Запрос:
Ответы на скринах. На каждом с изменением порядка параметров и ответом.
Да, действительно, я ошибся.
Ситуация такая:
1. Переменная с реквестом может быть в любом месте;
2.Параметры из реквеста передаются не по имени, а по порядку. При этом, биндинг осуществляется по имени.
Например, роут принимает параметры
Без биндинга будет так:
А вот если через биндинг, то здесь не всё однозначно:
app('router')->get('qwerty/{foo}/{bar}/{baz}', 'TestController');Запрос:
GET {{host}}/api/qwerty/4/6/2?baq=666
Content-Type: application/jsonОтветы на скринах. На каждом с изменением порядка параметров и ответом.
Да, действительно, я ошибся.
Ситуация такая:
1. Переменная с реквестом может быть в любом месте;
2.Параметры из реквеста передаются не по имени, а по порядку. При этом, биндинг осуществляется по имени.
Например, роут принимает параметры
/{foo}/{bar} (/1/2).Без биндинга будет так:
index($foo, $bar)
// $foo = 1
// $bar = 2
index($bar, $foo)
// $foo = 2
// $bar = 1
А вот если через биндинг, то здесь не всё однозначно:
index(Category $foo, Page $bar)
// Вернёт ок
index(Category $bar, Page $foo)
// Вернёт ошибку TypeError
// Argument 1 passed to App\\Http\\Controllers\\TestController::index() must be an instance of App\\Models\\Category, instance of App\\Models\\Page given"
AH
AH
AH
AH
AH
AH
AH
SC
по началу так, так как на сайтах не очень много данные, которые я буду брать !
Ну норм. Это не большой объём данных
.
Ну норм. Это не большой объём данных
просто на mysql элементарное create не так быстра работает laravel, теперь еще если добавить get check uptade или create к нему с такими данными не мало времени уйдет