GT
Парсер синхронный?
Size: a a a
2021 December 06
GT
Хотя это жанга тут орм синхронная
ИМ
4 ядер не хватает. Хотя кончено каждое однопоточное.. вынудили собрать сервер с 24 ядрами
ИМ
48 потоков
GT
Есть смысл переписать на aiohttp + sqlalchemy чтоб делать асинхронно запросы и так же данные получены из запроса сувать асинхронно в бд
ВП
понапихают своих штанг, а потом ради 10к рпс собирают на серверных 24х ядерных процах
AD
Пытаться ускорить однопоточный софт за счёт лишних ядер это сильно...
ИМ
За тз в личку. Я сам вообще не силён в программировании. Но кое что понимаю. Библиотеки от фреймворков отличаю.
ИМ
Там делов то блин, тоже уверен что джанга тут лишняя
GT
А жангу используют просто как парсер данных в бд?
ИМ
И как фронтенд для отображения всего что напарсили
ИМ
Да это не Парсинг даже блин, сайт по апи все отдаёт
GT
Ну тогда мб на FastAPI переписать чтоб скорость была замето выше
ИМ
Нужно забрать да сложить
ИМ
А потом отобразить в нужных разрезах
🎄
🤔надо Postgresql бд изучать, она сейчас является самой производительной, там ток дофига опций, но оно того стоит
ИМ
Я вообще про тарантул думаю, в озу прям чтоб держать базу
GT
При чем щас здесь постгрескл?
ИМ
Едет сервер с 128гб озу
🎄
ну тут про монгу писали, такая се бд