Непопулярное мнение: Python - это Бейсик XXI века, использование его в таких продвинутых категориях CS, как ML, Big Data processing, Neural Networking - вынужденная мера, потому что 1) переучивать выпускников американских ВУЗов на любой другой язык - очень дорого для бизнеса, 2) нет понимания, что это мог бы быть за язык.
Архитектурно язык не рассчитан ни на высокие нагрузки, ни на работу с большим объёмом данных, ни на сложную математику. В результате мы имеем колоссальное количество уродливых костылей типа pandas, NumPy, scikit, Jupyter, pytorch и т.д.
При этом экосистема работает в режиме положительной обратной связи (примерно как JavaScript), и никакого выхода из этой ситуации не видно.
Каждый из костылей является великолепным продуктом и сходу сложно назвать достойные альтернативы в других экосистемах сравнимые по удобству использования.
Pandas помимо ML задач активно используется в ETL и всякий data cleansing. Какая ещё популярная технология кроме спарка умеет нормальные дата фреймы?