ИИИ Спортивный анализ данных - 3 лекция - + конспект от YandexGPT

ИИИ Спортивный анализ данных - 3 лекция - конспект от YandexGPT Тетрадка 1: она же на моём диске: Тетрадка 2: она же на моём диске: Тетрадка 3: #scrollTo=oaZtshyVIeUQ она же на моём диске: Тетрадка 4 - 04_Live_pandas: она же на моём диске: 00:07 Введение в пандас • Автор объясняет, что в этом видео он будет рассказывать о пандасе, наборе данных и их использовании. • Он также упоминает, что в этом семестре будет оценивать задания по пандасу, и что он будет вводить дедлайны для выполнения заданий. 02:03 Справочники по пандасу • Автор представляет два справочника по пандасу: один для начинающих, другой для более углубленного изучения. • Он объясняет, что в этих справочниках можно найти информацию о том, как использовать пандас для анализа данных. 05:41 Примеры использования пандаса • Автор показывает, как использовать пандас для решения задач, связанных с анализом данных. • Он также объясняет, что в пандасе можно решать задачи без использования циклов, что является важным качеством этого инструмента. 11:07 Справочники по пандасу • Автор продолжает объяснять, как использовать справочники по пандасу для изучения различных функций и методов анализа данных. • Он также обсуждает, как использовать пандас для создания новых столбцов и преобразования данных. 14:58 Введение в Pandas • В видео рассказывается о библиотеке Pandas, которая позволяет работать с данными в формате CSV. • Объясняется, как импортировать Pandas и настроить параметры отображения данных. 19:11 Работа с наборами данных • В видео демонстрируется работа с различными наборами данных, включая Олимпийские игры, зарплаты, мобильные операторы, расход электроэнергии и квартиры. • Объясняется, как считывать данные из файлов и как работать с различными типами данных. 26:23 Дополнительные функции Pandas • В видео обсуждаются дополнительные функции Pandas, включая чтение и запись в Excel, работу с JSON и HTML, а также сохранение и чтение данных в формате Parquet. 29:33 Анализ данных • Видео начинается с обзора данных, представленных в формате паркет. • Этот формат позволяет хранить данные в сжатом виде и быстро их считывать. • Паркет также поддерживает партиционирование данных по датам, что позволяет быстро читать и фильтровать данные. 34:00 Работа с данными • Далее автор демонстрирует, как можно использовать инструменты для анализа данных. • Он показывает, как можно посмотреть на данные, определить типы данных, количество пропусков и статистику. • Он также объясняет, как можно обращаться к отдельным столбцам и как использовать функции фильтрации для работы с данными. 47:59 Анализ производства продуктов • В видео анализируется производство продуктов на заводе, используя данные из таблицы. • Рассматриваются различные условия, такие как производство только одного продукта, одновременное производство нескольких продуктов и производство всех продуктов. 56:38 Группировка по годам и месяцам • В видео объясняется, как группировать данные по годам и месяцам, используя функцию группировки. • Приводится пример группировки по годам и месяцам для анализа динамики производства продуктов. 01:04:14 Фильтрация и группировка по часам • В видео демонстрируется, как фильтровать данные по часам и группировать их для анализа нагрузки на заводе в течение дня. • Объясняется, как использовать функцию подсчета для подсчета количества часов в каждой группе. 01:07:27 Группировка и фильтрация данных • Видео обсуждает различные способы группировки и фильтрации данных в Pandas. • Упоминается метод groupby, который позволяет группировать данные по определенным столбцам и применять различные функции к каждой группе. • Также обсуждаются функции, такие как mode, которые могут быть применены к нескольким столбцам для получения уникальных значений. 01:16:36 Удаление дубликатов и подсчет количества • Видео объясняет, как использовать метод drop_duplicates для удаления дубликатов и метод transform для подсчета количества уникальных значений в каждом штате. • Эти методы могут быть применены к различным столбцам для получения более детальной информации о данных. 01:27:29 Задание на дом и обсуждение домашнего задания