Автоматизация МО - - лекция по Архитектуре программных проектов + конспект от YandexGPT

Автоматизация МО - - лекция по Архитектуре программных проектов конспект от YandexGPT 00:02 Монолитная и микросервисная архитектура • Видео обсуждает два подхода к разработке программного обеспечения: монолитная и микросервисная архитектура. • Монолитная архитектура - это большие системы с небольшим набором функций, разработанные для закрытия одной бизнес-задачи. • Микросервисная архитектура - это разбиение бизнес-потребностей на маленькие сервисы, которые взаимодействуют между собой через стандартизированный интерфейс. 04:07 Преимущества и недостатки монолитной и микросервисной архитектуры • Микросервисная архитектура лучше подходит для функционально распределенных команд, обеспечивает быстрое релиз и функциональность, а также позволяет масштабировать решение. • Монолитная архитектура имеет меньше ошибок, но сложнее в разработке и реализации. 10:04 Инструменты и технологии в проектах машинного обучения • В проектах машинного обучения используются специализированные инструменты и технологии, такие как Kubernetes, Docker, Git, Apache Airflow, SQL базы данных, и другие. • Для работы с кодом используются различные IDE, такие как VS Code, PyCharm, и Jupiter Notebook. 18:51 Артефакты проекта машинного обучения • В проектах машинного обучения используются различные объекты и артефакты, такие как исполняемые файлы, код, переменные окружения, библиотеки, датасеты, модели, виртуальное окружение, скрипты, настройки, хранилища данных и кода, и т.д. • Важно создать эффективное рабочее пространство, где все объекты и артефакты находятся на своих местах, а участники команды имеют доступ к нужным им объектам и артефактам. 22:57 Структура файловой системы и организация хранения артефактов • В проектах машинного обучения обычно используются следующие структуры файловой системы: датасеты, скрипты, виртуальное окружение, настройки, хранилище данных, хранилище кода, и т.д. • Важно правильно организовать хранение артефактов проекта, чтобы обеспечить их доступность и удобство использования. 29:48 Инфраструктура проекта машинного обучения • В проектах машинного обучения инфраструктура обычно состоит из серверов для анализа данных, обучения, эксплуатации модели, хранилища данных и кода модели, и т.д. • Для организации инфраструктуры можно использовать как физически выделенные серверы, так и облачные сервисы. • Важно автоматизировать развертывание инфраструктуры, используя системы управления конфигурациями, такие как Docker, Kubernetes, и т.д. 37:47 Введение в Ansible • Ansible - это инструмент управления конфигурациями, который позволяет централизованно управлять конфигурациями операционных систем и программ на нескольких компьютерах. • Он использует язык разметки и описания конфигураций, который позволяет автоматизировать настройку и развертывание программного обеспечения. 45:02 Установка и настройка Ansible • Для установки Ansible необходимо запустить серверы, которые будут администрироваться, и установить SSH и ключи. • Для настройки аутентификации можно использовать пароль или ключи. 50:23 Использование Ansible для управления серверами • Ansible позволяет выполнять различные действия на удаленных серверах, такие как установка приложений, мониторинг ресурсов и т.д. • Для этого используются плейбуки, которые описывают действия и переменные. 57:24 Практическая задача с использованием Ansible • В качестве примера рассматривается задача организации инфраструктуры проекта машинного обучения, включающая сервер для анализа данных, сервер для обучения и сервер для эксплуатации моделей. 58:21 Создание инфраструктуры проекта машинного обучения • Инженер по машинному обучению описывает этапы создания инфраструктуры проекта, включая настройку серверов, установку и настройку инструментов, таких как Airflow, Git, DVC и другие. • Обсуждается важность использования всех инструментов в единой инфраструктуре для эффективной работы проекта. 01:11:06 Взаимодействие технологий в проекте машинного обучения • Инженер объясняет, что было бы интересно увидеть, как все технологии, описанные в лекции, взаимодействуют между собой в рамках проекта. • Это поможет студентам лучше понять, как эти технологии работают вместе и как они могут быть использованы в реальных проектах. 01:17:39 Финальные проекты и защита • Лектор обсуждает, что финальные проекты студентов могут быть не идеальными и могут потребовать доработки или фидбека от преподавателя. • В прошлом году студенты защищали свои проекты, и это может быть полезным опытом для студентов. • В заключение, инженер подчеркивает, что важно понимать, как все технологии работают вместе в рамках проекта, и что это может быть продемонстрировано в виде примера.