Автоматизация на Python
Программируйте рутину: автоматизируйте повторяющиеся задачи с помощью Python, освобождая своё время для творческой работы. Этот раздел посвящен практической автоматизации, которая применима прямо сейчас в офисе, дома или на сервере.
Вы научитесь:
- Парсить сайты (собирать данные с веб-страниц) с помощью BeautifulSoup (простой HTML-парсинг), Selenium (взаимодействие с динамическими сайтами: клики, ввод текста, скроллинг, скриншоты) и Scrapy (мощный промышленный фреймворк для крупных парсеров с асинхронностью).
- Создавать Telegram-ботов на aiogram (оповещения, автоматические ответы, интеграция с вашими сервисами, голосования, кнопки).
- Работать с Excel и CSV: создавать отчёты, обрабатывать сводные таблицы, фильтровать данные, отправлять автоматически по email (openpyxl, xlsxwriter, pandas).
- Писать системные скрипты для управления файлами и папками (os, shutil, glob, pathlib): массовое переименование, перемещение, удаление старых файлов, резервное копирование.
- Автоматизировать электронную почту: отправка писем с вложениями (smtplib, email), получение и обработка входящих (imaplib, poplib), автоматический ответ на заявки.
- Работать с PDF (PyPDF2, pdfplumber): объединение, разделение, поворот, извлечение текста и таблиц.
- Взаимодействовать с Google Таблицами через API — автоматическое обновление данных из CRM или сайта. Мониторить доступность сайтов и серверов (скрипт проверки HTTP кодов, времени ответа, наличие строки на странице, отправка уведомлений при падении).
- Автоматически создавать резервные копии файлов и баз данных.
Все примеры — это готовые скрипты, которые вы можете адаптировать под свои задачи. Python — лучший язык для автоматизации: простой, понятный, с огромным количеством библиотек.
Изучите машину состояний (FSM) в aiogram: пошаговые диалоги, состояния, переходы между ними. Как создать анкету, опрос, регистрацию пользователя. Хранение данных в FSMContext. Использование State и StatesGroup. Сброс состояния.
Изучите создание клавиатур в Telegram-ботах на aiogram: ReplyKeyboardMarkup (обычная клавиатура) и InlineKeyboardMarkup (инлайн-клавиатура). Как создавать кнопки, обрабатывать нажатия, настраивать размер. Практические примеры меню, выбора, подтверждения действий.
Изучите обработчики сообщений в aiogram: декораторы (@dp.message, @dp.callback_query), фильтры (Command, Text, State). Как обрабатывать команды, текстовые сообщения, callback-запросы. Фильтрация по тексту, регулярным выражениям, типу контента.
Установка aiogram 3 (последней версии), создание виртуального окружения, написание первого эхо-бота. Пошаговая инструкция с объяснением каждого блока кода. Как запустить бота и проверить его работу. Разбор частых ошибок: неправильный токен, неправильное
Пошаговое руководство по регистрации бота в Telegram через BotFather. Как создать бота, выбрать имя и username, получить API токен. Подробный разбор правил именования, требований к username (окончание bot), безопасное хранение токена.
Изучите методы извлечения данных из HTML с помощью BeautifulSoup: получение текста, ссылок (href), изображений (src), атрибутов элементов. Как обрабатывать несколько элементов и пропускать пустые значения. Практические примеры с реальных сайтов.
Изучите навигацию по DOM-дереву в BeautifulSoup: перемещение между родителями, детьми, соседними элементами. CSS-селекторы для гибкого поиска. Практические примеры с реальными сайтами. Разбор частых ошибок и задач. Урок для продолжающих.
Изучите методы поиска тегов в BeautifulSoup: find() (поиск первого элемента) и find_all() (поиск всех элементов). Как искать по тегам, классам, id, атрибутам и тексту. CSS-селекторы через select(). Практические примеры с реальными сайтами.
Установка BeautifulSoup и создание первого парсера на Python: установка библиотек beautifulsoup4 и requests, работа с HTML-файлами, базовые методы поиска элементов. Практические примеры и частые ошибки. Урок для начинающих.
Образовательный материал о парсинге сайтов (веб-скрейпинге): что это, какие данные можно собирать законно, а какие — нет. Рассматриваем правовые аспекты: robots.txt, авторские права, персональные данные, судебные прецеденты в России.