Логирование и обработка ошибок для устойчивой работы скрипта

1. Логирование

Сегодня мы погрузимся в тему, которая, возможно, спасет вам немало нервных клеток и драгоценного времени — в логирование и обработку ошибок. Даже самый опытный программист не застрахован от ошибок, и ваша задача — сделать эти ошибки предсказуемыми и управляемыми. Представьте, что вы археолог на раскопках, и ваша задача — оберегать свою экспедицию от неожиданных обвалов и коварных ловушек — а логирование и обработка ошибок это ваш верный компас и щит в этом рискованном деле!

Когда мы говорим о логировании в программировании, мы имеем в виду процесс записи информации о работе программы. Это процессы, которые происходят внутри вашего кода и могут быть не видны с первого взгляда. Записывая логи, вы оставляете себе подсказки, как Гензель и Гретель оставляли хлебные крошки в лесу, чтобы вернуться домой.

Установка и настройка логирования

Начнем с основных инструментов в Python. Для логирования мы будем использовать встроенный модуль logging. Это ваш швейцарский нож для записи информации о ходе выполнения программы.

import logging

# Настройка логирования
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

# Пример использования
logging.info("Начало работы скрипта")
logging.error("Это ошибка")

        

Какие бывают уровни логирования?

• DEBUG: самая подробная информация, обычно интересная только при диагностике проблем.
• INFO: подтверждает, что процессы работают как ожидалось.
• WARNING: указывает на что-то неожиданное и потенциально проблематичное, но программа все еще работает.
• ERROR: только серьезные ошибки, которые вызвали сбой в выполнении функции.

Вы можете настраивать уровень логирования, чтобы фильтровать информацию. Например, если вас интересуют только ошибки и предупреждения, установите уровень logging.WARNING.

Пример логирования в Selenium

Давайте посмотрим, как логирование может применяться в проекте с Selenium:

from selenium import webdriver

# Настройка логирования
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

try:
    logging.info("Инициализация драйвера Chrome")
    driver = webdriver.Chrome()
    logging.info("Открытие страницы Python.org")
    driver.get("https://www.python.org")
    logging.info("Успешное завершение работы")
except Exception as e:
    logging.error(f"Произошла ошибка: {e}")
finally:
    driver.quit()

        

Этот пример демонстрирует, как интегрировать логирование в ваш Selenium-скрипт для отслеживания его выполнения. Мы используем try, except и finally для обработки ошибок — об этом подробнее ниже.

2. Обработка ошибок в Selenium

В программировании, как и в жизни, ошибки неизбежны. Однако мы можем контролировать, как мы на них реагируем. Использование try, except, else и finally позволяет элегантно перехватывать и обрабатывать ошибки.

Вспоминаем работу с исключениями

Давайте вспомним, как работает обработка исключений:

try:
    # Код, который может вызвать исключение
    result = 10 / 0
except ZeroDivisionError as e:
    # Код, который будет выполнен, если было вызвано исключение ZeroDivisionError
    logging.error("Деление на ноль невозможно!")
else:
    # Код, который будет выполнен, если исключение не возникло
    logging.info("Операция успешно выполнена")
finally:
    # Код, который будет выполнен в любом случае
    logging.info("Операции завершены")

        

Ваш код в блоке try будет выполнен. Если возникает ошибка типа ZeroDivisionError, код в блоке except будет выполняться, и программа не упадет. Блок else используется для выполнения кода, если исключение не было вызвано. И наконец, блок finally выполняется всегда, независимо от того, была ли ошибка.

Обработка ошибок в Selenium

Selenium предоставляет ряд встроенных исключений для обработки различных ситуаций. Вот несколько полезных исключений и как их использовать.

1. NoSuchElementException — возникает, если элемент не найден. Используйте его для проверки доступности элементов.
   Python

   
   try:
       element = driver.find_element(By.ID, "element_id")
   except NoSuchElementException:
       logging.warning("Элемент с ID 'element_id' не найден.")
   
                   

2. TimeoutException — возникает, если ожидаемый элемент не появляется на странице в течение установленного времени. Используется для управления ожиданиями.
   Python

   
   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC
   
   try:
       element = WebDriverWait(driver, 10).until(
           EC.presence_of_element_located((By.ID, "element_id"))
       )
   except TimeoutException:
       logging.error("Ожидание элемента с ID 'element_id' завершилось ошибкой.")
   
                   

3. ElementClickInterceptedException — возникает, если элемент заблокирован другим элементом и нажатие невозможно. Полезно при клике на элементы, которые могут быть закрыты всплывающими окнами.
   Python

   
   from selenium.common.exceptions import ElementClickInterceptedException
   
   try:
       driver.find_element(By.ID, "button_id").click()
   except ElementClickInterceptedException:
       logging.warning("Элемент заблокирован другим элементом и не может быть нажат.")
   
                   

Повторные попытки и логика восстановления

Для повышения устойчивости вашего скрипта можно реализовать механизм повторных попыток при возникновении ошибок. Например, если сайт временно недоступен или элемент не найден, скрипт может попробовать выполнить действие несколько раз, прежде чем завершить работу с ошибкой.

import time

def retry_find_element(driver, by, value, retries=3):
    attempt = 0
    while attempt < retries:
        try:
            element = driver.find_element(by, value)
            logging.info(f"Элемент найден: {value}")
            return element
        except NoSuchElementException:
            attempt += 1
            logging.warning(f"Попытка {attempt} не удалась, повтор через 2 секунды...")
            time.sleep(2)
    logging.error(f"Элемент не найден после {retries} попыток.")
    return None

        

Советы по устойчивости и надежности скриптов

• Используйте явные ожидания: Настройте явные ожидания для элементов, которые появляются не сразу. Это уменьшит количество ошибок из-за задержек в загрузке.
• Реализуйте блоки try-except на каждом этапе: Это позволит логировать ошибки и избегать прерывания скрипта в случае незначительных сбоев.
• Проводите повторные попытки для критически важных шагов: Если ошибка может быть временной, настройте повторные попытки с интервалом в несколько секунд.
• Логируйте каждый шаг: Логирование каждого ключевого этапа помогает анализировать ход выполнения скрипта и отлавливать скрытые ошибки.
• Настройте уведомления о критических ошибках: Например, можно отправить письмо или сообщение в чат, если в логах зафиксирована ошибка уровня CRITICAL.

3. Ведем логи с пользой

Теперь, когда мы научились логировать и обрабатывать ошибки, давайте сделаем еще один шаг и посмотрим, как извлечь максимальную пользу из логов.

Выбор места и формата логов

Используйте файл для хранения логов, если хотите сохранить их для анализа. Это как вести дневник, который вы можете перечитывать и анализировать, чтобы избежать будущих ошибок. Настроим логирование на запись в файл:

logging.basicConfig(filename='app.log', filemode='w', level=logging.INFO)

# Теперь все логи будут сохраняться в app.log
logging.info("Запись логов в файл начата.")

        

Анализ логов

Анализируйте ваши логи, чтобы выявить часто встречающиеся ошибки или проблемы производительности. Возможно, ваш скрипт сталкивается с проблемами только в определенные дни или часы, и это можно заметить только при детальном изучении логов. Этот анализ — ваш личный детективный процесс, который помогает лучше понимать, как ваше приложение работает.