Проверка корректности загруженных данных

Загрузка данных из внешних источников — это как приглашение подельников на дело. Вы хотите убедиться, что все пришли с правильным настроем — или, в нашем случае, в нужном формате. Даже небольшая ошибка в загружаемом файле может привести к часам отладки, неправильным результатам запросов или просто испортить данные в таблице.

Иногда в файл могут затесаться пустые строки, лишние пробелы, дубликаты или, скажем, текст там, где должна быть цифра. А если ещё и кодировка окажется неподходящей, таблица может просто отказаться принимать файл.

Чтобы этого не произошло, важно научиться заранее проверять данные на корректность — ещё до загрузки или сразу после неё. Сейчас мы разберём, как это делать.

Проверка структуры данных

1. Сравнение структуры таблицы с загруженными данными

Самый первый шаг — убедиться, что данные загружены в соответствии со структурой вашей таблицы. Например, вы создавали таблицу students для хранения информации о студентах:

CREATE TABLE students (
    student_id SERIAL PRIMARY KEY,
    first_name VARCHAR(50) NOT NULL,
    last_name VARCHAR(50) NOT NULL,
    birth_date DATE,
    email VARCHAR(100) UNIQUE
);

Если вы загрузили данные в эту таблицу, для начала давайте просто посмотрим, что в ней находится:

SELECT * FROM students;

Возвращенные строки покажут нам все записи в таблице. Если структура данных в CSV-файле не соответствует структуре таблицы, вы увидите ошибки уже на этапе загрузки. Однако даже если ошибок не было, это не значит, что данные загружены идеально.

2. Проверка типов данных

Используйте функции PostgreSQL для проверки содержимого колонок. Например:

Проверка пустых значений (NULL):

Если в вашей таблице есть обязательные поля NOT NULL, вам нужно убедиться, что они действительно заполнены. Например:

SELECT * FROM students WHERE first_name IS NULL OR last_name IS NULL;

Проверка форматов данных:

Иногда данные могут быть загружены как строки, хотя должны быть датами или числами. Чтобы проверить это, используйте соответствующие функции PostgreSQL, например:

SELECT * FROM students WHERE birth_date::DATE IS NULL;

Этот запрос покажет строки, где поле birth_date нельзя привести к типу DATE.

Проверка на наличие ошибок

1. Поиск дубликатов

Дублирующиеся записи — одна из самых распространённых проблем. Предположим, что ваши данные должны быть уникальны по адресу электронной почты (email). Чтобы проверить на наличие дубликатов, используйте следующий запрос:

SELECT email, COUNT(*)
FROM students
GROUP BY email
HAVING COUNT(*) > 1;

Этот запрос покажет вам все повторяющиеся email, а также количество их вхождений. Если ваш столбец email настроен как UNIQUE, то загрузка таких данных вызовет ошибку.

2. Проверка некорректных данных

Если вы ожидаете, что поле birth_date содержит только даты рождения, вам нужно убедиться, что все значения находятся в допустимом интервале. Например:

SELECT * FROM students
WHERE birth_date < '1900-01-01' OR birth_date > CURRENT_DATE;

Этот запрос покажет строки, где дата рождения слишком далека от реальности.

Работа с некорректными данными

После того как вы нашли проблемы, нужно их исправить. Давайте разберем, как это сделать.

1. Удаление некорректных данных

Если обнаружилось, что в таблице есть строки с пустыми именами, вы можете их удалить:

DELETE FROM students
WHERE first_name IS NULL OR last_name IS NULL;

Но удалять данные следует с осторожностью! Так как они могут быть важны, возможно, вместо удаления лучше стоит их обновить.

2. Обновление данных

Если вы нашли строки с отсутствующими данными, можно их обновить на основе других источников или предположений. Пример:

UPDATE students
SET email = 'unknown@example.com'
WHERE email IS NULL;

Визуализация данных для анализа

1. Использование агрегатных функций

Иногда для проверки данных полезно посчитать агрегаты. Например, чтобы узнать, сколько студентов родилось в каждом году, выполните:

SELECT EXTRACT(YEAR FROM birth_date) AS year, COUNT(*)
FROM students
GROUP BY year
ORDER BY year;

Этот запрос покажет вам распределение по годам и может указать на аномалии (например, если в одном году появилась подозрительно большая группа студентов).

2. Проверка данных с помощью ограничений

Убедитесь, что данные соответствуют ограничениям, заданным в таблице, например, следующим образом:

Проверка на уникальность:

SELECT DISTINCT email
FROM students;

Если количество уникальных значений меньше, чем общее количество строк — у вас есть дубликаты.

Проверка диапазонов значений:

SELECT * FROM students
WHERE LENGTH(first_name) > 50 OR LENGTH(last_name) > 50;

Это поможет убедиться, что имена студентов не превышают лимита в 50 символов.

Что делать, если всё плохо?

Иногда данные настолько плохи, что их проще загрузить заново.

1. Удалите все строки из таблицы:

   TRUNCATE TABLE students;
   

2. Исправьте исходный CSV-файл с помощью Python, Excel или любого другого инструмента.

3. Загрузите данные заново с помощью команды COPY.

Практическое применение

Навыки валидации данных пригодятся вам каждый раз, когда вы работаете с внешними источниками. На собеседованиях, например, вас вполне могут попросить составить SQL-запрос для проверки качества входящих данных — это обычная практика. В реальных проектах ситуация ничуть не проще: данные от клиента или другого отдела почти всегда приходят с ошибками, и именно вы станете тем, кто заметит их первым и сможет всё поправить до того, как дело дойдёт до багов.

Регулярная проверка данных помогает поддерживать базу в порядке — и это не просто формальность, а реальная экономия времени, нервов и усилий всей команды. Так что если вы умеете быстро понять, в порядке ли данные, — считайте, вы на шаг ближе к званию мастера PostgreSQL.

2

Задача

SQL SELF, 24 уровень, 2 лекция

Недоступна

Проверка наличия пустых значений

Проверка наличия пустых значений

Открыть