Введение в массовую загрузку данных

Представьте, что вам прислали CSV-файл с информацией о студентах, например, из другой базы данных или стороннего приложения. Копировать каждую запись вручную? Нет уж, спасибо. Вот тут-то и появляется необходимость массовой загрузки данных.

Вот несколько сценариев, где массовая загрузка данных становится вашим спасением:

• Миграция данных: нужно перенести данные из одной системы в другую. Например, из Excel или другой базы данных в PostgreSQL.
• Инициализация базы данных: заполнение вашей базы стартовыми данными, например, список городов, курсов или категорий продуктов.
• Интеграция с внешними системами: регулярное добавление новых данных, например, обновление данных от третьих лиц через файл.
• Обновление больших объемов данных: нужно заменить устаревшие данные на обновленные.

Пока всё понятно? Если да, двигаемся дальше!

Основные подходы к массовой загрузке данных

Прежде чем погрузиться в детали, давайте коротко обсудим, какие вообще есть способы добавить в базу не одну-две строки, а сразу много. Мы разберём, как это можно сделать с помощью SQL-запросов, а затем посмотрим на более удобный и современный способ — загрузку данных из файлов.

SQL-запросы для вставки данных

Вы уже знаете, что для добавления данных используется команда INSERT INTO. Это отлично работает, если записей немного. Например:

INSERT INTO students (id, name, age, course)
VALUES (1, 'Otto Lin', 20, 'Программирование');

Однако если речь идёт о десятках, сотнях или тысячах строк, такой способ становится неэффективным. Конечно, это можно автоматизировать на уровне кода, но вручную поддерживать такой объём вставок затруднительно и неудобно.

Загрузка из файлов

Именно поэтому часто используют загрузку данных из файлов, таких как CSV (Comma-Separated Values). Это простой текстовый формат, в котором каждая строка представляет собой отдельную запись, а значения разделены запятыми или точками с запятой.

Пример содержимого CSV-файла:

id,name,age,course
1,Otto Lin,20,Программирование
2,Maria Chi,21,Дизайн
3,Alex Ming,19,Математика

Такой формат хорошо читается как человеком, так и программами. CSV можно открыть в Excel, обработать в Python или другом языке, и без труда импортировать в базу. Массовая загрузка данных из файла происходит значительно быстрее по сравнению с ручной вставкой и снижает вероятность ошибок при вводе.

Подготовка к массовой загрузке

Секрет успешной загрузки в подготовке. Мы подготовим базу данных для приема данных, проверим соответствие структуры и данные на корректность.

Проверка структуры таблиц

Прежде всего, убедитесь, что в вашей базе данных есть таблица, которая соответствует структуре файла. Например, если вы загружаете студентов, у вас должна быть таблица с подходящими столбцами.

Пример таблицы для загрузки данных о студентах:

CREATE TABLE students (
    id SERIAL PRIMARY KEY,
    name TEXT NOT NULL,
    age INTEGER NOT NULL,
    course TEXT
);

Важные моменты:

• Убедитесь, что типы данных в столбцах совпадают с данными в вашем файле. Если age это число, то в CSV в соответствующем столбце тоже должны быть только числа.
• Столбцы с ограничениями (NOT NULL, UNIQUE) требуют особо аккуратной подготовки данных.

Проверка данных

Теперь кратко о данных. Вот что нужно проверить перед загрузкой:

1. Отсутствие пустых строк или некорректных значений. Например, строка: 12,,20,Программирование вызовет ошибку, так как у нас name — это обязательное поле.

2. Соответствие разделителей. Если в вашем CSV используется запятая (,), убедитесь, что она настроена правильно. Если вместо запятых используются точки с запятой (;), это нужно указать при загрузке данных.

3. Кодировка. PostgreSQL ожидает файлы в UTF-8. Если ваш файл в другой кодировке (например, Windows-1251), его нужно преобразовать.

Маленькая программистская шутка для разгрузки

Почему программистам так нравится использование CSV? Потому что после долгих часов работы с JSON, они наконец-то видят "простые" данные... пока не встретят запятую в тексте.

Практическое применение массовой загрузки

В реальных проектах массовая загрузка применяется повсеместно. Например:

• При обновлении каталога товаров для интернет-магазина. CSV-файл с тысячами товаров можно загрузить за секунды.
• При миграции клиентов из одной CRM-системы в другую. Все данные о клиентах, их адресах и заказах загружаются из CSV в PostgreSQL.
• В аналитике, где необходимо загрузить данные о продажах за месяц для анализа.

Теперь, когда вы понимаете, зачем это нужно, и как к этому подготовиться, мы можем двигаться дальше к конкретным инструментам загрузки данных, таким как команда COPY. Но об этом в следующей лекции.

2

Задача

SQL SELF, 23 уровень, 0 лекция

Недоступна

Загрузка данных вручную с использованием INSERT INTO

Загрузка данных вручную с использованием INSERT INTO

Открыть