Как обучают нейросеть: что такое датасет простыми словами

Датасет — это организованный набор данных, который используют для обучения, проверки или оценки модели машинного обучения. Например:

• для распознавания рукописных цифр собирают их изображения;
• для анализа отзывов — тексты и информацию о том, положительные они или отрицательные;
• для прогноза стоимости квартиры — площадь, район, количество комнат, этаж и другие характеристики.

Датасет может выглядеть как таблица, коллекция изображений с описаниями, набор текстов или иметь другую структуру, подходящую для задачи.

Что находится внутри датасета

В набор могут входить числа, категории, тексты, изображения, аудио и видео. Иногда один пример состоит из нескольких частей. Например, фотография может сопровождаться информацией о том, что на ней изображено.

Например, фотографиям присваивают метки «кошка» и «собака», а отзывам — «положительный» и «отрицательный».

Но метки нужны не всегда. Существуют и другие подходы, в том числе обучение без учителя, при котором обучающий сигнал получают из самих данных.

Как размечают данные

Представь тысячу фотографий кошек и собак. Если модель должна научиться различать животных, изображения подписывают соответствующими метками. Этот процесс называют разметкой данных.

Способ разметки зависит от задачи. Для классификации достаточно указать класс объекта. При обнаружении объектов дополнительно отмечают их положение, например прямоугольной рамкой. При сегментации выделяют нужные области изображения. Для распознавания речи разметкой может быть текстовая расшифровка аудиозаписи.

Несколько погрешностей не всегда влияют на результат, но большое количество ошибок способно заметно снизить точность модели.

Обучение нейросети можно представить как повторяющийся цикл. Сначала модель получает пример и делает предсказание. Затем результат сравнивают с правильным ответом или другим обучающим сигналом. Функция потерь показывает, насколько предсказание отличается от нужного результата.

После этого алгоритм оптимизации изменяет внутренние параметры модели, чтобы уменьшить ошибку. Цикл повторяется много раз. Данные обычно подают небольшими порциями — батчами. Один полный проход по обучающей выборке называют эпохой.

Данные часто разделяют на три выборки:

• Тренировочная выборка используется для обучения.
• Валидационная нужна во время разработки: по ней сравнивают версии модели и выбирают настройки.
• Тестовую оставляют для финальной оценки. Она должна быть отделена от данных, которые использовали для обучения и настройки.

Если постоянно проверять изменения на одном и том же тестовом наборе и принимать решения по его результатам, модель постепенно подстроится и под него тоже. Тогда тест перестанет быть независимой проверкой. Но всё зависит от задачи и объёма доступных данных.

После обучения модель проверяют на тестовой выборке. Если она правильно классифицирует фотографии кошек и собак, это говорит о том, что она способна применять найденные закономерности к примерам, которых не использовала при обучении. Но результат зависит от того, насколько тест похож на реальные условия работы.

Например, модель, которую проверяли на хорошо освещённых фотографиях животных, может хуже справляться со снимками в темноте.

Есть и другая проблема — утечка данных. Если одинаковые или почти одинаковые изображения попадут и в тренировочную, и в тестовую выборку, результат окажется завышенным.

Если в наборе представлены только отдельные варианты объектов, модель может хуже работать с остальными. Например, система, которую обучали преимущественно на хорошо освещённых снимках, может хуже распознавать объекты в темноте. Поэтому при подготовке данных смотрят, насколько они отражают будущие условия работы модели.

Что бывает с плохими данными

В датасетах встречаются неправильные метки, дубликаты, пропущенные значения, ошибочные измерения и слишком однообразные примеры. Пропущенные значения обрабатывают по-разному: строки могут удалить, заменить подходящими значениями или обработать специальным способом.

Отдельная проблема — выбросы, то есть значения, которые заметно отличаются от остальных. Они не всегда являются ошибками: необычное значение может быть редким случаем.

Есть известный принцип garbage in, garbage out — «мусор на входе, мусор на выходе». Он означает, что проблемы исходных данных могут отразиться на результате работы модели.

Представь ученика, который выучил ответы на все задачи из учебника, но не понял принцип их решения. На знакомых заданиях он покажет отличный результат, а при изменении условий растеряется. С моделью происходит нечто похожее: на тренировочных данных результат высокий, но при изменении условий качество падает.

Переобучение может возникнуть, например, если модель слишком сложна для имеющегося количества данных. Чтобы снизить риск переобучения, используют регуляризацию и другие методы, ограничивающие чрезмерную подстройку модели под тренировочные данные. Валидационная выборка помогает отслеживать качество модели на новых примерах и, например, выбрать момент для остановки обучения.

Объём зависит от сложности задачи, типа данных, используемой модели, качества разметки и разнообразия примеров. Иногда достаточно сравнительно небольшого набора, особенно если используют уже обученную модель и адаптируют её под новую задачу. В других случаях требуются значительно большие объёмы.

Для больших языковых моделей объём текстовых данных часто измеряют в токенах — единицах, на которые токенизатор разбивает последовательность. Токеном может быть слово, часть слова, символ или другая последовательность.

Для учебного проекта небольшой датасет можно собрать без сложных технологий, достаточно сфотографировать объекты, записать аудио или собрать тексты. Затем материалы приводят к нужному формату и, если используется обучение с учителем, добавляют метки. Для фотографий это могут быть названия классов, для аудио — расшифровки, для обнаружения объектов — координаты рамок.

Где взять готовый датасет

Для практики можно использовать открытые коллекции данных. Например, наборы для работы с изображениями, текстами и аудио есть на Kaggle и Hugging Face. Перед использованием стоит изучить описание датасета и его лицензию. Открытая публикация не всегда даёт право использовать материалы для любых целей.

У Hugging Face для многих датасетов есть Dataset Cards — страницы с информацией о содержании набора, его назначении, размере, языке, лицензии и особенностях использования. Для первого проекта также пригодится документация библиотек машинного обучения, например TensorFlow и PyTorch.

Если датасет содержит информацию о людях, нужно учитывать требования законодательства о персональных данных и условия, на которых эти данные были собраны. Особого внимания требуют фотографии лиц, голосовые записи, переписка и другие материалы, по которым человека можно идентифицировать. Правила зависят от страны, цели проекта и обстоятельств сбора данных.

Для защиты приватности используют, в частности, анонимизацию и псевдонимизацию. При анонимизации данные обрабатывают так, чтобы идентифицировать человека было невозможно с учётом доступных средств и разумно используемых способов. При псевдонимизации идентификаторы заменяют другими обозначениями, но при наличии дополнительной информации личность можно установить.

Данные задают материал, на котором модель учится находить закономерности и делать предсказания. Поэтому при подготовке датасета важно учитывать качество примеров, их разнообразие и соответствие условиям работы системы.