Fine-tuning большой языковой модели за 1 час: пошаговая инструкция с кодом на Python

Fine-tuning (дообучение) большой языковой модели (LLM) кажется уделом машинных learning-инженеров с кластерами GPU. Однако в 2024-2025 годах благодаря техникам адаптивного обучения (LoRA, QLoRA) и доступным мощностям (например, Google Colab Pro) это стало задачей, которую может выполнить за один час любой разработчик, имеющий четкую задачу и подготовленный датасет. Эта инструкция проведет вас через весь процесс дообучения модели, например, для классификации технических тикетов или генерации кода в определенном стиле, используя бесплатные инструменты и фокус на практике.

Шаг 0: Подготовка и выбор инструментов. Вам понадобится: аккаунт в Google Colab (желательно Pro для доступа к GPU T4 или V100), базовое знание Python, ваш датасет и четкая задача. Мы будем использовать библиотеку `transformers` от Hugging Face и фреймворк `peft` для эффективной настройки. Модель выберем относительно компактную, но мощную, например, `google/flan-t5-base` (около 250 млн параметров) — она отлично подходит для инструктивных задач и работает даже на бесплатном Colab.

Шаг 1: Подготовка датасета (15 минут). Качество fine-tuning на 80% зависит от качества данных. Вам нужно 500-1000 пар «инструкция — ожидаемый ответ» в формате JSON или CSV. Например, для задачи перевода запроса с естественного языка в SQL: `{"instruction": "Выведи имена всех пользователей из Москвы", "input": "", "output": "SELECT full_name FROM users WHERE city = 'Moscow';"}`. Для классификации: `{"instruction": "Классифицируй тикет:", "input": "Не работает кнопка отправки формы на странице оплаты", "output": "UI Bug"}`. Очистите данные, приведите к единому формату. Загрузите датасет в Colab или на Google Drive.

Шаг 2: Настройка окружения и загрузка модели (10 минут). В новом ноутбуке Colab выполните установку:
```
!pip install -q transformers datasets accelerate peft bitsandbytes
```
Затем импортируйте библиотеки и загрузите модель с квантованием (это резко сократит потребление памяти, метод QLoRA):
```
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, TaskType
import torch

model_name = "google/flan-t5-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name, load_in_8bit=True, device_map="auto")
```
Квантование в 8-bit (`load_in_8bit=True`) позволяет уместить большую модель в память ограниченного GPU.

Шаг 3: Применение LoRA (5 минут). Вместо дообучения всех миллиардов параметров мы «встраиваем» крошечные адаптивные слои. Настраиваем конфигурацию и применяем ее к модели:
```
lora_config = LoraConfig(
 r=16,  # Rank матриц адаптации (меньше -> быстрее, но менее гибко)
 lora_alpha=32,
 target_modules=["q", "v"], # Какие модули модели адаптировать (для T5 это 'q' и 'v')
 lora_dropout=0.05,
 bias="none",
 task_type=TaskType.SEQ_2_SEQ_LM
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters() # Увидите, что обучается