Fine-tuning большой языковой модели за 1 час: пошаговая инструкция с использованием QLoRA

Fine-tuning (дообучение) большой языковой модели (LLM) под свои задачи перестал быть уделом крупных корпораций с парком GPU. Благодаря таким техникам, как QLoRA, это стало возможным на обычном потребительском графическом ускорителе всего за час. Эта инструкция проведет вас через весь процесс — от выбора модели до получения готового адаптированного ассистента — максимально быстро и практично.

Шаг 0: Подготовка и понимание концепции. QLoRA (Quantized Low-Rank Adaptation) — это прорывная методика, которая позволяет тонко настраивать огромные модели, занимающие десятки гигабайт, на видеокарте с 8-24 ГБ памяти. Секрет в том, что базовая модель загружается в 4-битной квантованной версии (что сильно экономит память), а дообучаются только небольшие адаптерные слои (LoRA), которые затем можно наложить на оригинальную модель. Нам понадобится: Python 3.10+, видеокарта NVIDIA с 8+ ГБ VRAM (например, RTX 3070/4070), 10-20 ГБ свободного места на диске и готовый датасет.

Шаг 1: Выбор модели-основы. Для большинства задач, связанных с диалогом или инструкциями, идеально подходят модели семейства Mistral (7B параметров) или Llama 3 (8B). Они показывают отличное качество при относительно небольшом размере. Мы выберем `mistralai/Mistral-7B-Instruct-v0.2`. Эта модель уже оптимизирована для формата диалога, что упростит нам дальнейшую работу.

Шаг 2: Подготовка датасета. Это самый важный этап. Качество fine-tuning'а на 80% зависит от данных. Вам нужно 500-1000 примеров в формате «инструкция — ответ». Например, для дообучения модели как ассистента по документации вашего API:
Инструкция: «Опиши, как авторизоваться в API используя OAuth 2.0».
Ответ: «Для авторизации необходимо выполнить three-legged flow... Конечный access_token передается в заголовке Authorization: Bearer ».
Формат данных — JSONL, где каждая строка это JSON-объект: `{"instruction": "...", "input": "", "output": "..."}`. Можно использовать `input` для дополнительного контекста.

Шаг 3: Настройка окружения. Создайте виртуальное окружение и установите ключевые библиотеки:
`pip install torch transformers accelerate peft bitsandbytes datasets trl scipy`
Библиотеки `peft` (от Hugging Face) реализует LoRA, `bitsandbytes` отвечает за 4-битную квантозацию, а `trl` (Transformer Reinforcement Learning) предоставляет удобные скрипты для SFT (Supervised Fine-Tuning).

Шаг 4: Написание скрипта обучения. Вот упрощенный, но полностью рабочий каркас скрипта на Python с использованием `trl`:

```python
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer
import torch

# 1. Загрузка модели и токенизатора в 4-битном режиме
model_name = "mistralai/Mistral-7B-Instruct-v0.2"
model = AutoModelForCausalLM.from_pretrained(
 model_name,
 load_in_4bit=True,
 device_map="auto",
 torch_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token

# 2. Подготовка модели к PEFT обучению
model = prepare_model_for_kbit_training(model)

# 3. Настройка конфигурации LoRA
peft_config = LoraConfig(
 r=16,  # Rank матриц адаптера
 lora_alpha=32,
 lora_dropout=0.05,
 bias="none",
 task_type="CAUSAL_LM",
 target_modules=["q_proj", "v_proj"]  # Какие слои дообучать
)

# 4. Загрузка датасета
dataset = load_dataset("json", data_files={"train": "my_dataset.jsonl"})

# 5. Определение аргументов обучения
training_args = TrainingArguments(
 output_dir="./results",
 num_train_epochs=3,
 per_device_train_batch_size=4,
 gradient_accumulation_steps=2,
 warmup_steps=50,
 logging_steps=25,
 learning_rate=2e-4,
 fp16=True,
 save_steps=100,
 optim="paged_adamw_8bit"
)

# 6. Создание тренера
trainer = SFTTrainer(
 model=model,
 args=training_args,
 train_dataset=dataset["train"],
 peft_config=peft_config,
 tokenizer=tokenizer,
 formatting_func=lambda example: f"{example['instruction']}\n\n{example['output']}{tokenizer.eos_token}"
)

# 7. Запуск обучения
trainer.train()
```

Шаг 5: Запуск и мониторинг. Запустите скрипт: `python train.py`. Обучение на 1000 примерах с указанными параметрами займет около 45-60 минут на RTX 4070. Следите за логами: ключевая метрика — `loss` (потери), она должна устойчиво снижаться. Если loss не падает или скачет, возможно, слишком высокий learning rate или проблемы с датасетом.

Шаг 6: Сохранение и тестирование. После обучения сохраните адаптеры: `model.save_pretrained("./my_mistral_lora")`. Для инференса нужно загрузить базовую модель и наложить адаптеры:
```python
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained(model_name, load_in_4bit=True, device_map="auto")
model = PeftModel.from_pretrained(base_model, "./my_mistral_lora")
```
Теперь ваша модель готова отвечать в контексте ваших данных. Протестируйте ее на примерах, которых не было в обучающей выборке.

Этот быстрый цикл позволяет итеративно улучшать модель, добавляя новые данные и перезапуская обучение. Технология QLoRA демократизировала доступ к кастомизации LLM, открывая новые возможности для продуктов, поддержки и автоматизации.