Fine-tuning больших языковых моделей: секреты мастеров и практические примеры на Python

Fine-tuning (дообучение) больших языковых моделей (LLM), таких как GPT, LLaMA или BERT, — это искусство адаптации мощного, но общего инструмента под специфические задачи. В то время как prompt-инжиниринг позволяет направлять модель «снаружи», fine-tuning меняет ее внутренние веса, создавая специализированную версию. Мастера этого процесса знают, что успех зависит не только от вычислительных ресурсов, но и от тонкой подготовки данных, выбора стратегии и предотвращения катастрофического забывания. Разберем ключевые секреты с примерами кода на Python с использованием библиотек Hugging Face Transformers и PEFT.

**Секрет 1: Качество и разнообразие данных — основа всего.** Недостаточно просто наскрести текст по теме. Данные для дообучения должны быть репрезентативными для целевого домена и формата вывода. «Мусор на входе — мусор на выходе» здесь работает на все 100%. Для задачи классификации отзывов на тональность (sentiment analysis) на основе русскоязычной модели (например, ruBERT) нужно тщательно сбалансировать датасет.

Пример подготовки датасета:
from datasets import Dataset
import pandas as pd

data = [
 {"text": "Отличный товар, всем рекомендую!", "label": 1},
 {"text": "Полная ерунда, деньги на ветер.", "label": 0},
 # ... тысячи примеров
]
df = pd.DataFrame(data)
dataset = Dataset.from_pandas(df)
# Разделение на train/test
dataset = dataset.train_test_split(test_size=0.1)

**Секрет 2: Выборочное дообучение (Parameter-Efficient Fine-Tuning — PEFT).** Полное дообучение всех параметров многомиллиардной модели требует колоссальных ресурсов. Мастера используют методы PEFT, такие как **LoRA (Low-Rank Adaptation)**. LoRA не меняет исходные веса модели, а добавляет к ним небольшие адаптивные матрицы низкого ранга, которые и обучаются. Это сокращает количество обучаемых параметров в десятки тысяч раз.

Пример настройки LoRA для модели LLaMA с помощью библиотеки peft:
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, TaskType
import torch

model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, load_in_8bit=True, device_map="auto") # Используем 8-битную квантизацию

lora_config = LoraConfig(
 task_type=TaskType.CAUSAL_LM,  # Для генерации текста
 r=8,  # Ранг адаптивных матриц (маленький)
 lora_alpha=32,  # Коэффициент масштабирования
 lora_dropout=0.1,
 target_modules=["q_proj", "v_proj"]  # К каким слоям внимания применять LoRA
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()  # Увидим, что обучается