파인튜닝
laya.train은 따로 가져옵니다(from laya.train import finetune, TrainConfig). 최상위
패키지에서 다시 내보내지 않습니다. laya-train은 그 명령줄입니다.
파인튜닝 가이드가 둘 다 쓰이는 모습을 보여 줍니다.
파인튜닝 실행하기
이름, 타입, 기본값과 코드는 영어로 유지합니다. 나머지는 번역입니다 (아직 번역하지 않은 항목은 영어 원문으로 표시됩니다).
TrainConfig
TrainConfig()학습 손잡이입니다. 기본값은 공개된 노트북과 같은 방식으로 학습합니다.
노트북의 유효 배치 64는 마이크로 배치당 8 x GPU 2개 x 누적 스텝 4입니다. 단일 장치에서는 micro_batch=8, grad_accum=8입니다.
max_len / head_max_len은 체크포인트 자체 구성이 기본값입니다. 무엇을 쓰든 저장된 구성에 기록되므로, 추론이 학습과 같은 예산을 봅니다. amp는 CUDA에서만 기본 켬이고, gradient_checkpointing은 amp를 따르는 것이 기본입니다. option_layout은 체크포인트 자체의 것(공개된 모든 것에서 "sequential")이 기본이며, "parallel"은 common.parallel_layout으로 학습하고 저장된 구성에 기록됩니다.
finetune
finetune(
data: str,
model_dir: str,
output_dir: str,
config: Optional[TrainConfig] = None,
device: Optional[str] = "auto",
) -> Dict[str, Any]전처리, 학습, 캘리브레이션, 저장을 수행하고 실행 요약을 반환합니다.
data는 {state, questions, gold} 또는 {state, questions, expected} 행의 JSONL 파일이거나, 텍스트와 레이블 열이 있는 CSV 파일입니다. model_dir은 laya.load가 읽는 레이아웃의 로컬 체크포인트 디렉터리입니다. output_dir의 결과는 laya.load(output_dir)로 로드됩니다.
매개변수
datastrmodel_dirstroutput_dirstrconfigOptional[TrainConfig]=NonedeviceOptional[str]="auto"
dry_run
dry_run(
data: str,
model_dir: str,
config: Optional[TrainConfig] = None,
) -> Dict[str, Any]모델 가중치를 로드하지 않고 데이터셋을 점검하고 항목을 만듭니다. 데이터셋 통계를 반환합니다.
매개변수
datastrmodel_dirstrconfigOptional[TrainConfig]=None
finetune의 두 절반
train_model
train_model(
model,
tok,
items: Sequence[Dict[str, Any]],
config: TrainConfig,
device: torch.device,
max_len: int,
head_max_len: int,
on_epoch_end: Optional[Callable[[int, float], None]] = None,
parallel: bool = False,
) -> List[float]items에 대해 model을 제자리에서 학습합니다. 각 에포크의 평균 손실을 반환합니다.
매개변수
modeltokitemsSequence[Dict[str, Any]]configTrainConfigdevicetorch.devicemax_leninthead_max_leninton_epoch_endOptional[Callable[[int, float], None]]=Noneparallelbool=False
calibration_records
calibration_records(
model,
tok,
items: Sequence[Dict[str, Any]],
device: torch.device,
max_len: int,
head_max_len: int,
batch_size: int = 16,
parallel: bool = False,
)fit_temperature_map용 (qtype, logits, target, k) 레코드로, 선택지는 정준 순서입니다.
매개변수
modeltokitemsSequence[Dict[str, Any]]devicetorch.devicemax_leninthead_max_lenintbatch_sizeint=16parallelbool=False
calibration_report
calibration_report(
records: Sequence[Tuple[int, Any, Any, int]],
temperature: Sequence[float],
) -> Dict[str, Dict[str, Any]]질문 유형별로: 캘리브레이션 항목이 몇 개였는지, 무엇이 피팅되었는지, 그리고 의심할 것.
records는 온도를 피팅한 calibration_records이고, temperature는 fit_temperature_map이 반환한 유형별 스칼라입니다. 각 유형은 캘리브레이션 항목에 대해 items, temperature, accuracy, mean_confidence(피팅된 온도에서의 최상위 확률)를 받고, issues 리스트를 받습니다. 아무 문제도 없어 보이면 비어 있습니다:
MIN_TYPE_N개 미만의 항목: 온도가 피팅되지 않고 1.0으로 남습니다.CALIB_WARN_N개 미만의 항목: 적은 증거로 피팅되었습니다.[TEMP_MIN, TEMP_MAX]클램프에 걸렸습니다.- 피팅되었는데도 1.0으로 바뀌지 않고 돌아왔습니다. 이는 보통 항목들이 적합에 고칠 것을 주지 않았다는 뜻입니다 -- 모델이 이미 그 항목들에 대해 확신하고 맞았을 때 나오는 결과입니다.
캘리브레이션 항목이 전혀 없는 유형은 이슈가 없습니다; 데이터에 없었던 것입니다.
매개변수
recordsSequence[Tuple[int, Any, Any, int]]temperatureSequence[float]
데이터 읽기
read_data
read_data(
path: str,
text_column: str = "text",
label_column: str = "label",
question_id: str = "label",
instructions: Optional[str] = None,
) -> List[Dict[str, Any]]JSONL 파일이나 CSV 파일에서 학습/평가 행을 읽습니다.
매개변수
pathstrtext_columnstr="text"label_columnstr="label"question_idstr="label"instructionsOptional[str]=None
rows_from_csv
rows_from_csv(
path: str,
text_column: str = "text",
label_column: str = "label",
question_id: str = "label",
instructions: Optional[str] = None,
) -> List[Dict[str, Any]]행마다 레이블 열 하나가 있는 CSV 파일을 {state, questions, expected} 행으로 읽습니다.
label_column의 서로 다른 레이블을 발견하고(나타난 순서를 보존) 그 레이블들을 criteria 리스트로 하는 choice 질문을 만들어 각 선택지를 한 번씩 렌더링합니다. utf-8-sig 인코딩을 사용하므로 엑셀의 UTF-8 BOM 헤더가 투명하게 처리됩니다.
매개변수
pathstrtext_columnstr="text"label_columnstr="label"question_idstr="label"instructionsOptional[str]=None
학습 항목 만들기
items_from_rows
items_from_rows(
tok,
rows: Iterable[Dict[str, Any]],
max_len: int,
head_max_len: int,
label_smoothing: float = 0.0,
) -> Tuple[List[Dict[str, Any]], Dict[str, int]]{state, questions, gold} 또는 {state, questions, expected} 행에서 항목을 만듭니다. (items, skipped)를 반환합니다.
skipped는 레이블이 붙었지만 항목이 될 수 없었던 질문을 이유별로 셉니다. empty_text, empty_label, invalid_question, invalid_target(to_internal, target_from_gold, target_from_expected에서 나온 ValueError), 그리고 make_item이 주는 이유들입니다. gold도 expected 항목도 없는 질문은 세지 않습니다 -- 그 행이 그냥 그것들을 레이블하지 않은 것입니다.
매개변수
tokrowsIterable[Dict[str, Any]]max_leninthead_max_lenintlabel_smoothingfloat=0.0
target_from_gold
target_from_gold(q: Dict[str, Any], gold_q: Dict[str, Any]) -> List[float]내부 질문(to_internal)에 대한 정규화된 타깃 분포를, 선택지 순서로 반환합니다.
gold_q["probabilities"]는 choice 레이블, noul의 "false"/"true", score의 단계 인덱스를 문자열로 키로 잡습니다 -- docs/finetune.md의 {state, questions, gold} 스키마입니다. 문자열이 아닌 choice 레이블은 그 JSON 키로도 조회됩니다. 확률 합이 0인 행은 스크립트에서처럼 균등이 됩니다. 음수이거나 유한하지 않은 확률은 ValueError를 발생시킵니다.
매개변수
qDict[str, Any]gold_qDict[str, Any]
target_from_expected
target_from_expected(
q: Dict[str, Any],
expected_val: Any,
label_smoothing: float = 0.0,
) -> List[float]단일 expected 답으로부터 정규화된 타깃 분포를, 선택지 순서로 반환합니다.
expected_val은 다음과 같습니다:
- choice 질문의 경우 choice 레이블(criteria와 일치하는 str 또는 값)
- noul 질문의 경우 불리언
- score 질문의 경우 정수 단계 인덱스 또는 단계 문자열
label_smoothing > 0이면 확률 질량을 균등하게 평활화합니다:
target[i] = (1 - eps) * one_hot[i] + eps / K.
매개변수
qDict[str, Any]expected_valAnylabel_smoothingfloat=0.0
to_internal
to_internal(qid: Any, question: Dict[str, Any]) -> Dict[str, Any]추론이 보는 그대로의 질문입니다: Agent._check_question 다음 Agent._to_internal.
다른 렌더링으로 학습하면 추론에서 결코 보지 못하는 선택지 텍스트를 모델에 가르치게 됩니다 -- 리스트 형식의 choice, 사용자 정의 noul labels, 문자열이 아닌 instruction입니다.
매개변수
qidAnyquestionDict[str, Any]
make_item
make_item(
tok,
q: Dict[str, Any],
target: Sequence[float],
state_ids: List[int],
head_max_len: int,
max_len: Optional[int] = None,
) -> Tuple[Optional[Dict[str, Any]], Optional[str]](item, None), 또는 질문이 적힌 그대로 학습될 수 없을 때 (None, reason)입니다.
q는 내부 질문(to_internal)입니다. 이유는 target_mismatch(타깃이 선택지마다 항목 하나씩을 갖지 않음), options_collapsed(head 예산이 두 선택지를 같은 토큰 span으로 남김, #538), 그리고 max_len이 주어졌을 때 options_beyond_max_len(head가 max_len보다 길어 build_sequence가 마지막 선택지들의 마커를 떨어뜨림 -- Agent가 추론에서 "only N of its M option markers fit"으로 거부하는 경우)입니다. 어느 것으로든 학습하면 모델이 다르게 보이지 않는 선택지들을 구별하도록 가르치거나, 마커보다 긴 타깃에서 배치를 크래시시킵니다.
매개변수
tokqDict[str, Any]targetSequence[float]state_idsList[int]head_max_lenintmax_lenOptional[int]=None
encode_item
encode_item(
tok,
item: Dict[str, Any],
max_len: int,
head_max_len: int,
option_order: Optional[List[int]] = None,
parallel: bool = False,
) -> Dict[str, Any]항목에 대한 모델 입력으로, 선택지는 option_order 순서이고 맞출 타깃이 함께 있습니다.
build_sequence는 선택지 option_order[s]를 슬롯 s에 넣으므로, 슬롯 순서 타깃은 target[option_order[s]]입니다 -- 추론에서 unpermute_probs가 하는 것의 역입니다.
매개변수
tokitemDict[str, Any]max_leninthead_max_lenintoption_orderOptional[List[int]]=Noneparallelbool=False
draw_option_order
draw_option_order(
item: Dict[str, Any],
rng: random.Random,
shuffle_types: Sequence[str],
) -> Optional[List[int]]타입이 shuffle_types에 있는 항목에 대한 무작위 순열, 그렇지 않으면 None(정준)입니다.
매개변수
itemDict[str, Any]rngrandom.Randomshuffle_typesSequence[str]
split_calibration
split_calibration(
items: Sequence[Any],
calib_max: int,
calib_frac: float,
seed: int,
) -> Tuple[List[Any], List[Any]](train, calibration)으로, 캘리브레이션 슬라이스는 어떤 학습보다도 먼저 떼어 냅니다.
실행이 이미 학습한 항목에 온도를 피팅하면 캘리브레이션이 아니라 피팅 자체를 측정하게 됩니다(docs/finetune.md). 분할은 seed와 항목 수에만 의존하므로, 모든 DDP 랭크와 모든 재실행이 같은 항목을 떼어 둡니다.
매개변수
itemsSequence[Any]calib_maxintcalib_fracfloatseedint
손실
soft_ce_loss
soft_ce_loss(
logits: torch.Tensor,
target: torch.Tensor,
mask: torch.Tensor,
) -> torch.Tensor타깃 분포에 대한 교차 엔트로피로, 각 행 자신의 선택지에 대해서만 계산합니다.
매개변수
logitstorch.Tensortargettorch.Tensormasktorch.Tensor
rlcd_loss
rlcd_loss(
logits: torch.Tensor,
target: torch.Tensor,
mask: torch.Tensor,
qtype: torch.Tensor,
sigma: float,
samples: int = 4,
w_sph: float = 0.75,
w_rps: float = 1.0,
) -> torch.Tensor노트북의 목적 함수: 잡음 있는 logits에 대한 정책 경사 항에 소프트 교차 엔트로피를 더한 것입니다.
0 평균 가우시안 잡음(sigma로 스케일되어 각 행의 선택지에 사영됨)을 detach된 logits에 더합니다. 각 표본은 타깃에 대해 proper_reward로 보상을 받고, 정규화된 advantage가 그 표본의 가우시안 로그 밀도에 가중치를 줍니다.
매개변수
logitstorch.Tensortargettorch.Tensormasktorch.Tensorqtypetorch.Tensorsigmafloatsamplesint=4w_sphfloat=0.75w_rpsfloat=1.0
체크포인트
resolve_checkpoint_dir
resolve_checkpoint_dir(model_id_or_path: str, token: Optional[str] = None) -> str로컬 경로, 모델 별칭('multilingual', 'english') 또는 Hub 저장소 ID를 로컬 디렉터리로 해석합니다.
매개변수
model_id_or_pathstrtokenOptional[str]=None
load_checkpoint
load_checkpoint(model_dir: str)로컬 체크포인트 디렉터리 또는 Hub ID로부터 (model, tokenizer, cfg)를, 모델은 CPU의 fp32로 가져옵니다.
매개변수
model_dirstr
save_checkpoint
save_checkpoint(model, tok, cfg: Dict[str, Any], path: str) -> Nonelaya.load가 읽는 레이아웃을 씁니다: fp16 가중치, 인코더 구성, 토크나이저, 구성.
매개변수
modeltokcfgDict[str, Any]pathstr