LoRA 進階訓練
PixAI 進階訓練完整指南:訓練流程、圖片準備、參數設定與 kohya 對照、費用與訓練時間,以及發布與管理。
PixAI 進階訓練(Advanced)適合需要更細緻控制 LoRA 訓練結果的使用者。您可以逐張檢查並修改圖片描述,並自行設定訓練 Step、學習率、細節容量(Rank)、Alpha 與 Batch size;所有參數的預設值皆與基礎訓練相同。
若您熟悉 kohya / sd-scripts等社群LoRA訓練工具,請先留意三項差異:進階訓練以總步數計算訓練量,不提供 epoch 與 repeats;Alpha 只能設為 Rank 的一半、相同或兩倍;圖片描述由 PixAI 自動產生後,再由您逐張修改。
您可以在另一個分頁開啟進階訓練,對照本指南進行設定:
重點摘要
- 訓練量以總步數計算:「訓練 Step」可設定為 50–800,預設 325,不提供 epoch 與 repeats。
- 學習率只有一個:預設 6e-4,作用於整個網路,無法分模組設定。
- Alpha 共有三個檔位:只能設為 Rank 的一半、相同或兩倍,預設為 Rank 的一半;點數消耗主要取決於訓練 Step 與更新平滑度(Batch size);學習率、細節容量(Rank)與 Alpha 不影響點數。
- 圖片描述須先自動產生:描述為自然語言,而非 Danbooru 標籤;產生後可逐張修改。
- 觸發詞會自動加入每段描述的開頭:在第一個步驟「基本設定」中填寫後,系統會自動將觸發詞加入每張圖片的描述,無須逐張手動加入。
- 自動描述與訓練分開計費:已有描述的圖片不會重複計費;訓練失敗時,訓練本身不收取費用;刪掉已有描述的圖片不會退費。
訓練流程
進階訓練分為三個步驟:基本設定、描述、進階參數。整體順序與社群常用的 LoRA 訓練流程相近,主要差異在於圖片描述(caption)由 PixAI 產生,且部分設定在訓練建立後即無法變更。
基本設定
填寫 LoRA 名稱,選擇 LoRA 類型(角色、服裝、畫風或其他)與基礎模型(Tsubaki.2 或 Tsubaki.3),並設定觸發詞。送出訓練前,可隨時返回此步驟修改。送出後若仍在排隊,可先取消訓練,任務會變回草稿,即可返回此步驟修改;一旦開始訓練,LoRA 類型、基礎模型與觸發詞即固定,如需變更,請重新建立訓練。LoRA 名稱可於發布後在「編輯模型」中修改。觸發詞會在訓練時加入每段描述,請於開始訓練前確認。
描述
從裝置上傳、從生成紀錄選取,或從過往的進階訓練匯入圖片。從過往訓練匯入時,原有的圖片描述會一併帶入,無須重新產生,也不會收取描述費用;匯入後仍可逐張修改。基礎訓練的資料集無法匯入進階訓練。只要進階訓練的草稿還在,它的資料集就可以匯入。以進階訓練建立的 LoRA 即使被刪除,其圖片與描述仍會保留,之後仍可匯入;但刪除草稿時,資料集會一併清除,之後建立新訓練時就無法再從中直接匯入。如果之後還想用同一組圖片重新訓練,請保留草稿,或自行備份圖片;描述則需重新產生,並依張數收取描述費用。
進階參數
設定訓練 Step、學習率、細節容量、Alpha與更新平滑度,確認費用後,按下「開始訓練」。送出後、訓練開始前(排隊中),如需修改可於訓練任務中取消訓練:訓練費用會全額退還,已支付的描述費用不予退還;任務會變回草稿,圖片、描述與基本設定都可以繼續修改後重新送出。一旦開始訓練,就無法取消。
描述會自動儲存;如中途離開頁面,可從訓練任務繼續。自動描述、排隊及訓練進行期間,您都可以關閉頁面。
與 kohya 的使用習慣相比,有以下兩點不同:
- 自動描述為獨立的計費階段:每次對尚未描述的圖片執行自動描述,費用為100 × 本次描述張數 + 500點數,並在開始前顯示,描述產生後可逐張修改;已完成自動描述的圖片,即使之後刪除,也不會退還點數。
- 已有描述的圖片不會重複計費:自動描述只會處理尚未產生描述的圖片;之後追加圖片時,僅針對新增的部分計費。
準備圖片
圖片集決定 LoRA 能學到什麼。挑選圖片時,請讓希望 LoRA 記住的特徵在每張圖中保持一致,其餘內容則盡量多樣,模型才能分辨哪些是 LoRA 本身、哪些只是偶然出現的內容。以角色 LoRA 為例:
- 角度:包含正面、側面、背面,以及俯視、仰視等不同視角。只有正面的圖片集,生成側面或背面時容易走樣。
- 動作與姿勢:涵蓋站、坐、走動、伸手等不同姿勢。若整組圖片都是同一個姿勢,LoRA 會傾向固定在該姿勢。
- 構圖與距離:混合臉部特寫、半身與全身。只有特寫時,模型較難學到服裝與體型。
- 表情:若希望生成時能控制表情,請放入不同表情的圖片。
- 背景:背景盡量多樣。若大部分圖片都使用同一個背景,背景也會被一併學入。
- 畫質:選擇清晰、沒有浮水印與文字的圖片。多格拼圖或分鏡圖請先裁切成單張再加入。
- 避免重複:不要放入幾乎相同的圖片,例如同一張圖的不同尺寸版本,重複的圖片會被過度學習。
- 角色設計:角色只使用同一版本的設計;盡量去除水印、簽名、對話框;去掉模糊或畫錯的圖;裁掉大片留白。
畫風 LoRA 的思路相反:人物、場景與題材盡量多樣,只讓畫風保持一致。
一個 LoRA 學習多個角色
若希望一個 LoRA 同時學習多個角色,例如角色 A 與角色 B,圖片集需包含三類圖片:只有 A 的圖片、只有 B 的圖片,以及 A 與 B 同框的圖片。只有單人圖片時,模型不容易在同一畫面中分別畫出兩人,常見的結果是兩人的特徵混在一起;只有同框圖片時,則難以單獨生成其中一人。三類圖片的張數不必完全相同,但每一類都應有足夠的數量(每類至少 10 張,各類數量盡量接近)。
目前每個 LoRA 只能設定一個觸發詞,各角色需以描述中的稱呼區分。請為每個角色選定固定的稱呼,並在整組圖片中一律使用同一個稱呼;各角色始終不變的特徵(例如髮色、瞳色)同樣不需描述,讓這些特徵歸入各自的稱呼。同框圖片中,請分別說明兩人的位置與動作。生成時,於提示詞中寫出對應的稱呼,即可指定要畫出哪個角色。
參數總覽:進階訓練與 kohya / sd-scripts 對照
| 介面名稱 | 對應的通用參數 | 預設 / 可選 | 說明 |
|---|---|---|---|
| 訓練 Step | max_train_steps | 325;範圍 50–800,以 5 為單位 | 以總步數計算,不提供 epoch 與 repeats;資料集中每張圖片被抽到的機率相同。超過 500 Step 時,介面會提示訓練時間較長、失敗率也較高。 |
| 學習率 | learning_rate / unet_lr | 6e-4;範圍 5e-5–1e-3 | 僅有一個學習率,作用於整個網路。 |
| 細節容量(Rank) | network_dim | 64;可選 8 / 16 / 32 / 64 | 主要影響檔案大小與可保留的細節量,對訓練時間影響很小。 |
| Alpha | network_alpha | Rank 的一半(Rank 為 64 時即 32);可選 Rank 的一半、相同或兩倍 | 不可填入任意數值;Alpha 不影響點數消耗。 |
| 更新平滑度(Batch size) | batch_size | 2;可選 1 / 2 / 4 | 數值越大,每次更新參考的圖片越多,更新越平穩。受訓練叢集資源限制,目前不開放更大的數值。 |
| 觸發詞 | trigger word / 類別 token | 必填,無最少字元限制,上限 256 個字元;不可有連續空格,開頭與結尾不可為空格。 | 於任務開始時基本設定中填寫一次,訓練時會自動加入每段描述的開頭;生成時於提示詞中加入觸發詞即可啟用。 |
| 圖片描述(Caption) | caption 檔 | 自動產生,可逐張修改 | 由 PixAI 的描述模型產生自然語言描述,而非 Danbooru 標籤。須先自動產生描述,才能逐張修改;修改後亦可還原為自動描述。 |
參數說明
訓練 Step(訓練長度)
訓練 Step 決定模型學習圖片的次數,預設為 325,可在 50–800 之間以 5 為單位調整。介面建議:除非圖片集特別大或特別小,否則維持 325 即可。
進階訓練不提供 epoch 與 repeats,資料集中每張圖片被抽到的機率相同。若需換算為 kohya 的設定習慣,可使用以下方式估算每張圖片的平均訓練次數:
每張圖片平均訓練次數 ≈ 訓練 Step × 換算係數 ÷ 圖片張數
- 調高:模型會更深入地學習畫面特徵,但也可能開始複製訓練圖片的背景與姿勢。訓練時間與點數消耗也會隨之增加。
- 調低:訓練時間較短,但可能無法學到所需的特徵。
- 超過 500 Step 時,介面會提示訓練時間較長,一般不建議超過。
學習率
學習率決定模型每次學習時的調整幅度,預設為 6e-4(0.0006),範圍為 5e-5(0.00005)至 1e-3(0.001)。進階訓練僅有一個學習率,作用於整個網路,無法如 kohya 般分模組設定。學習率不影響點數消耗。
- 調高:學習速度較快,但可能過衝,導致畫面不穩定。
- 調低:學習較為謹慎,但需要更多 Step。
- 介面建議:若結果看起來雜亂或過曝,請調低學習率。
細節容量(Rank)
細節容量對應 kohya 的 network_dim,代表 LoRA 可承載的細節量,可選 8 / 16 / 32 / 64,預設為 64。介面上的標示依序為「很輕」「較輕」「均衡」「推薦」。Rank 主要影響檔案大小與可保留的細節量,對訓練時間的影響很小,也不影響點數消耗。
- 調高:可容納更多細節,但也會更快記住訓練圖片的背景。
- 調低:檔案較小,但可能無法學會複雜的花紋與飾品。
Alpha
Alpha 對應 kohya 的 network_alpha,決定每次訓練更新對 LoRA 的影響程度。為了與 Rank 保持一致,Alpha 只能設為 Rank 的一半、相同或兩倍,介面上分別標示為「柔和」「平衡」「銳利」,預設為 Rank 的一半。變更 Rank 時,Alpha 會維持原本的檔位(柔和、平衡或銳利),數值隨之自動調整。Alpha 不影響點數消耗。
- 調高:學習速度較快,但也會同樣快速地學到圖片中的瑕疵。
- 調低:學習較為溫和,適合圖片較少或風格混雜的圖片集。
實際縮放由 Alpha 與 Rank 的比值決定。以 Rank 64 為例,三個檔位的 Alpha 分別為 32、64、128,比值為 0.5、1、2;kohya 常見的 alpha = 1,在 Rank 64 時比值僅為 1/64。
更新平滑度(Batch size)
更新平滑度對應 kohya 的 batch size。數值越大,每次更新參考的圖片越多,可選 1 / 2 / 4,預設為 2。受訓練叢集資源限制,目前不開放更大的數值。
- 調高:訓練較為平穩,個別異常圖片的影響較小。每步處理的圖片加倍,訓練時間與點數消耗也會明顯增加。
- 調低:更新較為銳利,但對圖片品質較敏感。
- 介面建議:除非圖片風格不太一致,否則維持 2 即可。
Batch size 也會影響每張圖片的訓練次數。在相同 Step 下,將 Batch size 從 2 改為 4,每張圖片的平均訓練次數會加倍,訓練時間也會隨之增加;如需維持原本的訓練量,可將 Step 減半。
觸發詞
觸發詞於「基本設定」中填寫,訓練時會自動加入每段描述的開頭,因此無須如 kohya 般寫入資料夾名稱或每個 caption 檔。生成時,於提示詞中加入觸發詞即可啟用該 LoRA。送出訓練後,觸發詞即無法變更。無最少字元限制,上限 256 個字元;不可有連續空格,開頭與結尾不可為空格。
圖片描述(Caption)
圖片描述對應 kohya 的 caption 檔。PixAI 會以描述模型為每張圖片產生自然語言描述,而非 Danbooru 標籤。描述須先自動產生,才能逐張修改;修改後的內容會另行保存,必要時可還原為自動描述。
描述的作用是告訴模型每張圖片中有哪些內容。訓練時,觸發詞會加在每段描述的開頭:描述中寫出的內容,模型會視為可以用提示詞改變的部分;描述中未提及的內容,則會歸入觸發詞,成為 LoRA 本身的一部分。因此,希望 LoRA 固定下來的特徵不要寫,希望生成時可以替換的內容要寫。介面提供的撰寫原則如下:
- 僅描述看得見的內容,不描述個性、背景故事或畫面以外的事物。
- 之後可能需要替換的元素應寫出,例如服裝,並放入穿著不同服裝的圖片。
- 畫面中有多個人物時,請清楚說明誰在做什麼,避免使用「其中一個人」等說法。
- 始終不變的特徵不需描述,例如髮色、瞳色與標誌性配件,使其成為角色本身的一部分。
- 同一件事在整組圖片中使用同一個詞,例如選定「坐著」後,即一律使用「坐著」。
- 無須自行填寫觸發詞,系統會自動加入每段描述的開頭。
所有圖片都需有描述,才能進入下一步;若仍有圖片尚未產生描述,介面會提示您先完成描述。
由系統決定的項目
下列項目由系統決定,無法調整:
訓練解析度:由模型決定,不開放調整。訓練圖片的總像素須不少於 512×512(約 26.2 萬像素),長寬比須介於 1:3 至 3:1 之間,不符合條件的圖片無法加入資料集。
由於判斷依據為總像素,即使有一邊短於 512,也可能符合條件:例如 400×700 的圖片為 28 萬像素,可以加入;1200×300 的圖片像素數雖然足夠,但長寬比為 4:1,因此無法加入。
圖片可從裝置上傳、從生成紀錄選取或從過往訓練匯入,支援 PNG、JPG 與 WebP 格式。每次訓練至少10張、最多 100 張。
網路類型:固定為標準 LoRA,不提供 LoCon、LoHa 等 LyCORIS 變體。
費用與訓練時間
自動描述與訓練分開計費,費用以點數計算,兩者皆會在開始前顯示所需點數。
| 階段 | 計費方式 | 失敗時 |
|---|---|---|
| 自動描述 | 100 × 本次描述張數 + 500點數;已有描述的部分不重複計費 | 僅針對成功產生描述的圖片計費;失敗的圖片可重試 |
| 訓練 | 依訓練設定而異,以預設設定為例約 70,000 點數;其中訓練 Step 與更新平滑度(Batch size)影響最大,實際以開始前顯示的報價為準。 | 訓練本身不收取費用,描述費用不予退還;可於訓練任務中選擇「用相同設定重試」 |
進階訓練會分兩次扣除點數:
- 描述費用:在「描述」步驟按下「自動描述」時支付。
- 訓練費用:在「進階參數」步驟按下「開始訓練」時,依介面顯示的報價支付。
舉例說明:
- 首次訓練:加入 30 張圖片後按下「自動描述」,依張數支付描述費用,並額外收取 500 點數,實際金額會在開始前顯示。檢查完描述、設定好參數後,按下「開始訓練」時,再依介面報價支付訓練費用(預設設定約 70,000 點數)。
- 追加圖片:描述完成後再加入 5 張,自動描述僅處理新增的 5 張,依張數計費,並再次額外收取 500 點數;原有的 30 張不會重複計費。
- 部分描述失敗:若有 2 張無法產生描述,僅針對成功產生描述的 28 張依張數計費,額外的 500 點數照常收取;失敗的 2 張可再次執行自動描述,但重新執行時會再額外收取 500 點數。
- 訓練失敗:不收取訓練費用,但已支付的描述費用不予退還;可於訓練任務中選擇「用相同設定重試」。
- 取消訓練:在排隊期間取消,訓練費用全額退還,已支付的描述費用不予退還;任務變回草稿,可繼續編輯後重新送出。
訓練時間與點數消耗主要取決於訓練 Step 與更新平滑度(Batch size);學習率、Rank 與 Alpha 不影響點數,對時間的影響也很小。送出訓練後,任務須先排隊,實際完成時間依排隊狀況而定。
進階訓練約需 2 至 6 小時(不含排隊時間)。訓練進行期間,圖片集將被鎖定;若訓練失敗,或在排隊期間取消訓練,圖片集會解除鎖定。
訓練暫停時系統會自動恢復,不會額外收費。
訓練完成後:發布與管理
訓練完成後,請於「訓練任務」中按下「發布」。發布後,可隨時從模型頁的「編輯模型」調整下列設定。
可見範圍
- 私人:不對外公開,之後可隨時改為公開。僅會員可將 LoRA 設為私人,且私人 LoRA 的數量有上限,剩餘名額可於「編輯模型」的可見範圍設定中查看。
- 公開:所有使用者皆可使用。公開後無法改回私人。
回饋
可於「編輯模型」的「回饋設定」中選擇「參與回饋」或「不參與回饋」。參與後,依其他使用者使用此 LoRA 的次數獲得點數;您本人的使用不計入回饋,因此 LoRA 設為私人時,即使參與回饋也不會獲得點數。
一旦選擇參與,即無法取消,且 LoRA 將無法刪除。 建議在 LoRA 公開、確定不再需要刪除後再參與回饋。
詳細說明請參考〈LoRA 返利機制升級〉。
下載與商用
- Tsubaki.2 與 Tsubaki.3 皆屬於 DiT 架構(模型頁分別顯示為 DiT.2 與 DiT.3),訓練完成的 LoRA 不提供下載,可以且僅可以直接在 PixAI 上使用。
- 可於「編輯模型」的「許可權」中選擇是否允許他人將以此 LoRA 生成的圖片用於商業用途。
模型資訊
模型名稱、標籤、說明與封面可隨時於「編輯模型」中修改;LoRA 類型與基礎模型無法變更。訓練設定與最終圖片描述會與模型一併儲存,方便日後查看,也有助於其他使用者找到您的 LoRA。
常見問題
為什麼沒有 epoch 和 repeats?
進階訓練以總步數(訓練 Step)計算,資料集中每張圖片被抽到的機率相同。換算方式請參考「訓練 Step」一節。
Alpha 為什麼不能填 1?
Alpha 只能設為 Rank 的一半、相同或兩倍。實際縮放由 Alpha 與 Rank 的比值決定。
Batch size 為什麼只有 1 / 2 / 4?
受訓練叢集資源限制。Batch size 越大,更新越平穩,但每一步需處理的圖片越多,訓練時間與點數消耗也會相應增加;多數情況下維持預設值 2 即可。
可以跳過自動描述,直接使用自己的 caption 嗎?
目前不支援。每張圖片都須先自動產生描述,之後才能修改;目前也不提供匯入既有 caption 檔的功能。
觸發詞需要寫進每段描述嗎?
不需要。觸發詞會自動加入每段描述的開頭,只需於基本設定中填寫一次。生成時於提示詞中加入觸發詞即可啟用。
Rank 設為 64 會讓訓練變慢很多嗎?
影響很小,也不會增加點數消耗。訓練時間與費用主要取決於訓練 Step 與 Batch size,Rank 主要影響檔案大小與可保留的細節量。
訓練開始後,還能變更基礎模型嗎?
無法變更。一旦開始訓練,基本設定即固定;如需變更,請重新建立訓練。開始訓練前都還能修改:送出前可直接返回修改,送出後若仍在排隊,可先取消訓練,任務會變回草稿,再返回修改。
送出訓練後還能取消嗎?
訓練開始前(排隊中)可以;一旦開始訓練就無法取消。在訓練任務中取消後,訓練費用會全額退還,已支付的描述費用不予退還。任務會變回草稿,圖片、描述與基本設定(包括基礎模型)都可以繼續修改後重新送出。
可以下載訓練好的 LoRA 嗎?
目前不行。Tsubaki.2 與 Tsubaki.3 皆屬於 DiT 架構,訓練完成的 LoRA 僅能在 PixAI 上使用。
開始訓練前的檢查清單
開始訓練前,請確認以下項目:
- 圖片:每張總像素不少於 512×512,長寬比介於 1:3 至 3:1,格式為 PNG、JPG 或 WebP;張數 10 至 100 張。
- 圖片內容:角度、動作與構圖有足夠變化,沒有多格拼圖或近乎重複的圖片;若一個 LoRA 要學習多個角色,已包含各角色單獨出現與同框的圖片。
- 基本設定:LoRA 名稱、類型、基礎模型與觸發詞皆已確認,送出訓練後無法變更。
- 圖片描述:已逐張檢查,僅描述看得見且會變化的內容,同一件事使用同一個詞。所有圖片皆已有描述(「尚未描述」為 0),否則無法進入下一步。
- 參數:無特定需求時,請使用預設值(325 Step、學習率 6e-4、Rank 64、Alpha 32、Batch size 2)。
- 費用與時間:已確認介面顯示的報價與預估時間。送出後僅能在排隊期間取消(訓練費用退還,描述費用不退),開始訓練後即無法取消。
訓練完成後,生成時如何套用 LoRA 及設定權重,請參考 LoRA 使用教學 與 LoRA 權重設定指南。
這頁對你有幫助嗎?
🎁 被採納的有效建議會獲得 5000 點數獎勵!