本機LLM模型推薦(玩sillytaver用)

名稱
Email	eB[⚋?:tTg1Pn>l9&yW☢GZo+^pv.\0%♈EF2=⛔Dr IfLYw⛴Qa#☒{8JM@6-q☨)cmdX<☗ (3_HSsVU,;C
主題
回覆
檔案
嵌入
Options	Spoiler 圖片
密碼	（用來刪除檔案。）
Allowed file types:jpg, jpeg, png, gif, mp4, webm Max filesize is 10 MB. Max image dimensions are 10000 x 10000. You may upload 1 per post.

File: 1699908699963.jpg (466.01 KB, 1536x2048, 08898-699622546-from side,….jpg)

本機LLM模型推薦(玩sillytaver用) 無ゴミ 23/11/13 (Mon) 20:51:40 c907bda6 No.324

邪牛鎮串!
之前都只玩AI產圖
酒館剛出時有玩一下，真的蠻讚的
但是串API要錢，而且網路塞車會超卡
聊久了還會忘記設定，所以就沒玩了
最近看到新聞很多效果不錯的開源小模型出來
就想跑來回鍋玩目前使用傻酒館+koboldcpp 來跑
一開始用lama2 7B，但是效果不太滿意
後來參考這篇 https://scifilogic.com/open-uncensored-llm-model/
先試了 Dolphin-2.2.1-mistral-7b 和 zephyr-7b-beta
兩個效果都好了很多，甚至比lama 13B強?
不過個人比較喜歡Dolphin，zephyr常常莫名其妙地要總結對話?
不知道島島們有沒有更讚的小模型推薦
至於傻酒館的許多新功能還在摸索中，會的島島還請教教我
有辦法像牛肉這樣兩邊都用TTS直接對話嗎?
目前硬體是i5-124+3060+40ram，跑13B會有點卡頓，nji3u3沒試過更高參數的模型。

無ゴミ 23/11/14 (Tue) 08:03:52 03faec10 No.335

你預期多少速度?
其實你的硬體都比我好了，但不知道為什麼你使用7B，13B的智能真的很值得

無ゴミ 23/11/14 (Tue) 10:14:57 c907bda6 No.341

File: 1699956897536.jpg (342.06 KB, 1152x1536, 00884-3367486595-masterpie….jpg)

>>335
因為我實際用Lama2-13B，覺得效果沒有比Mistral-7B的效果好
所以我才跑上來問島島有沒有推薦的模型

至於你說預期速度? 是指token還是TTS的速度?
目前我看大概13~15token/s，覺得還行?
TTS沒啥概念，不過我想應該不會很快ㄅ

無ゴミ 23/11/14 (Tue) 10:52:24 03faec10 No.343

>>341
我靠，15token/s對我來說已經是飛速，但既然你只覺得還行，那我還是不要推薦你13B好了

7B的話，我只推薦Trion-M-7B，至少在我看來它是最聰明的7B模型
https://huggingface.co/TheBloke/Trion-M-7B-GGUF

如果你對色色有興趣，可以嘗試opus-v0-7B，這模型不太聰明，經常有些混亂的輸出，但它很擅長色色，在它處於正軌時，它的內容很棒
https://huggingface.co/TheBloke/opus-v0-7B-GGUF/resolve/main/opus-v0-7b.Q8_0.gguf?download=true
我只推薦你用它的Q8，因為它太笨，量化對它有嚴重的影響，Q8勉強能用一下

無ゴミ 23/11/14 (Tue) 10:54:41 03faec10 No.345

如果你還有興趣討論怎麼提示，怎麼引導AI，之類的，我們再談

不過sillytaver我很久沒用了，所以對它的那些功能也不了解，這個幫不上忙

無ゴミ 23/11/14 (Tue) 16:03:13 ef83f493 No.352

File: 1699977793234.png (752.49 KB, 960x536, 00226-606128299.png)

SillyTavern有好幾個TTS選項
不過有些要裝Extras才能用
Microsoft Edge TTS的效果不錯，不過就是要連網+讓微軟知道你都讓AI念了什麼
語音輸入我是直接用window內建的，不過髒話會被自動打碼

無ゴミ 23/11/14 (Tue) 18:59:48 c907bda6 No.355

File: 1699988388326.png (885.65 KB, 768x768, 13601-2033427604-masterpie….png)

>>343
原來這樣就是飛快了嗎?剛玩沒什麼概念。
我今天調整測試了一下
7B應該是跑15~20，13B跑4~5token/s
換算一下跟人類打字速度比似乎真的蠻快的
所以推個應該13B也是可以的，今天試了個Xwin13B，感覺還不錯
我還試跑了個20B的LM，結果居然能跑，只是速度僅1.6token/s
太慢了直接放棄。
你推的那兩個7B我也試了，第一個也不錯，可能要再用久一點才知道跟Mistral的的差別，第二個就真的跟你說的一樣，很色但邏輯句子等通常不太通順
>>352
看來我要為TTS拋棄win10了嗎?
今天試用了Google小姐的TTS，感覺意外的親切www
是說SillyTavern有什麼必裝的Extras推薦嗎?

無ゴミ 23/11/15 (Wed) 00:29:30 b65b7a11 No.356

File: 1700008170276.png (785.67 KB, 960x640, 02580-1821710600-Wide shot….png)

>>355
你要玩TTS的話推薦RVC
可以讓聲音有更多變化

>我還試跑了個20B的LM，結果居然能跑，只是速度僅1.6token/s
你是用GGUF檔嗎？
用exllama可能可以快一點點
有開Streaming的話，個人感覺3token/s還可以
不過對於TTS來說還是太慢

無ゴミ 23/11/15 (Wed) 02:20:53 03faec10 No.357

>>355
既然你這麼說，那我就直接拿出壓箱寶Utopia-13B
https://huggingface.co/Undi95/Utopia-13B-GGUF/resolve/main/Utopia-13B.q4_k_s.gguf?download=true

如果它都不讓你覺得值得，其他13B也沒試的必要了

我會推薦你用Utopia開始一段對話，等到進入色色階段時，再換用opus-v0-7B，反正它是7B，重骰很快，可以看到比較豐富的色色描述

無ゴミ 23/11/15 (Wed) 15:56:12 c907bda6 No.369

File: 1700063772895.png (20.65 KB, 966x184, ClipboardImage.png)

>>356
要怎裝RVC擴展，我照教程https://docs.sillytavern.app/extras/extensions/rvc/
一直報錯裝不起來 …

無ゴミ 23/11/15 (Wed) 15:56:48 c907bda6 No.370

File: 1700063808452.png (28.84 KB, 778x370, ClipboardImage.png)

>>369

無ゴミ 23/11/15 (Wed) 16:05:03 b65b7a11 No.371

>>369
你是卡"pip install -r requirements-rvc.txt"嗎？
Prerequisites都做了嗎？

無ゴミ 23/11/15 (Wed) 16:45:03 c907bda6 No.372

>>371
對!我就是卡在pip install -r requirements-rvc.txt
我有載ffmpeg並修改PATH variable了
只是我ffmpeg不是放C槽，這樣有影響嗎?

無ゴミ 23/11/16 (Thu) 03:16:00 b65b7a11 No.374

>>372
https://withhh0525.weebly.com/tutorials/ffmpeg
照這邊的第五步檢查一下ffmpeg有沒有裝好
沒有的話就重裝
有的話就把ffmpeg換到C槽再試一次

無ゴミ 23/11/16 (Thu) 18:00:03 c907bda6 No.380

>>374
想問島島你是用甚麼TTS轉RVC的??
SillyTavern-Extras我搞了好幾天跑不起來，結果看到作者剛剛發布的更新修正馬上就好了= =
https://www.reddit.com/r/SillyTavernAI/comments/17wo36s/psa_extras_update_and_future/
以為終於可以用，結果發現不支援系統預設TTS，想說怎麼沒聲音，我看最新說明也不建議使用Coqui，於是我裝了 silero，裝是裝起來了，但她跑歸跑，也沒發出任何聲音…
搞了好幾天弄不好，有點崩潰

無ゴミ 23/11/17 (Fri) 05:02:40 b65b7a11 No.387

>>380
英文用silero
中文日文用coqui

SillyTavern和SillyTavern-Extras需要分別啟動
然後要連接SillyTavern和SillyTavern-Extras

silero也要啟動並指定角色聲音
你可以先用available voices看一下有沒有聲音
第一次啟動會比較慢，要多等一下
還是沒有聲音的話看一下有沒有錯誤訊息

無ゴミ 23/11/22 (Wed) 09:28:54 c907bda6 No.482

File: 1700645334241.png (789.63 KB, 768x768, 13617-2427582881-masterpie….png)

>>387
結果今天官方更新了新的TTS
https://www.reddit.com/r/SillyTavernAI/comments/180poog/xttsv2_for_sillytavern_is_here/
我終於成功弄出自訂的語音了!