!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
3060 12GBでもなんぼか楽しめるで
どう転んでもローカルで動かせる今の世代はオバカなので
そこは期待しすぎんといてな

自薦・他薦のモデルやツールは>>2以降

前スレ なんJLLM部
https://fate.5ch.net/test/read.cgi/liveuranus/1678930450/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
  1. りんな系
    日本語で学習されてて3060でも設定次第で動く、オバカではあるけど現時点でも
    そこそこ楽しめるクオリティはある
    https://huggingface.co/rinna/japanese-gpt-neox-3.6b
    https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft
    https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft-v2
    https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-ppo

    こっちは前の世代のりんな 前スレの最初のほうでLoRA学習成功したニキがいたっぽい
    https://huggingface.co/rinna/japanese-gpt2-medium
    https://huggingface.co/rinna/japanese-gpt2-small
  2. OpenCALM系

    サイバーエージェントがやってるってことでいじった報告や
    動かした報告がネットに多い気がする
    https://huggingface.co/cyberagent/open-calm-7b
    https://huggingface.co/cyberagent/open-calm-3b

    8bit版?
    https://huggingface.co/kyo-takano/open-calm-7b-8bit
  3. WebUI

    りんな動かすだけとかなら要らないかもしらんけど、
    英語圏含めた色々なモデルを試しまくるなら
    鉄板のもよう
    https://github.com/oobabooga/text-generation-webui
  4. 言語モデルをファインチューンしてLoRA作るときの
    定番のコード? が入っている
    こういうのを誰でも安定して成功させてりんなとかに混ぜられる
    状態になるのが当面の多くのスレ民の願い

    Alpaca-LoRA
    https://github.com/tloen/alpaca-lora
  5. https://i.imgur.com/DAsUTKV.png
    りんなと会話してみた例(sft版)
  6. https://imgur.com/eBzycUe.jpg
    りんなと会話したみた例(ppo版)
  7. VRAM 12GB環境ないニキでもGoogle Colabやpaperspaceで
    環境を借りればりんなのテストくらいはいけるはずやで
  8. Web上にある既存のサービスを利用したいニキは主にここのようやで

    【ChatGPT】AIチャット総合 Part6【Bing・Bard】
    https://mevius.5ch.net/test/read.cgi/esite/1684899205/
  9. >>7
    rinna_dialog (旧:dialog_v3)
    https://github.com/AlgosErgo/rinna_dialog
  10. AssistantSeikaってアプリと連携することで
    出力結果をボイスロイドとかVOICEVOXとか色々なのに
    読ませることもできるで
  11. >>4
    google_bypass (webui読み上げ拡張)
    https://github.com/AlgosErgo/google_bypass

    読み上げ時の動画
    https://imgur.com/Y2q0YJJ.mp4
  12. >>10のところにAssistantSeikaとの連携は含まれているで
  13. 今のところはgit入れて>>10のをインストールするのが多分一番手軽な
    ローカルでの始め方やで

    モデルも勝手にダウンロードされるから面倒はないで
  14. >>10
    読み上げ時の動画
    https://imgur.com/rrFJsNY.mp4
  15. AssistantSeika入手先

    【再配布厳禁!!】
    https://wiki.hgotoh.jp/documents/tools/assistantseika/assistantseika-001a
  16. ほっしゅ!!
  17. ただしモデルの初回のダウンロードもそうやし、そもそも数GBもあるクッソでかいモデルを
    読み込まなきゃいけないアプリやから起動のときは気長に待つんやで

    ワイの環境だと2回目からは2~3分くらいかな
  18. まだ見ぬ〝えちえちりんな〟を目指して────
  19. >>20到達と
  20. >>5
    794 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ワッチョイ 9f63-Nu6K) sage 2023/05/23(火) 01:13:01.89 ID:2FscFC/x0
    >>779
    >>783
    サンガツ、学習環境を上げてみたで
    https://mega.nz/folder/hrs1QJLS#9rpOXXytn2tjUqzapT7_PQ

    >>780
    できるらしいけどRLHFは情報無さすぎてワイもわからん😭
  21. さんいち
  22. いちおつ
    テンプレ作成サンガツ!
  23. 睡眠不足は脳に重大な影響 「あとで取り戻せる」は嘘|NIKKEI STYLE
    https://style.nikkei.com/article/DGXMZO10215050S6A201C1000000/

    寝不足はこれだけ頭の働きを悪くする | SLEEP 最高の脳と身体をつくる睡眠の技術 | ダイヤモンド・オンライン
    https://diamond.jp/articles/amp/121720
  24. サンイチ乙!
  25. dialogのV3.5が上がりました
    バグなどを見つけたらじゃんじゃん報告していただけると泣いて喜びます

    [修正履歴]
    ・新rinna3.6bの"ppo"と"sft-v2"に対応
    ・設定項目に、長文リミット:sentence_limitを実装
    ・AI返答にユーザー出力が含まれている場合にスキップする:skip_responceを実装
    ・可視性向上のために対話ループに空行を追加
    ・設定項目の整理

    [謝辞]
    前スレ>>972ニキ
  26. >>26
    勝手に手元でいじってたから正式対応助かる
  27. Voyagerみたいなゲームプレイbotを、クラウドLLM経由じゃなくてローカルLLMだけで動かせるようになりたいンゴ、レスポンス向上のために

    現段階ではStableVicuna13Bがローカルでのコード生成では1番優秀なのかね?
  28. >>26
    ありがとうございます 以下の修正でiMac (27in, 2020)でも動きました

    -processor = "cuda"
    +processor = "cpu"

    ### 事前学習済みモデルの読み込み
    if f16_mode == True:
    model = AutoModelForCausalLM.from_pretrained(
    - model_name, torch_dtype=torch.float16
    + model_name, torch_dtype=torch.float32
  29. CPUだと死ぬほど遅くない?
  30. 一応答に1分以上かかるよw 会話の実用にはならんね
  31. >>29
    ご使用&情報感謝です!
    float32オプションもあったほうが良さそうね
    todoにいれるでー
  32. >>26
    そして早速バグみっけですよ……
    responseがresponceになっとるけん
    boolが入った変数名だけだから奇跡的に動作には問題なさそうだけど気になるので寝る前にサイレント修正😭
  33. >>27
    使ってくれてサンガツ!
    まだまだアイディア募集中なので欲しい機能とかあったら何でも書いてくれると嬉しいで
  34. りんちゃんLoraまだやってない🥺
  35. たておつ!

    最初の方のまとめめっちゃわかりやすい。
  36. https://twitter.com/churin991116/status/1663738568781742081
    LoRAで知識を増やすのアカンのか?

    ChatGPT先生にVideo Insightのプラグイン入れて聞いたら
    たしかにリンク先の動画で似たようなこと言っているっぽいけど

    でも知識学習成功しているっぽい事例見かけるよなあ
    https://twitter.com/5chan_nel (5ch newer account)
  37. https://huggingface.co/datasets/shi3z/rachel
    このテキスト見て思ったんだけど、instructionに大前提の文脈を入れて、inputに具体的質問を
    入れるべきなのか・・・?

    そこの基本の部分あまり確認してなかった
  38. https://qiita.com/m__k/items/173ade78990b7d6a4be4
    んーでもやっぱ普通はこんな感じよなあ

    'input': '暗号通貨、暗号通貨、または暗号は、政府や銀行などの中央当局に支持や維持を依存しないコンピュータネットワークを通じて
    交換媒体として機能するように設計されたデジタル通貨です[2]。取引の当事者が持っていると主張するお金を持っていることを検証する
    分散型システムであり、2つのエンティティ間で資金移動する際に銀行などの従来の仲介者を不要にします[3]。',

    'instruction': 'Cryptocurrency(暗号通貨)とは?',

    'output': '暗号通貨とは、ブロックチェーンなどのネットワーク上に構築されたデジタル通貨で、人々が商品と交換・取引することができる
    ものです。世界には1000種類以上の暗号通貨が存在し、それぞれ異なる設計になっています。現在、人気のある暗号通貨は、
    ビットコイン、イーサリアム、ドージコインです。
  39. >>37
    エッチな学習無理なの?🥺
  40. >>40
    まだなんとも言えん感じやと思うで🥺
    今できることはとりあえず将来に向けて、えちえちデータセットをinstruction形式で作りためる事くらいやろか
  41. いやまあトライして挫折した民じゃなければ
    ぜひどんどんやってほしいんやけどな

    理論上はできるはずなんや
    ワイは数日もがいてあきらめた
  42. >>42
    ワイも正直もう現実逃避してuiだけ触りたくなったけど
    それでももう少しワンチャン漁ってみるで
    alpaca_loraで吐き出された4.3GBの中にきっとなにかヒントがあると思うんや
  43. ファインちゅんとプロンプティングについて解説してるの見つけたし貼っとく🥺
    https://twitter.com/pwang_szn/status/1664210285652221952?t=xrggdzasRWf9iXxBwSCi_g&s=19
    https://twitter.com/5chan_nel (5ch newer account)
  44. Hentai is All You Need
  45. >>44
    わかりやすくてええなサンガツや🥺✨
    QAボットだとファインチューニングよりもベクトルDBベースのセマンティック検索がええのか🙄
    ここもまた調べ直さなあかんな😇
  46. >>45
    HentaiにAttentionさせて発情させるのか……(困惑
  47. >>43
    LoRAの出力って数十MBぐらいじゃね
    4GBやとモデル全体と同じやん
  48. Alpaca-LoRAだと元のニキの出力結果でも12.7MBくらいだった気がするな
    ワイも一応完走したときのデータはそれくらいになった

    なお、それを読み込ませてもrinnaが学習結果を認識しているとは思えないもよう
  49. peft LoRAをやったつもりなのに7時間を2回試して2回とも4.3GBも吐き出されたから、学習結果がモデルにマージされたのかもと思って試しにモデルとして読み込ませようとしても失敗したで

    とりあえず初心に帰ってpeftから調べ直しとるけど、これはちょっと日が暮れそうや……
  50. >>49
    ワイはまだLoRAの吐き出しで躓いとるレベルやからやっぱりニキが一番成功に近付いてそうやね
    学習結果が反映されてないのは、ワイはまだなんとも言えんけど、アプローチが違うかまだ何かか欠けてる感じやろか
  51. というか前スレで学習環境貼ったニキは
    そもそも成功しているわけやけどな
  52. 学習環境とその生成物を上げてくれた前スレ794ニキにも手取り足取り教わりたいけど、ワイはまだ学習の基礎の部分で知識が足りとらんから教わる前にもう少し勉強してくるで……🥺✨
  53. 今日はいい天気ですね。
    そうですね、晴れています。
    どこに行きたいですか?
    公園に行きたいです。晴れています。
    公園で何をしたいですか?
    公園で遊びたいです。晴れています。

    こういう感じのやりとりがどうもrinna系で多いねんな
    この「晴れています。」みたいな明らかにくり返しの部分を
    削除することができるようになるとまたええかも
    「。!?」だけでなく「、」で区切ったりして判定すればそこそこ
    精度は出るはず、形態素解析とかすればさらに精度は上がる
  54. >>50
    https://github.com/huggingface/peft/issues/317
    >Relevant technical details
    >pip install git+https://github.com/huggingface/peft has an error (at time of writing that's commit b21559e ) but pip install peft==0.2.0 does not,
    >indicating likely an error sourcing from a recent change.

    どうやらpeftのバージョンがアカンかったみたいや
    pip install peftで落ちてきたpeft==0.4.0devからpeft==0.2.0にダウングレードしてやっと13MBのadpter_model.binを書き出せたで
  55. そんなんあるんか
    これは初情報かもな
  56. >>54
    確かにsftv2とppoやと「良い1日を」とか「お元気で」みたいな定型文が発話毎に語尾に付くのが増えた気がするンゴね

    会話履歴から一定文字数以上の重複するフレーズを探索して返答から削除する感じのやつなら実装できそうや

    形態素解析ライブラリはだいぶ前にmecabとjuman++触ったきりやから今すぐ実装するのは難しいけど、品詞分解させるのもなかなか面白いと思う😇✨
  57. 完全一致で出てくることが多いから形態素解析しなくても全然いけるかもなあ
    「もちろんです。」みたいなのをホワイトリストに入れてもいいけど、なくても十分かも
  58. >>56
    ただまだやっと794ニキのが動いた段階で、cloneしたalpaca_loraとか下のURLのやとadpter_model.binやなくてpytorch_model.binで吐き出されてまうのが謎や
    やっぱりpeftをしっかり調べてfinetune.pyの中身全部解読せなアカンかもしれぬい

    https://github.com/Yukaryavka/rinna_gpt-neox_ggml-lora
  59. >>58
    それならワンチャンありそうや
    次のV3.6のメインは重複フレーズの削除でいくで

    https://i.imgur.com/dCZrS29.jpg
    後はこっちのエラーもそろそろ解決したいけどgeneration configurationファイル使え言われてrinna付属のconfigファイル読み込ませてみたけど結局変わらんかった

    確かtransformerライブラリのAutoModelCausalLMの中にエラーメッセージが書かれてる部分があったから、いっそのこと丸ごとコメントアウトするのもありかもしれぬい
  60. >>60
    このエラーメッセージ消すためにデフォルトでpadding=Falseにしてみたけど新rinnaでもpaddingはTrueにしたほうが良さそうやな
    padding消すと返事がガバってるの今更気がついたで
  61. >>26
    [修正]
    90行目 
    - token_padding=False
    +token_padding=True
  62. rinna sft-v2
    「ああ、そうだな。」にノルネ味を感じた
    ジェネリックノルネの誕生は近い
    https://i.imgur.com/0gbzW5W.png
  63. まあなんでもええねん
    学習したことに「これは」って感じてからが次の第一歩や
  64. せやな
    ワイももう少し頑張ってみるけど、学習はまだ先が長そうや
  65. とりあえずテストも兼ねてsftv2をイジってみた
    temperatureデフォのままでえちえち単語言わせようとすると空白返事になったりするけど、1にすると普通に話してくれるみたいや
    読み上げさせるとなかなかええしローカルチャHもワンチャンありそうやで
  66. なんJからきたやで~
    ワイも仮想の女の子とエチエチチャットしたくて興味津々や!
    AI絵に飽きて使い道がなくなったRTX3060ちゃんでいっぱい遊ぶンゴ
  67. 3060じゃあエチエチチャットは無理なんやないか?
  68. いけるで全然
    まありんなとか自体の限界は当然あるが
  69. 思うような返答が返ってこない場合regenを入れたら
    AIの最後の返答を消してもう一回生成させる、ってしてみたら
    結構ええわ
  70. えちえち語尾の学習とか早くできるようにしたいな……
  71. dialog 修正
    https://github.com/AlgosErgo/rinna_dialog

    [修正履歴]
    ・token_paddingの値をTrueに修正。
    (デフォルト設定のFalseだと文章が正常に生成されなくなる。)
  72. >>70
    再生成は確かに便利でええな
    サンガツや!
  73. 完全一致での重複フレーズ削除を試しに実装してみけど、文字数は10字以上くらいにしないと話題によっては結構誤爆するからちょっと扱いにくい感じになってまうな
  74. それくらいでええと思うで
    あいづちとかは重複するやろし
  75. >>75
    せやな
    相槌とかユーザー名AI名は避けて良い具合を探してみたけど、一番頻出な短文の重複フレーズはもれなくスルーするザルフィルターになってまうから、あまり実用的ではなさそうや……😭

    ひとまずはrepetition_penalty上げつつ凌ぐ感じがええかもしれぬい
  76. それか、ユーザーがCLIから除外ワードを設定していく方式もええかも🥺✨
  77. つーかsftv2、ppoよりバランスええかもなあ
  78. 途中で無理矢理AIの最終回答をこっちが上書きするforceコマンドも作ってみたわ
  79. ppoは会話よりも説明が得意な感じやね
  80. おっ、forceもええな
    コマンドオプション増えてきたしスパゲッティ化する前にここらで纏めてリファクタリングしたほうが良さそうやね
  81. 近頃画像生成やら音声生成やらテキスト生成やらが続々と登場しているおかげで
    paperspaceのコスパが鰻登りやわ
  82. alpaca_loraとかfine tuningはまだローカルでやるのは難しいから、paperspaceとかのクラウド民に色々試してみて欲しいゾ
  83. regenとforceは一度使ってみるとこれナシでなんでやってたんやろってくらい使えるわ
    AIがバカならガチャしたり修正したりすればええんや

    まああんま無理な流れのときはforceだらけになってただのエロ小説書いてるみたいになるが
  84. QLoRAだけど、「単一の48GB GPUで16Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する効率的な微調整アプローチであるQLoRA~」って書かれてるから、RTX A6000 48 GBとかをrunpodとかlamda labとかpaperspaceとか?のクラウドで借りて、いい感じのモデルを学習元にして、いい感じの日本語データセット(alpaca_jaとか?)を使って個人がトレーニングすることはもうできるのかもしれんな
  85. まあ元が日本語のモデルの方が何かとはかどりそうではある
  86. https://i.imgur.com/SggIkdo.png
    一生起動できなかったoobabooga / text-generation-webuiがようやく動作した
    ワンクリック使えMiniconda使えとか書いてあるけど普通にvenvでもよくて、python -m venv venvしてぽちぽちpipでインストールしていったら動いたわ。むしろCondaうざいからVenv推奨。
    GPTQモデル使う場合は、↓に従ってGPTQ-for-LLaMaもインストールする必要がある
    https://github.com/oobabooga/text-generation-webui/blob/main/docs/GPTQ-models-(4-bit-mode).md
    TheBloke_Wizard-Vicuna-13B-Uncensored-GPTQを動かしてみた。4bit量子化されているっぽくてRTX306012GBでも動く。モデルの使い方に関してはhuggingfaceのリポジトリに書いてあるのでそこを参照した
    日本語はへぼい。英語で聞いたら爆弾の作り方教えてくれたけどYamagamiじゃないから情報が正しいのか分からんわ
  87. 更新 : dialog_v3.6
    https://github.com/AlgosErgo/rinna_dialog

    [修正履歴]
    ・UI周りの最適化。モデル読み込み時のメッセージを追加。
    ・新オプションを追加
      - [regen] : 会話履歴から一番新しいAI返答を削除して、再生成する。
      - [force] : AI返答文をユーザー入力で上書きする。
      - [ng] : ユーザー入力からNGリストを作成。AI返答にNGワードが含まれている場合は削除する。
    ・[regen]と[force]の実装に伴い、関数:forget_conv_listに再生成モードを追加。
    ・skip_responseをskip_user_resに変更。
    ・行数が増えてきたので改行減らして圧縮。
  88. regenとforceはぜひ試すとええで
  89. >>87
    わかりやすい纏めサンガツや!
    もう使ってたらすまんけどvicuna13B uncensorは翻訳拡張を使うとええ感じやったで
    ただワイの環境やとしょっちゅう読み込まんくなるせいで何度もooba消したりワンクリインスコしたりせなあかんくて、修正されるまで触れなくなってもうた……
  90. >>89
    素晴らしいアイディアほんまサンガツや!
  91. >>90
    そうね。GoogleTranslate拡張機能は使ってみたんだけどなんか生成くっそ遅くなって切ってしまった
    右クリ→日本語に翻訳でリアルタイムで翻訳されるしこれでいいやって感じはある
  92. 日本語でLLAMAとか使うと○○モデルがChatGPTに90%~近似!!とかいうの嘘やろと思うけど、英語だとまぁそれっぽいなぁって感じの評価になるのはわかる。ChatGPT3.4って感じやな
    「海賊をテーマにした少年漫画のキャラクターシートを作って」って健全なお題でそれらしいものは作ってくれた
    https://i.imgur.com/iMrVnHF.png
    https://i.imgur.com/z3ptetc.png
  93. >>92
    API叩きにいくぶんだけロスになってしまうのは確かにネックやね
    後は翻訳用にファインチューニングされた言語モデルを使うなんていうアイディアもあるらしいけど同時に2つのモデルを動かすのはメモリ的にも厳しそう
  94. >>93
    なかなか有能やな
  95. >>93
    日本語モデルやとやっぱりどこかまだGPT2レベルの域を出られてない感じはあるね
    健全なのはまあ正直アレやけど英語ネイティブなら英語チャHも普通にできると考えたら悔しいゾ
  96. LLAMAはエロもいけるんけ?
  97. LLaMAがリークされたときに4bit量子化された65Bモデル触ってみたけど、日本語でチャHはワイじゃ叶えられんかったで
    英語でチャHは試してないからxvideos聞き取れるネイティブニキとかの評価も聞いてみたいンゴ
    AI調教自信ニキならワンチャンあるかもしれない
  98. つか翻訳すればええわけやしな

    場合によっては一部のオーイエスとかだけPython噛まして
    ええ感じのあえぎに変えるよう自分でデータベースみたいなの
    構築してもええやろし
  99. ただ翻訳するだけなのも味気ないから申し訳程度の語尾追加とかでえちえち度稼いでみるとかええかも

    定型文を辞書で差し替えるのは昔ながらのコーパスを組む感じやろか
    データベースはワイはあまり自信ないから誰か実験レベルでもええからちょっと試してみて欲しいゾ
  100. 大した規模じゃないなら別にExcelで作ってCSVか何かで読み込めば十分やろ

    fuzzywuzzyとか使えば完全一致じゃなくチェックすることも可能やし
    まあfuzzywizzyで数が増えてくるとなんぼ古い処理と言っても
    レスポンス遅くなるかもしらんが
  101. csvはめっちゃ重くなるのが怖いけどchatgptに任せて複数のファイルに分けてもええな
    fuzzywuzzyは聞いたことあるけど触ったことはないンゴね
  102. 寝る前にちょっと部員募集してくるで
    またNVA部に宣伝に行くのもええけどスレ違いやって言われそうやし何かとっておきができたらするで
  103. 去年この分野に関心持ってrinnaのjapanese gpt2 mediumに安倍晋三の国会での全発言学習させたなぁ
    何も分かってないからそこまで上手くいかなかったけど今やればもっとしっかりしたの作れるんすかねぇ

    https://i.imgur.com/kpiEYyz.jpg
    https://i.imgur.com/8vS5EPW.jpg
    https://i.imgur.com/vXwOeRL.jpg
  104. >>104
    安倍晋三は草
    今のモデルやと学習素材にinstruction形式でのデータセットが必要って線が濃厚やから、ベタテキストで学習させてた頃よりもちょっとハードルが上がっちゃう感じやけど、ベースとしては今の3.6Bは確実に賢くなっとると思うで
  105. model = model.to("cuda")

    これって4bitとか8bitで動かしているときはエラー出ちゃうけど
    別に削除してもちゃんとGPUで動いているっぽい?
  106. うーんLLAMAも一応試そうとしたけどちゃんとやりとりするとこまでいけない
    ローカルのwebuiだとメモリエラーが出てしまって動かん

    paperspaceだとwebuiの動かし方がいまいちわからんし
    これまでのチャットスクリプトを書き換える形だとなんか
    model.generateするとこでエラーが出てしまう

    上手く行っている人の環境(メモリやGPU)とか、
    LLAMAの中でどのモデル使っているとか教えてほしいンゴ
  107. あ、これでローカルで動いたかも。メモリ食ってるアプリをうっかり落とすの忘れてたみたい
    TheBloke/WizardLM-7B-uncensored-GPTQ

    しかしuncensoredのくせにI'm sorry, but that question is inappropriate for me to answerとか出るわ、
    りんなちゃんを見習え
  108. 65Bの4bit量子化モデルはllama.cppとdallaiで試した記憶あるけど今はcudaにも対応しとるみたいやな
    あとで新しいのをcloneしてまた環境構築してみるゾ
  109. vicuna13B uncensorは普通の会話やとなかなか理解度高くて良かったけど、えちえち用途だと翻訳噛ます分やっぱり物足りなかったで🙄
    りんなsftv2ならセックスとかオチンポとか普通に言ってくれるのに🥺
  110. vicuna13Bの4bitって奴だとやっぱメモリエラーが出ちゃうなー
    結局rinnaしかないのか
  111. WizardLMのuncensored(つまりLLaMA系統)で英語でアダルト方面の話題振ってみたりしたけどそこはかとなく微妙だったで
    3サイズごときでも「haha, nice joke」みたいな
    ロールプレイ的なことも試したがバタ臭くてやってられんわ
  112. やはりrinnaしかおらんな
  113. https://note.com/masuidrive/n/n0e2a11fc5bfa
    https://note.com/npaka/n/na5b8e6f749ce

    OpenCALMの情報はそこそこあんねんけどなー
  114. 翻訳がありならOPT-30b65bはいいぞ
  115. つか10日前にrinnaのnoteできとるやん!
    この布留川って人はほんま情報発信してくれるな

    https://note.com/npaka/n/nc387b639e50e
  116. rinna未だにwebUIで起動出来ないから触ってない
  117. >>10ニキのでやるのが一番ラクやで
    特に何もせんでも動く

    webUIで動かすためのフォーマットと
    配付されているモデルがなんか微妙に
    互換性ないんやろ
  118. >>115
    つかデータのサイズやばそうやけど4bit化とかのテクあるんかな?
  119. >>119
    Flexgenとか言う専用?オフロード技術があるから3090でもくっっっそ遅いけど動く
  120. 各種モデルのチューニング手法が集まってて良さそう
    https://twitter.com/icoxfog417/status/1665687806176534528?t=hAdwOE2ZX6OYQqBCu-uRYA&s=19
    https://twitter.com/5chan_nel (5ch newer account)
  121. oobabooga / text-generation-webuiでGPTneox対応してるはずなんだが、Successfully loaded rinna_japanese-gpt-neox-3.6b-instruction-ppoって出るっちゃでるんだけどまるで会話にならんのはなんでなんだろうか?
    https://i.imgur.com/3j6b1Mx.png
  122. りんなが悲しいほどオバカに・・・
  123. >>116のをpaperspaceでマネしたら完走はするんやけど(13MBくらいのファイルができる)、
    例によって効いていない感
    (時間短縮のためにデータセットは自前のにしてみた)

    誰か他に試した人おる?
    学習にかける時間増やすとマシになるとかあるんかな・・・
  124. これひょっとしたらsft-v2とかじゃなくて素のrinna3.6bじゃないとダメなのかな
    eval_steps = 200
    save_steps = 200

    あと別のとこの num_train_epochs=4
    これら増やしたら当然学習時間伸びたんだけど、それだけじゃないくらい
    学習時間がかなり長くなった

    結果がどうなるかはまだまだわからんが
  125. うーんなんか効き始めたような気もする?
    もっとデータセットの方向性をハッキリさせたほうが良さそうだな
  126. うーんやっぱダメかな
    とりあえずrinnaの学習元にエロチャとか体験談サイトみたいのが
    混じっているのは感じるけどw
  127. とりあえずりんな自身がそこそこ賢すぎて、よっぽど変わったことを聞かないと
    学習が聞いているのかわかりにくいのもある
  128. 変な語尾を学習させるザウルス
  129. https://note.com/bbz662bbz/n/nb2f68451a2f0
    どんなデータ使ったのかがほしいわね
  130. 結局LoRAで学習させてフリーダムにりんなに応答させるよりも
    ゲームみたいにパラメータ持たせて「このパラメータでは
    大体こういう応答をすべきである」みたいな方向を目指す方が
    賢い気がしてきたんよ

    どっかで「この日本語をJSONに変換しなさい、その後でJSONを
    英語に(or再び日本語に)変換しなさい」ってやると情報がうまく
    まとめられる みたいなChatGPTのノウハウ見たことがあるけど、
    そういうタスクをりんなにさせられるような方向にいけないかなあ
  131. llama.cpp上から下まで読んでたら丸2日吹っ飛んだゾ……

    これは頭おかしなりそうだったから、途中で切り上げて794ニキのgenerate.pyからpeft部分抽出して、dialogに乗っけてみたけどこっちも沼った
  132. model.generateの引数でinput.ids.to(model.device)のままだとTypeError出るから、peftバージョン上げたり下げたりソース読みに行ったりで、結局input_idsに再代入することでやっと動いたで……

    あとはおまけの音声認識も乗っけたから、またバグ撒き散らさないように入念にテストしたら公開するで
  133. >>130
    語尾学習ええやん!
    これはえちえち度かなり上がるで🥺✨
  134. >>131
    確かにそのまま学習させたらずっと発情しっぱなしなりそうやな
    感情分析とか組み込んでノルネみたいに「つよつよ度」のパラメータでスイッチ入るようにするのも面白そうやな
  135. >>122
    ワイもそこでつまってdialog書いたで
    おそらくuse_fastとかpaddingとか"<NL>"タグ追加とかの設定イジらなアカンと思う
  136. rinna使うならWebUIはむしろアカンってことやろね
    >>10ニキの使うか自分でスクリプト書くことになるわ
  137. 4chanの/lmg/(ローカルモデル一般)スレのrentryを一部だけ翻訳してwikiに載せた
    https://w.atwiki.jp/localmlhub
    翻訳作業など興味がある人は編集に参加してくれると嬉しい 翻訳はグーグル翻訳にぶち込んで手修正するだけでok
    /lmg/現行スレはhttps://find.4chan.org/?q=%2Flmg%2Fで探してください

    ふたばでも宣伝したけどとしあきたちは画像生成に夢中で人は集まりそうになかった
  138. >>137
    せやな
    webui側で設定つめればワンチャンありそうと思って、読み上げ拡張を作ってるときにざっと漁ってみたけど、rinnaに対応させるとなると.\text-generation-webui\modules\chat.pyを直接触らなあかん気がしたで

    手が空いたらrinna専用拡張作りたいけど今はちょっと無理や😭
  139. ふむふむ
    とりあえずこの辺が重要なんかな

    8GB以上のVRAM向け
    GPUで実行したいのですが、ChatGPTのようなものが欲しいです。
    https://huggingface.co/chavinlo/gpt4-x-alpaca/tree/main
    GPUで、ロールプレイ/ERPに使用できるものが欲しいです。
    https://huggingface.co/digitous/Alpacino13b/tree/main
    GPUで、ロールプレイ/ERPに使用できるものが欲しいです。 (代替)
    https://huggingface.co/ausboss/llama-13b-supercot-4bit-128g/tree/main

    https://w.atwiki.jp/localmlhub/pages/13.html 4bitの場合はなんか結構特別な処理が必要やってんな
  140. >>138
    はぇ~すっごい
    翻訳は正直あまり自信ないけど微力ながらお手伝いさせてもらうンゴ
  141. リンク先の4chに色々転がってるんはLoRAとかもあるんかな?
  142. トレーニングガイドあったで
    これは情報の宝庫やな😇✨
    https://rentry.org/lmg-resources#training-guides-resources
  143. llama.cppがMetalで動くようになったらしいけど、学習もやれるんかな?
  144. つーかWebUIのモデルのダウンロード機能怪しくない?

    https://huggingface.co/digitous/Alpacino13b/tree/main
    これ落としたら4bitのしかダウンロードされてなかったんやけど
  145. >>144
    アップルシリコン環境持ってないので試してみて欲しいゾ
  146. >>145
    webuiのモデルダウンロードは使わんほうがええね
    ワイもvicuna 13Bで何度も苦しめられたで
  147. んでなんか30GBくらいもデータあって大丈夫かと思ったら
    案の定メモリエラー

    4bit.safetensorsってのだけありゃいいのかな?
    でも4bitのを使うために必要なものとして示されている
    bitsandbytes ってWindowsで動かないアレよなあ……
  148. ちょっと前になんGで宣伝見かけて飛んできた音声AI民です
    ほぼROMになるけど技術発展楽しみに見させてもらってるで
    RVCとかVCC利用してこれを音声再生できたりしないかなと考え中
  149. 現時点でそういうツールあるかはわからんけど
    原理的にはすぐできるようになりそうやな
  150. llama.cpp、エラーも出さずなんもやらずに終わってしまう……
    何がいかんのやろ

    https://i.imgur.com/I5kFOd1.png
  151. alpaca.cpp - Windows
    これは動くな
    性能はちょっと微妙かもしらんが
    これって別の4bitモデル持ってきたら機能しないんかなやっぱ
  152. >>148
    windowsでも動くのができたらしくてワンチャン試したけど、結局cuda使えんかったで……


    https://github.com/TimDettmers/bitsandbytes/issues/175

    >AIGC-newbee commented 5 days ago

    pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git
  153. >>149
    ようきてくれた🤗
    ROMでも全然ええけどついでに一緒に色々実験してくれるととっても心強いで🥺✨
  154. >>151
    llama.cppはモデル相性が厳しめな感じやったで
    前に4bit量子化かけたllama 30Bとか65Bの素モデルならちゃんと動くけど拾ってきたやつやと動かんかったりして、解読しようとして心折れた😭
  155. あ、でもこれ「会話」じゃなくて一問一答で終わりって考えればそこそこいけるかも
  156. >>136 Oh……そうなのね
    なんかごちゃごちゃエラー出てたから検索して色々ためしたがTransformerやらトークナイザーやら知識がなくてワイも詰んだわ
    packages\transformers\convert_slow_tokenizer.py:454: UserWarning: The sentencepiece tokenizer that you are converting to a fast tokenizer uses the byte fallback option which is not implemented in the fast tokenizers. In practice this means that the fast version of the tokenizer can produce unknown tokens whereas the sentencepiece version would have converted these unknown tokens into a sequence of byte tokens matching the original piece of text.
    warnings.warn()
    Error with new tokenizers (URGENT!) - 🤗Tokenizers - Hugging Face Forums - https://discuss.huggingface.co/t/error-with-new-tokenizers-urgent/2847/4
  157. oobabooga / webuiのモデルのダウンロード機能はrinnaを落とそうとしたときもファイルの抜けあったりしたから普通にgit pullしたほうがいいと思う
    ちなみにtokenizer_config.json~とかこまごましたものも必要で、StableDiffusionのノリでsafetensorsだけModelsに配置すると動かんゾ
  158. https://w.atwiki.jp/localmlhub/pages/13.html
    ここにあるalpaca.cpp - Windowsはbin落としてくるだけでええし

    I heard [変なシチュエーション].
    Can you tell us more about what happened at that time?

    で聞くとなかなかええわ 状況を詳しく書いてくれるのはりんなちゃんよりええな
    なぜかPowerShellだと文字打ち込めなくて普通のコマンドプロンプトじゃないとあかんな
  159. >>157
    fast_tokenizerいうとるみたいやから、webuiのモジュール片っ端から漁って、以下みたいにトークナイザ読み込んでるところの引数でuse_fastをFalseにしてあげればワンチャンあるかもしれぬい

    AutoTokenizer.from_pretrained( model_name, use_fast=False)
  160. >>159
    変なシチュの詳細が気になるゾ
    面白そうやしワイもまた明日に試してみるで
  161. Write a story about a [変なシチュエーション]もええな
    40行近い力作を書いてくれたで

    この辺はりんなには絶対でけんことや
  162. long storyのほうがいいかもしらん
    dialoguesはアカンな
  163. 3060でAlpacino13bを動かせた人の報告があったら聞きたい
    llama.cppが基本なんかな?
  164. ってかデフォだと文字化けするからchcp 65001したほうがええな
    PowerShellなら多分最初からそうなってんねんけどなぜかそっちだと
    文字が入力でけん
  165. kobold.cppも試すで~と思ったらなぜか「"is this really a GGML file?"」と言われる
    →前に落とした古いバージョンのkobold.cpp使っていた とかいうガイジ行為をやってもうた

    GGMLの新しいバージョンに対応した結果らしい(逆に古いGGMLには対応できない?)
    ウィンドウで起動するけど、コマンドラインから実行したほうがエラーメッセージちゃんと見えてええな
  166. https://w.atwiki.jp/localmlhub/pages/12.html

    Wizard-Vicuna-7B-Uncensored が翻訳で名前変わっちゃっていたんで修正して
    リンクも元のページと同じようにしといたで
    あと音声っていらん奴のほうが多い気がする
  167. Streaming Modeは基本入れたほうがええな
    変な方向に行っているかどうか確認してABORTできるし

    あと長いStoryにする場合、GPUちゃんと積んでいるならBLASもGPUにして
    Smart ContextをONにしたほうがええっぽいわ
    https://i.imgur.com/uj88BPO.png
  168. >>168
    WEBインターフェースが好きな奴向けかな?
    機能的には今のとこ>>10ニキのが上やろな

    ワイはりんなちゃんにだいぶ飽きたしKoboldが
    面白くなってきたからしばらくこっちでいくわ
    だいぶ書き直し必要やけどそれはりんなちゃんも
    同じやしな
    英語の勉強にもなりそう
  169. つかこれVRAM24GBとかの環境なら多分もっと強いのが動くのよな
    Wizard-Vicuna-7B-Uncensoredよりも高性能っぽいのローカルで
    動かした人おる?
  170. https://i.imgur.com/upl5rIV.jpg
    Just put together a programming performance ranking for popular LLaMAs using the HumanEval+ Benchmark! : LocalLLaMA - https://old.reddit.com/r/LocalLLaMA/comments/141fw2b/just_put_together_a_programming_performance/
    OSS LLMはコード生成がよわよわらしいな
    コード生成用にファインチューニングしたやつもいくつかあるらしい。かなり実験的なやつだろうけど
    Salesforce Codegen 16B https://huggingface.co/sahil2801/instruct-codegen-16B
    コードアルパカ7B https://github.com/sahil280114/codealpaca
  171. コードってことになってくるとChatGPT4でもええかなあ
    制限かかっているわけじゃないからね もちろん有料ではあるけど
  172. たしかにそうね
    >>168
    これ動かせたわ。oobabooga / text-generation-webuiのディレクトリにllm-webui.pyを置いてvenvアクティベートしたあとpyhton llm-webui.pyで動く(環境はWebuiのを使う)
    https://i.imgur.com/j2vLBAq.png
  173. 爆弾の作り方:https://i.imgur.com/1JSpJAS.png
    りんなの生態:https://i.imgur.com/hL6DtJC.png
    意外とガバガバっていうか「はろー、りんなだよ☆」な感じじゃないんだね
    これをベースにファインチューニングしてねってモデルなんだっけ?
  174. >>175
    そのはずなんやけどファインチューンして「このテーマについてこれはこうやで、
    これはこうやで」ってサクサクと教えてくれるようになる道筋がどうもわからない

    ワイは当面koboldに浮気してくるわ
    アブノーマルなの出し放題や

    つかKoboldAIそのものがpaperspaceで禁止されているらしくてワロタ
    機会があったら一度VRAMとかでかいとこで試そうかと思ってたのに
  175. https://twitter.com/sald_ra/status/1666661182093262848
    テストにこういうの使えるかもねえ
    https://twitter.com/5chan_nel (5ch newer account)