地平線まで行ってくる。

記録あるいは忘備録。時には検討事項。

2024-07-01から1ヶ月間の記事一覧

Llama3.1-ArrowSE-v0.4をColabでうごかす。

Llama3.1のマージモデルを早速試します。このスピード感。手慣れた感じで期待しつつお試しします。 huggingface.co まどか☆マギカで一番かわいいのは? まどか☆マギカは、魔法少女もののアニメで、各キャラクターが個性的に可愛いです。特に一番かわいいとい…

Colabでどうにかmistral-largeをollamaで動かす。

Large Enoughと言い切るMistral Largeが発表されました。ご家庭で動かすサイズではないのは重々分かっていますが、ollamaで動くようになったらしいので、無理やりColabで動かします。もちろん、A100環境です。珈琲だけだと時間が持たないので、動画でも見な…

mistral-nemoをollamaとColabでおためしする。

ollamaでmistral-nemoが動くようになったらしいので、お試し。デフォルトだとあまりよろしくなかったので、temperature 0.3の設定を別途入れました。英語になる場面もありましたが、こんな小さなモデルでしっかり答えてくれます。計算もまずまずですし、使い…

ColabとollamaでAthene-70B-GGUFをためすよ

Athene-70B-GGUFは日本語もいけるとのことなので、試して見ました。Athene-70B-Q4_K_Mでもかなりつらかったので、ColabのA100を引き当てて動かしました。流石の結果です。70Bは確かにローカルでも動きますが、一般人にはなかなか準備できない環境です。企業…

Colabで時系列クラスタリング

色んなデータを素人でも入手できるようになって、時系列を予測に用いる外生変数として用いるデータの入手して勉強する題材とするには事欠かない。だからといって、なんでもかんでも導入するのはよろしくない。過剰に適合するだけではなく、一番大事な予測し…

Colabで時系列解析(prophet)

Colabで時系列解析をトライしてみました。利用するのはprophet。日本語の解説も意外と少ない。GeminiはWeb検索も併用するし、効率アップのための事前演習をします。 結果はこちら。 あとは、パラメータチューニングや季節性の解析といった要素も盛り込むと一…

DifyとGemma2でローカルLLM

DifyはオープンソースのLLMアプリ開発プラットフォーム。ノーコードで様々な本格的なLLMアプリを作成できます。 インストールは、Dockerが便利です。 Deploy with Docker Compose | Dify Gemma2は、ollamaで起動します。 https://hub.docker.com/r/ollama/ol…

CALM3-22B-Chat-GGUFをcolabでためしてみる。

サイバーエージェント社が発表した商用可能なLLMモデル。 www.cyberagent.co.jp GGUFモデルが早速上がっていますが、まだ十分ではないということ。llama.cppの問題の様ですが、それでも回答はできるようなので、強行してみます。 huggingface.co まどか☆マギ…

Llama3-ArrowSE-8B-v0.3-ggufをcolabでためす。

Llama3-ArrowSE-8B-v0.3をollamaとcolabでためします。期待もあります。さっそく、mmngaさんが、あっという間にgguf版をアップロードしていらっしゃいますので、ありがたく利用します。Q5_K_Mです。 huggingface.co まずは「まどか☆マギカ」ベンチ。 まどか☆…

Gemma-2-9B-It-SPPO-Iter3-GGUFをcolabであそぶ。

さすがGoogleと評判の高いGemma-2-9B-It-SPPO-Iter3のGGUF版を見つけたのでためしてみます。モデルカードもなくてちょっと不安でしたが、とりあえず、やってみちゃう精神で試して見ました。 huggingface.co ウォームアップで・・・ 日本で二番目に高い山を検…

Local-Novel-LLM-project/Kagemusya-7B-v1-GGUFで遊んでみる。

「Web小説コーパスでNinja-V2にファインチューニングを行った、新しい小説生成特化型AI」という、Kagemusyaをためします。 huggingface.co お約束で二番目に高い山を聞いてみます。 日本で二番目に高い山を検討して答えてください。 「富士山」正解は「富士…