macOS
ELYZA Japanese LLaMA 2 (CPU) を Chatbot UI から遊ぶ
![ELYZA Japanese LLaMA 2 (CPU) を Chatbot UI から遊ぶ](/posts/ai/nlp/llama-cpp-python-server/cover_hud4b4e91d71fd898392d3ce9e26887070_797251_720x0_resize_q90_bgffffff_lanczos_3.jpg)
先回記事の続きです。前回紹介した Elyza の日本語言語モデル ELYZA Japanese LLaMa 2 を Chatbot UI から使えるようにしてみました。
Llama.cpp の Python バインディングである llama-cpp-python は OpenAI 互換の API サーバーを内蔵しているので、ここに Chatbot UI を接続することで、ChatGPT のように WEB から ELYZA Japanese LLaMa 2 を使うことができます1。 …
LLaMA 2 日本語モデルを CPU 実行する
![LLaMA 2 日本語モデルを CPU 実行する](/posts/ai/nlp/run-japanese-llama-cpp/cover_hud4b4e91d71fd898392d3ce9e26887070_797251_720x0_resize_q90_bgffffff_lanczos_3.jpg)
M2 MacBook Pro にて、Llama.cpp を使い量子化済みの LLaMA 2 派生モデルを実行することに成功したので手順をメモします。 Llama.cpp は言語モデルをネイティブコードによって CPU 実行するためのプログラムであり、Apple Silicon 最適化を謳っていることもあってか、かなり高速に動かせました。 …