Hugging FaceモデルをGGUFへ変換して量子化する
llama.cpp b10447でHugging Faceの対応モデルを高精度GGUFへ変換し、Q4_K_Mへ量子化して読み込みを確認する手順を解説します。必要なRAM・disk、再量子化を避ける理由、未実行の検証範囲も明記します。
TAG
#GGUF
GGUFの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全21件。
llama.cpp量子化でimatrixの効果を測る設計
llama.cpp b10447を固定し、同じsource・calibration data・quant typeでimatrixの有無を比較する検証計画です。file size、peak RAM、変換時間、速度、perplexityと固定task品質を分け、再量子化や未検証hardwareを混ぜない条件を整理します。
TransformersでGGUFを読み込む入門
Transformers v5.15.0で小型GGUFをtokenizerとmodelへ読み込み、最初の生成を確認します。逆量子化後のmemory、失敗時の切り分け、元へ戻す方法まで解説します。
GGUF逆量子化とroundtripの監査設計
Transformers v5.15.0とllama.cpp b10418を固定し、GGUF読込時のpeak RAM、Hugging Face形式保存、再変換後のmetadata・tokenizer・出力差を監査する机上検証計画です。
llama.cppでLoRAを非merge適用する入門
llama.cpp b9637で対応するGGUF LoRA adapterをbase modelへ非mergeで読み込み、同じpromptでadapterなし・ありを確認する最短手順と失敗時の戻し方を解説します。
Ollamaとllama.cppの違いは？用途別の選び方と比較
Ollamaとllama.cppの違いを、Macのローカル実行、GGUF管理、API、context・並列処理、設定・検証の用途別に比較。同一GGUFで条件を揃える方法と初心者・開発者ごとの選び方も解説します。
ローカルLLMに必要なVRAMの計算方法｜量子化別
ローカルLLMに必要なVRAMを、GGUFの重み、KVキャッシュ、計算バッファ、並列数、余裕容量へ分けて見積もる方法を解説。量子化別の理論値とllama.cppの確認コマンドも掲載します。
llama.cppが遅い原因と高速化設定｜確認順に解説
llama.cppが遅い原因を、ロード、プロンプト処理、トークン生成に分けて診断。GPUオフロード、メモリ、スレッド、batch、Flash Attention、KV cacheを安全な確認順で調整します。2026年8月2日時点の机上調査です。
llama.cppでGGUFを動かす方法｜導入から実行まで
llama.cppでGGUFモデルを動かす手順を、導入、モデル選択、固定リビジョンでのダウンロード、対話実行、API起動、ログ確認まで順番に解説します。2026年8月2日時点の公式情報に基づく机上調査です。
GGUFモデルが読み込めない原因と対処法｜エラー別
llama.cppでGGUFモデルを読み込めないときの確認順を、破損・分割ファイル・未対応アーキテクチャ・mmproj・メモリ不足などのエラー別に解説します。公式ソースに基づく机上調査です。
Macのメモリ別・動かせるローカルLLM一覧
Apple Silicon Macの搭載メモリ別に、GGUFモデルを選ぶ出発点を整理。ファイル容量だけでなく、KVキャッシュ、context長、同時実行数、macOSのメモリプレッシャーまで含めた判断手順を解説します。
llama.cppコマンド例10選｜llama-cli・llama-server用途別
llama.cppの実行コマンド例10選を2026年7月30日の公式情報で監査。ローカルGGUF、Hugging Face、CPU/GPU、長文脈、JSON、画像入力、複数GPU、OpenAI互換APIを用途別に解説します。検証は机上調査です。
LM Studioおすすめ設定｜メモリ別モデル比較
LM Studio 0.4.20を基準に、Context Length、GPU Offload、Flash Attention、KVキャッシュの設定と、8〜128GBの搭載メモリ別おすすめモデルを解説します。
DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
DGX Spark 1〜4台モデル容量比較｜何Bまで動く？
DGX Spark 1〜4台でDeepSeek-V4-FlashとGLM-5.2の公開重み・GGUF容量を整理。配布ファイルの表示サイズ、128GB/台の公称構成、200GbE接続の前提と未検証事項を確認します。動作保証ではありません。
Qwen3.6 27Bと35B-A3Bをllama.cppで比較：GGUFベンチマーク手順
Qwen3.6-27Bと35B-A3Bの公式性能、モデル構造、GGUF容量を比較し、llama.cppで再現可能な速度・品質ベンチマークを行う方法を解説します。
DeepSeek V4 Flash×llama.cpp｜対応状況と測定方法
DeepSeek V4 Flashのllama.cpp本流対応を公式PRとリリースで確認し、モデル規模、GGUF準備、vLLMとの選択、再現可能な測定方法と未検証範囲を整理します。
llama.cpp最新動向2026年8月：b10375の変更点
2026年8月12日時点のllama.cpp b10375について、今回の修正、GGUF、llama-server、量子化、実験的マルチモーダル、更新時の注意点を整理します。
llama.cppをDockerで動かす方法：CPU・NVIDIA GPU対応ガイド
llama.cpp公式Dockerイメージを使い、CPUまたはNVIDIA GPUでOpenAI互換APIサーバーを安全に起動する方法を解説します。
llama.cpp主要パラメータ一覧【2026年8月版】用途別チートシート
llama.cpp b10588の公式README・ソース・自動生成ヘルプ表で主要オプションを監査。GPU、コンテキスト、KVキャッシュ、reasoning、廃止・名称変更を用途別に整理します。
Macでllama.cppを導入する方法：Apple Silicon最適化ガイド
Apple Silicon Macでllama.cppを導入し、GGUFモデル、Metal/GPU活用、基本コマンド、性能確認を行うためのガイド。