DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
記事を読むCATEGORY
AI
ローカルLLM、生成AI、推論サーバー、モデル活用を、実行手順と検証結果を交えて解説します。 全29件。
4台のDGX Sparkが勝利？GLM-5.2 ローカル対クラウド
4台のDGX Sparkで動かした4bit版GLM-5.2が、クラウド版をSpark-Benchで91.5対86.8と上回ったX投稿を検証。スコア差の意味と注意点を解説します。
記事を読む
DGX Spark 2〜4台実例｜DeepSeek V4・GLM-5.2
DGX Sparkを2〜4台接続し、DeepSeek-V4-Flash、GLM-5.2、MiniMax M3を動かした公開実例を調査。量子化、文脈長、tokens/s、構成、再現上の注意点を比較します。
記事を読む
DGX Spark 1〜4台モデル比較｜何Bまで動く？
DGX Spark 1〜4台でDeepSeek-V4-FlashとGLM-5.2の量子化モデルをどこまで動かせるか。GGUF・FP8の実サイズ、必要メモリ、200GbE接続を比較します。
記事を読む
DGX Spark互換機比較2026｜性能・外観・価格
NVIDIA DGX SparkとASUS、Dell、Acer、GIGABYTE、Lenovo、MSI、HPのGB10搭載機を性能・外観・国内価格・SSD・保証で比較します。
記事を読む
ローカルLLM向け高級AIマシン比較【2026年】Mac Studio・DGX Spark・RTX PRO
Mac Studio M3 Ultra、DGX Spark、RTX PRO 5000 48/72GB、RTX PRO 6000 96GBを価格・メモリ・帯域・CUDA/Metal・消費電力で比較します。
記事を読む
ローカルLLM向けGPUのVRAMコスパ比較【2026年7月】円/GBで選ぶ
ローカルLLM向けGPUをVRAM 1GBあたりの実売価格で比較。RTX 5060 Ti 16GB、RTX 3090 24GB、中古、新品Radeon 32GBの選び方を解説します。
記事を読む
Qwen3.6 27B vs 35B-A3BをvLLMで比較：品質・VRAM・速度の測り方
Qwen3.6-27Bと35B-A3BをvLLMで比較し、公式品質スコア、denseとMoEの違い、FP8容量、TTFT・TPOT・throughputの測定方法を解説します。
記事を読む
DeepSeek V4 FlashをvLLMで動かす：v0.25対応と公式ベンチマーク
DeepSeek V4 FlashをvLLMで起動する公式手順、284B MoEと1M contextの要件、v0.25.0の最適化、公式品質スコアと性能測定方法を解説します。
記事を読む
vLLM本番APIサーバー運用：OpenAI互換・監視・負荷試験の実践
vLLMのOpenAI互換サーバーを安全に運用するため、起動、TLS、認証、Prometheus監視、vllm bench serve、更新と障害切り分けを解説します。
記事を読む
vLLM V1エンジン入門：prefix caching・chunked prefill・speculative decoding
vLLM V1のscheduler、automatic prefix caching、chunked prefill、speculative decoding、KV cacheの関係と設定時の注意点を解説します。
記事を読む
vLLM v0.25.0最新動向：MRv2標準化とPagedAttention削除を解説
2026年7月12日公開のvLLM v0.25.0について、Model Runner V2、PagedAttention削除、推論高速化、parser、KV offloadの最新状況を解説します。
記事を読む
Qwen3.6 27Bと35B-A3Bをllama.cppで比較：GGUFベンチマーク手順
Qwen3.6-27Bと35B-A3Bの公式性能、モデル構造、GGUF容量を比較し、llama.cppで再現可能な速度・品質ベンチマークを行う方法を解説します。
記事を読む
DeepSeek V4 Flashをllama.cppで動かせる？対応状況とベンチマーク設計
DeepSeek V4 Flashのllama.cpp対応状況を公式・本流・コミュニティに分け、モデル規模、必要メモリの下限、導入判断と再現可能な測定方法を解説します。
記事を読む
llama.cpp GPUバックエンド比較：Metal・CUDA・ROCm・Vulkan・SYCL
llama.cppのMetal、CUDA、HIP/ROCm、Vulkan、SYCL、CPUを比較し、Mac・NVIDIA・AMD・Intel環境での選び方とベンチマーク方法を解説します。
記事を読む
llama-server本番運用ガイド：OpenAI互換APIを安全に公開する
llama.cppのllama-serverを本番運用する際の並列数、コンテキスト、ヘルスチェック、nginx、認証、ログと更新手順を解説します。
記事を読む
llama.cpp最新動向2026年7月：b9968の機能と開発状況
2026年7月12日時点のllama.cppについて、GGUF、llama-server、量子化、マルチモーダル、対応バックエンドと更新時の注意点を整理します。
記事を読む
llama.cppをDockerで動かす方法：CPU・NVIDIA GPU対応ガイド
llama.cpp公式Dockerイメージを使い、CPUまたはNVIDIA GPUでOpenAI互換APIサーバーを安全に起動する方法を解説します。
記事を読む
NVIDIA DGX Spark向け vLLM + DFlash/DDTree 手順書
NVIDIA DGX SparkでvLLM、DFlash、DDTreeを試すための環境要件、セットアップ手順、検証ポイントを整理した実践メモ。
記事を読む
ローカルLLMで画像・動画生成：Ollama・LocalAI連携ガイド
Ollama、LocalAI、ComfyUIなどを組み合わせ、ローカル環境で画像生成・動画生成・プロンプト支援を試すためのガイド。
記事を読む
llama.cpp主要パラメータ一覧【2026年7月版】用途別チートシート
llama.cppの主要パラメータを2026年7月の公式情報に基づき整理。llama-cli・llama-serverのGPU、コンテキスト、KV Cache設定を用途別にすぐ引けます。
記事を読む
MacとNVIDIA DGX SparkでLLMワークロードを最適化する方法
MacとNVIDIA DGX Sparkを組み合わせ、LLM推論、クライアント利用、分散構成、役割分担を考えるための最適化ガイド。
記事を読む
MacとDGX Sparkで作るLLMハイブリッド環境構築ガイド
MacとDGX Sparkを組み合わせ、SSH、vLLM、Ollama、RAGなどの役割分担でLLMハイブリッド環境を作るためのガイド。
記事を読む
Macでllama.cppを導入する方法：Apple Silicon最適化ガイド
Apple Silicon Macでllama.cppを導入し、GGUFモデル、Metal/GPU活用、基本コマンド、性能確認を行うためのガイド。
記事を読む
Qwen3.6 preserve_thinkingとは：エージェント性能を高める使い方
Qwen3.6のpreserve_thinkingについて、従来の課題、利用イメージ、エージェントワークフローでの効果を整理した解説。
記事を読む
UnslothでローカルLLMをClaude Codeと連携させる方法
UnslothやGGUFモデルを使い、ローカルLLMをClaude Code風の開発ワークフローに接続するための構成と注意点を整理。
記事を読む