Ollama埋め込みAPI入門：近い文を探す
Ollamaの埋め込みを初めて使う人向けに、同じmodelで文書と質問をvector化し、件数・次元・単位長を確認して、cosine similarityで最も近い短文を選ぶ最短手順と戻し方を解説します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
Ollama Embeddingsの検証設計
Ollama v0.32.6の埋め込みAPIを対象に、model digestと評価集合を固定し、batch size、dimensions、truncate、keep_aliveを一変数ずつ変えて、recall、時間、memory、error率を比較する机上検証計画です。
llama.cpp、SpaceMiT修正とCUDA融合
2026年8月10日に確認したllama.cppの公式更新から、SpaceMiTでQ5_0出力が乱れる問題の修正と、CUDAの正規化・RoPE融合を整理し、影響範囲と今日の判断を一次情報だけで確認します。
TensorRT-LLMのPyTorch移行入門
TensorRT engine backend削除後のTensorRT-LLMを初めて扱う人向けに、対応環境の確認、checkpointからtrtllm-serveを起動する最短手順、成功確認、失敗時の戻し方を解説します。
TensorRT-LLM backend移行の検証設計
TensorRT-LLMの旧engine build経路からPyTorch backendへ移る際に、release、model、API入力、GPU条件を固定し、正しさ、latency、throughput、memory、観測性、rollbackを比較する机上検証計画です。
llama.cpp、Tool隔離とMetal計算修正
2026年8月9日に確認したllama.cppの公式更新から、DockerによるTool隔離の初期対応と、Metalの正規化計算を直す修正を整理します。影響範囲と今日の判断を一次情報だけで確認します。