#inference-engine

news

ローカルで動く7440億パラメータAI ― 「Colibrì」が変えるオンデバイス推論の常識

7440億パラメータの巨大LLM「GLM-5.2」をメモリ25GBのPCで動かす推論エンジン「Colibrì」が公開。SSDからモデル重みをオンデマン...