微软本周发表20亿参数的1-bit模型BitNet b1.58 LLM家族，称此新型模型比主流Transformer LLM更不占内存且更少耗能，适合在 CPU 或较小型硬件平台上执行。这是第一个参数20亿的开源原生1-bit LLM。它是以4兆字词的数据集训练而成，具备4096 token的context length。
微软本周发表20亿参数的1-bit模型BitNet b1.58 LLM家族，称此新型模型比主流Transformer LLM更不占内存且更少耗能，适合在 CPU 或较小型硬件平台上执行。这是第一个参数20亿的开源原生1-bit LLM。它是以4兆字词的数据集训练而成，具备4096 token的context length。