官网讯——
【OpenAI新技术显著降低推理成本】
据知情人士透露，新技本月初，术显OpenAI工程师在内部讨论中提出了一项此前未对外公开的著降研发成果。利用几项全新优化技术，低推他们成功开发出一套方案，理成能够将模型推理成本减少超过一半。新技工程师们在无免费/付费账户的术显ChatGPT使用场景中，成功将所需的著降英伟达图形处理器（GPU）数量降低至仅数百个，这一结果令人震惊。低推目前，理成尚不清楚OpenAI具体使用了哪些技术手段来实现这样的新技算力效率提升，业界常见的术显优化方法包括：量化压缩、键值缓存、著降批量处理用户查询、低推以及将部分请求转向低功耗的理成轻量化模型或模型分片以提供响应。
标签：