#吐槽

不管语言模型开不开源, 普通人都很少有自己本地运行语言模型的, 要么是没有足够的计算资源(就像电子游戏的「推荐配置」一样), 要么是没有语言模型的运行经验(就像自托管一样).
一般人能够受益的直接就是以代托管语言模型为基础提供兼容 API 或集成语言模型的聊天界面的服务, 也就是「语言模型即服务(Language Module as a Service, LMaaS」. 高参数模型, 或者说是「大型语言模型(LLM)」依靠参数堆叠轻松地做到更 "聪明", 但相对模型需要的计算资源代价是消费者更加难以接受的.

在一段时间内, 真正的消费级语言模型应该是「小型语言模型(SLM)」, 也就是真正能够运行在语言模型的「推荐配置」的消费级硬件上, 参数规模少于 7B 的语言模型. 当然也有一些厂商通过 LMaaS 的形式将 AIGC 能力通过网络接入到设备里, 虽然依赖网络但还是让一些旧硬件或者低端硬件也成为了「AIPC」一样的东西, 但大部分都是营销噱头而已, 毫无技术含量可言, 充其量只是硬件捆绑软件权益的形式售卖的一个溢价点, 这部分溢价有的还很高(不仅对于消费者, 也对于某些市场投资者而言).

#LLM #SLM #LMaaS #AIGC

via Nostr@cxplay

CXPLAY (npub1gd…ch58h)

CXPLAY on Nostr:

不管语言模型开不开源, 普通人都很少有自己本地运行语言模型的, 要么是没有足够的计算资源(就像电子游戏的「推荐配置」一样), 要么是没有语言模型的运行经验(就像自托管一样).

SiliconCloud - 裂变活动

SiliconCloud (硅基流动) 是一个国内的大语言模型云平台, 提供多种基于开源模型托管的 API 服务, 包括 Qwen, gemma, Llama, stable-diffusion, SDXL, DeepSeek 系列的模型. 提供免费和付费版本模型使用.

现在通过裂变活动的邀请链接加入, 双方都可立即获得 14 元人民币(相当于两千万 Qwen1.5-14B Token 配额).

● 价格表: https://siliconflow.cn/zh-cn/maaspricing#siliconcloud
● 邀请链接: https://url.cx.ms/siliconflow

#aff #LLM #AIGC

via CXPLAY's Memos

openai-powershell - 在 PowerShell 里和大型语言模型对话

在 PowerShell 里对话和进行其他 AIGC 的非官方模块.

支持 OpenAI, Azure OpenAI, Databricks, KIMI, 智谱清言以及大量由 ollama 维护的开源模型(如 llama3 等)和与 OpenAI 服务兼容的其他平台和大型模型.

• GitHub: https://github.com/chenxizhang/openai-powershell

#PowerShell #AI #LLM

via CXPLAY's Memos

一直在说, 用于训练大型语言模型的简体中文语料数量多但质量差. 我更好奇的是, 这部分数据质量是与哪部分对比的? 什么是质量差, 质量差在哪里, 什么是 "优质语料"?

我一直认为语言和文字不存在高低贵贱, 只有其承载的信息才有. 如果简体中文这种语言, 这种文字已经可以用来代表一股信息流的质量好坏, 那才是真的文化奇观.

而对于现如今的大型语言模型, 在我看来, 这其实就是刘慈欣写过的科幻小说「诗云」的现实版本:

----------------------
《诗云》中，一个高等外星文明为了写出超越李白的诗歌，穷尽了太阳系的大部分能量，列举出了所有可能的字词组合，最终，他们“借助伟大的技术，我写出了诗词的巅峰之作”，却还是选择了认输，因为他们“不可能把它们从诗云中检索出来”。《诗云》描述的是“技术与艺术的对抗”，这个主题语也是刘慈欣小说选集本出版社的宣传语。source
----------------------

理想已经照进现实, 也许我会花时间好好看看这本小说.

#吐槽 #AI #LLM

via CXPLAY's Memos

百度百科

诗云

《诗云》（又名《李白》）是由中国科幻作家刘慈欣发表于2003年3月份的《科幻世界》上的中篇小说，是刘慈欣“大艺术系列”之二 ，获得当年度中国科幻银河奖读者提名奖，后收录于《2003年度中国最佳科幻小说集》。《诗云》中，一个高等外星文明为了写出超越李白的诗歌，穷尽了太阳系的大部分能量，列举出了所有可能的字词组合，最终，他们“借助伟大的技术，我写出了诗词的巅峰之作”，却还是选择了认输，因为他们“不可能把它们从诗云中检索出来”。《诗云》描述的是“技术与艺术的对抗”，这个主题语也是刘慈欣小说选集本出版社的宣传语。