#吐槽
不管语言模型开不开源, 普通人都很少有自己本地运行语言模型的, 要么是没有足够的计算资源(就像电子游戏的「推荐配置」一样), 要么是没有语言模型的运行经验(就像自托管一样).
一般人能够受益的直接就是以代托管语言模型为基础提供兼容 API 或集成语言模型的聊天界面的服务, 也就是「语言模型即服务(Language Module as a Service, LMaaS」. 高参数模型, 或者说是「大型语言模型(LLM)」依靠参数堆叠轻松地做到更 "聪明", 但相对模型需要的计算资源代价是消费者更加难以接受的.
在一段时间内, 真正的消费级语言模型应该是「小型语言模型(SLM)」, 也就是真正能够运行在语言模型的「推荐配置」的消费级硬件上, 参数规模少于 7B 的语言模型. 当然也有一些厂商通过 LMaaS 的形式将 AIGC 能力通过网络接入到设备里, 虽然依赖网络但还是让一些旧硬件或者低端硬件也成为了「AIPC」一样的东西, 但大部分都是营销噱头而已, 毫无技术含量可言, 充其量只是硬件捆绑软件权益的形式售卖的一个溢价点, 这部分溢价有的还很高(不仅对于消费者, 也对于某些市场投资者而言).
#LLM #SLM #LMaaS #AIGC
via Nostr@cxplay
不管语言模型开不开源, 普通人都很少有自己本地运行语言模型的, 要么是没有足够的计算资源(就像电子游戏的「推荐配置」一样), 要么是没有语言模型的运行经验(就像自托管一样).
一般人能够受益的直接就是以代托管语言模型为基础提供兼容 API 或集成语言模型的聊天界面的服务, 也就是「语言模型即服务(Language Module as a Service, LMaaS」. 高参数模型, 或者说是「大型语言模型(LLM)」依靠参数堆叠轻松地做到更 "聪明", 但相对模型需要的计算资源代价是消费者更加难以接受的.
在一段时间内, 真正的消费级语言模型应该是「小型语言模型(SLM)」, 也就是真正能够运行在语言模型的「推荐配置」的消费级硬件上, 参数规模少于 7B 的语言模型. 当然也有一些厂商通过 LMaaS 的形式将 AIGC 能力通过网络接入到设备里, 虽然依赖网络但还是让一些旧硬件或者低端硬件也成为了「AIPC」一样的东西, 但大部分都是营销噱头而已, 毫无技术含量可言, 充其量只是硬件捆绑软件权益的形式售卖的一个溢价点, 这部分溢价有的还很高(不仅对于消费者, 也对于某些市场投资者而言).
#LLM #SLM #LMaaS #AIGC
via Nostr@cxplay
SiliconCloud - 裂变活动
SiliconCloud (硅基流动) 是一个国内的大语言模型云平台, 提供多种基于开源模型托管的 API 服务, 包括 Qwen, gemma, Llama, stable-diffusion, SDXL, DeepSeek 系列的模型. 提供免费和付费版本模型使用.
现在通过裂变活动的邀请链接加入, 双方都可立即获得 14 元人民币(相当于两千万 Qwen1.5-14B Token 配额).
● 价格表: https://siliconflow.cn/zh-cn/maaspricing#siliconcloud
● 邀请链接: https://url.cx.ms/siliconflow
#aff #LLM #AIGC
via CXPLAY's Memos
SiliconCloud (硅基流动) 是一个国内的大语言模型云平台, 提供多种基于开源模型托管的 API 服务, 包括 Qwen, gemma, Llama, stable-diffusion, SDXL, DeepSeek 系列的模型. 提供免费和付费版本模型使用.
现在通过裂变活动的邀请链接加入, 双方都可立即获得 14 元人民币(相当于两千万 Qwen1.5-14B Token 配额).
● 价格表: https://siliconflow.cn/zh-cn/maaspricing#siliconcloud
● 邀请链接: https://url.cx.ms/siliconflow
#aff #LLM #AIGC
via CXPLAY's Memos
在 PowerShell 里对话和进行其他 AIGC 的非官方模块.
支持 OpenAI, Azure OpenAI, Databricks, KIMI, 智谱清言以及大量由 ollama 维护的开源模型(如 llama3 等)和与 OpenAI 服务兼容的其他平台和大型模型.
• GitHub: https://github.com/chenxizhang/openai-powershell
#PowerShell #AI #LLM
via CXPLAY's Memos
一直在说, 用于训练大型语言模型的简体中文语料数量多但质量差. 我更好奇的是, 这部分数据质量是与哪部分对比的? 什么是质量差, 质量差在哪里, 什么是 "优质语料"?
我一直认为语言和文字不存在高低贵贱, 只有其承载的信息才有. 如果简体中文这种语言, 这种文字已经可以用来代表一股信息流的质量好坏, 那才是真的文化奇观.
而对于现如今的大型语言模型, 在我看来, 这其实就是刘慈欣写过的科幻小说「诗云」的现实版本:
----------------------
《诗云》中，一个高等外星文明为了写出超越李白的诗歌，穷尽了太阳系的大部分能量，列举出了所有可能的字词组合，最终，他们“借助伟大的技术，我写出了诗词的巅峰之作”，却还是选择了认输，因为他们“不可能把它们从诗云中检索出来”。《诗云》描述的是“技术与艺术的对抗”，这个主题语也是刘慈欣小说选集本出版社的宣传语。source
----------------------
理想已经照进现实, 也许我会花时间好好看看这本小说.
#吐槽 #AI #LLM
via CXPLAY's Memos
我一直认为语言和文字不存在高低贵贱, 只有其承载的信息才有. 如果简体中文这种语言, 这种文字已经可以用来代表一股信息流的质量好坏, 那才是真的文化奇观.
而对于现如今的大型语言模型, 在我看来, 这其实就是刘慈欣写过的科幻小说「诗云」的现实版本:
----------------------
《诗云》中，一个高等外星文明为了写出超越李白的诗歌，穷尽了太阳系的大部分能量，列举出了所有可能的字词组合，最终，他们“借助伟大的技术，我写出了诗词的巅峰之作”，却还是选择了认输，因为他们“不可能把它们从诗云中检索出来”。《诗云》描述的是“技术与艺术的对抗”，这个主题语也是刘慈欣小说选集本出版社的宣传语。source
----------------------
理想已经照进现实, 也许我会花时间好好看看这本小说.
#吐槽 #AI #LLM
via CXPLAY's Memos
