央视网消息(焦点访谈):最近有个新词儿很火,Token,也就是词元。词元是大模型处理信息的最小单元,简单来说,就像我们说话时的词语、标点,是AI理解和生成语言的基本“积木”,一句话、一段文字都会被拆成若干个词元来计算。和我们通过用电量来衡量工业活力一样,词元调用量也是衡量人工智能发展的全新时代标尺。今年3月,我国日均词元调用量突破140万亿,两年增长超千倍。那么,为什么会出现如此巨量的增长?词元用到了哪些地方?这场词元大爆炸又意味着什么?
Source: https://www.chinanews.com.cn/gn/2026/06-05/10635193.shtml