端侧 LLM 大模型推理
背景 底层 LLM 的军备竞赛正在如火如荼地进行着，上层的产品能力似乎也还没得到释放，做来做去就是聊天工具、RAG问答，但似乎这里还有一块基础能力亟待填补 —— LLM on device（端侧大模型）。 安卓 OS 不断渗透到电视、车机、广告屏，本质上还是我们需要特定场景下的智能设备；或者是把一部分专门的能力剥离成一个独立的设备，诸如树莓派、机顶盒、蓝光播放器、声卡。这些设备形态的底层逻辑是： 具有独立的使用场景 支持运行程序
我眼中的 AI Native
Native 在这里是一个双关的词，它包含了两层意思： 土生土长的（Native Speaker）: 指那些天生适应AI环境的产品、系统或人，它们在 AI 世界中长大，像母语者一样理解和使用 AI 工具和技术，对 AI 的运用和影响有着本能的理解。例如，AI Native 应用可能是专门为利用人工智能功能而设计的，它们充分利用了机器学习、自然语言处理等AI技术。 原生的/本地的（Native