vLLM是什么？OpenWrt安装Docker启动vLLM服务
的教程。vLLM是一款用于大语言模型推理和服务的快速且易于使用的库。它的优点简直太多了，让我们一起来看看吧！超高的服务吞吐量：vLLM利用PagedAttention高效管理注意力键和值内存，连续批量处理传入请求。快速模型执行：支持CUDA/HIP图形，量化技术包括GPTQ、AWQ、SqueezeLLM、FP8KV缓存，优化的CUDA内核。灵活易用：无缝集成热门的HuggingFace模型，支持并行采样、束搜索等多种解码算法，流式输出。因此，vLLM简直是LLM推理和服务的绝绝子！
阅读全文：vLLM是什么？OpenWrt安装Docker启动vLLM服务
任天堂Switch 2：硬件配置曝光，迎来的巨大升级
迎来的巨大升级根据最新报道，任天堂在科隆电脑展上向游戏开发者展示了其备受期待的下一代游戏主机，即被外界称为"NintendoSwitch2"的设备。这次闭门展示中，任天堂展示了《塞尔达传说：荒野之息》加强版和《黑客帝国觉醒：虚幻5技术演示》，其中后者引入了光线追踪和DLSS技术。根据UniversoNintendo总编辑NecroFelipe的爆料，任天堂
阅读全文：任天堂Switch 2：硬件配置曝光，迎来的巨大升级
七彩虹 iGame GeForce RTX 4060 Ti MINI显卡开售，价格低于预期
GeForceRTX4060TiMINI显卡已经开始销售，与之前的报道相比，售价有所降低。本文将介绍这款显卡的主要特点和性能参数。8月8日，七彩虹公司发布了iGameGeForceRTX4060TiMINI显卡，该显卡以较为亲民的价格登场。这款显卡分为8GB和16GB两个版本，售价分别为3299元和3799元，较之前上架的价格低了100元。iGameGeForceRTX4060TiMINI采用紧凑的设计，长
阅读全文：七彩虹 iGame GeForce RTX 4060 Ti MINI显卡开售，价格低于预期
Ubuntu在docker环境conda+pip环境使用nvidia cuda深度学习训练
Subuntu20.04LTS方式一、使用conda+pip环境安装步骤：1、安装nvidiagpudriver：打开Ubuntu系统的Software&Updates–AdditionalDrivers，搜索安装nvidia的proprietary驱动。（或者，也可以去nvidia官方网站下载NVIDIA-Linux-x86_64-xxx.run驱动文件手动安装）2、安装Miniconda(或Anaconda)，使用conda命令create并activate工作区
阅读全文：Ubuntu在docker环境conda+pip环境使用nvidia cuda深度学习训练
Ubuntu使用Docker安装TensorFlow1.7.0和Facenet开启GPU运行环境下载
为什么想要使用这个方案TensorFlow对依赖包要求很高，但一个conda环境只能安装一个版本的，如果使用多个conda环境将难以在一套系统内运行（可能需要编写我不熟悉的shell脚本）后续可能使用其他的包，需要安装其他包的环境，可能会和TensorFlow的环境冲突
阅读全文：Ubuntu使用Docker安装TensorFlow1.7.0和Facenet开启GPU运行环境下载
ESXi7黑群晖为Jellyfin开启NVIDIA显卡硬件加速硬解,使用NVIDIA显卡加速Jellyfin设置
片没有人的领地，基本没有现成的文章和教程，参考了网络上几乎所有相关教程，总结如下。关于实现之后的效果，可以参考：https://www.lxg2016.com/54176.html简单来说，有几个要点：直通NVIDIA显卡时需要加参数hypervisor.cpuid.v0=FALSE从而让显卡认为自己在物理机上。
阅读全文：ESXi7黑群晖为Jellyfin开启NVIDIA显卡硬件加速硬解,使用NVIDIA显卡加速Jellyfin设置