[ deepSpeed ] 单机单卡本地运行 & Docker运行
本文笔者基于官方示例DeepSpeedExamples/training/cifar/cifar10_deepspeed.py进行本地构建和Docker构建运行示例（下列代码中均是踩坑后可执行的代码，尤其是Docker部分）, 全部code可以看笔者的github: cifiar10_ds_train.py 1 环境配置 1.1 cuda 相关配置 wget https://developer.do...
本地搭建AI环境
本地搭建AI 这几天刚刚看到好兄弟分享的一段关于本地搭建AI的短视频，于是我按照视频里的讲解，进行了实践。感觉非常棒！！，马上整理成文字与大家分享一下。 在本地启动并运行大型语言模型，运行llama3、phi3和其他模型，自定义并创建您自己的。 安装Ollama 首先进入Ollama网站，在浏览器的地址栏输入：https://ollama.com/，直接进入网站，如下图所示： 根据你的操作系统，点击...
基于自己数据微调LLama3并本地化部署
i/unsloth 这是一个开源免费的微调库，使用unsloth微调大模型，8G显存即可微调大模型，推理速度提升四倍，内存减少80%，在经过llama.cpp可以量化为4bit，不仅GPU，CPU也可本地推理。 在线微调 使用colab可以白嫖云端服务器进行微调本地大模型 我们来微调Llama3，点击第一个，colab使用教程 大体与官方教程一致，简单改了一下 https://colab.resear...
【Jenkins+Docker】持续集成与交付 （十九）：使用Jenkins自动化从GitLab拉取项目源码，本地构建并发布Docker镜像
🟣【Jenkins+Docker】持续集成与交付 （十九）：使用Jenkins自动化从GitLab拉取项目源码，本地构建并发布Docker镜像 一、部署大致流程 二、新建一个部署任务 2.1、新建一个自由风格的软件项目 2.2 源码管理配置（从gitlib拉取源码） 2.3 构建步骤配置 2.4 执行构建 三、 访问测试 一、部署大致流程 [开发人员提交代码] | v[Gitlab代码仓库] | ...
如何调用本地ollama的http请求接口
http://127.0.0.1:11434/api/generate 使用http post请求，参数 { "model": "qwen", "prompt": "为什么天空是蓝色?", "stream": false } 返回结果如下： { "model": "qwen", "created_at": "2024-05-10T15:03:49.9029106Z", "response": "天空为...
本地运行Llama3极简中文傻瓜手把手教程，超越GPT4？能力如何？|文末赠2024AI工程师完整视频教程+源码资料
目录 文末福利：文末赠2024AI工程师完整视频教程+源码资料 Ollama 在本地简单的运行llama 安装 运行llama3 加个web ui来运行，更直观！ 下载open-webui docker镜像 启动镜像 访问 配置 测试效果 将 Ollama 与 Python 结合使用 和LlamaIndex、LangChain整合使用 LangChain Llamaindex 补充资料 什么是WSL ...
java本地锁与分布式锁-个人笔记 @by_TWJ
目录 1. 本地锁1.1. 悲观锁与乐观锁1.2. 公平锁与非公平锁1.3. CAS1.4. synchronized1.5. volatile 可见性1.6. ReentrantLock 可重入锁1.7. AQS1.8. ReentrantReadWriteLock 可重入读写锁 2. 分布式锁3. 额外的3.1. synchronized 的锁升级原理3.2. synchronized锁原理 1...
本地连接服务器Jupyter【简略版】
这里可能会报错缺少libffi.so.7的文件，我把这个文件直接放到资源里了，可以直接下载使用，或者你在服务器别人的环境中的Lib中找到后复制到你的虚拟环境中的Lib文件夹中即可。 完成上述操作后打开本地Powershell，输入ssh -L 8080:localhost:8892 user@10.109.118.xx实现端口映射。关于这几个参数的说明见下表： 关于如何看上面分配的端口号，其实就是使用...
将本地.mp4推流成rtsp流？(windows)
概述 如何在本地机器上进行rtsp推流整个操作？ 1.软件安装 1. 推流-ffmpeg下载 从官网下载windows版本，该版本已经编译好了 放到C：下找一个目录解压，我放到C:\ffmpeg-7.0-essentials_build\进入系统环境变量设置：将C:\ffmpeg-7.0-essentials_build\bin添加到环境变量里。 4. ffmpeg测试：打开命令提示符窗口。输入命令...
Mamba3D革新3D点云分析：超越Transformer，提升本地特征提取效率与性能！
DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！ Mamba3D革新3D点云分析：超越Transformer，提升本地特征提取效率与性能！ 引言：3D点云分析的重要性与挑战 3D点云数据是现代许多应用领域中不可或缺的一部分，包括自动驾驶、虚拟现实（VR/AR）、机器人技术等。这些数据通常由3D扫描设备捕获，能够详细地描述物体的空间形状和外观。与传统的...