Skip to content

第二次

约 1213 字大约 4 分钟

2024-7-19

这周并没有跟第一周一样每天记录,主要是每天干的少😂,再加上前三天感冒头晕难受的很,状态比较差。

虚拟折腾

原因

之前在物理机上装了 Arch 系统,但是后来我更新了设备,换了张 6750gre 的卡加上一个 4K60Hz 的屏,然后 Arch 就进不去图形化界面了,无奈之下,直接在 win10 系统里把盘格式化了,但是 Linux 的环境对于一些实验又是必不可少的。

WSL

我孤陋寡闻,前段时间看到别人使用,好奇之下自己也去安装下来体验,虽说我没有细看他跟真正的虚拟机的差距,但是通过网上对 WSL2 的评价,让我感觉我这种水平的人使用这个绰绰有余,然后主要就是在这个环境搭配 KVM 加速使用 qemu,然后就是 WSL 需要安装 GUI 然后远程连接,再然后就是安装 qemu 的 GUI(virt-manager),虽然一般来说不用安装 GUI 的。

本地大模型

原因

看到了感觉有点好玩,于是便去尝试

ollama

简直就是傻瓜式的教程,没有任何的难度,直接官方文档一路看下来就问题不大,当然这里的问题不大指的是 N 卡用户,关于 A 卡,它只支持 80 90 高端型号,我这 6750gre 甜品卡属于是小丑了😂

Docker

肯定不能用 powershell 来进行交互,不太方便,我选择的第一个前端是 open webui,这个是需要 Docker 容器的,但也是直接下载 Docker 安装包然后复制粘贴就完了。

重要

后面会再次提到 docker 的

CUDA && ROCM

我的笔记本是 N 卡,台式是 A 卡。

笔记本

刚装上 ollama 跑 qwen2 的时候速度很慢,打开任务管理器看资源,CPU 会直接拉满,内存也快爆了,但是 GPU 没动?我想想觉得不应该啊,于是就疯狂谷歌 ollama gpu 这两个关键词,然后就剑走偏锋了。

我找到的第一个方案就是 open webui 和 ollama 都各使用一个 Docker,不过我的水平不够,最终没成功。然后陷入停滞状态,我把 ollama 的容器直接删干净了,我又到我的哥们群里问了一下,一个学机器学习的朋友让我试试下载 cuda,于是占用率变了,问问题的时候 GPU 也是直接拉满。

注意

之前提到,我只删了一个容器,另一个前端容器是没有删的,这不是问题就来了,不懂为什么磁盘直接爆了,占用率 100%,我当时不懂是什么的原因,然后就顶着卡顿打开任务管理器看,vmmemwsa 占用内存很大,但这又跟磁盘占用率有啥关系,于是我也懒得想了,直接把 docker 删干净,然后重启解决问题,我推测是 open webui 的问题

台式

说实话直接给我红温了,A 卡得自己编译程序,于是我就在 GitHub 和 bilibili 上看教程自己编译,搞了一下午都是失败,甚至我自降 ollama 版本去用别人编译现成的文件复制粘贴都还在报错,总之就是无法运行。以后有心情了再搞台式,不过本地大模型并不是刚需,在台式上更是这样,笔记本有时候在外面还有机会使用,台式不存在断网的情况,大部分情况下,本地再强都不如直接调用 API。

Gomoon

open webui 没了,我总得找新的替代品,于是便搜到了这款开源的软件最终效果如下图

总结

其实还看了一些科普小视频,还有操作系统和计组的东西,不过这些是在另外的板块更新的。

[!important]大大的重要

今天正式放暑假了,下周一定会干正事的,关于那两篇固件分析的,我说实话并不是很懂为什么上去就要这么做,脑子里目前对这个没什么逻辑,也不知道固件分析这种有没有一个固定流程,关于 qemu 的使用也有疑问,它是模拟硬件环境,然后我需要提供镜像文件来运行操作系统,那么使用 binwalk 分离出来路由器的固件文件应该如何放到qemu虚拟机里来运行?然后说到反汇编工具的使用,固件文件里有许多的二进制文件,我怎么知道到底先看哪个?难道不能全部一起来吗?诸如此类的问题。这些都是需要解决的

公告板

持续建设中