vthe 最近的时间轴更新 vthe 最近的时间轴更新 |
vtheV2EX 第 594088 号会员，加入于 2022-09-12 18:38:32 +08:00今日活跃度排名 9331 |
| 抱怨一下深度学习相关的环境配置 程序员 • vthe • 76 天前 • 最后回复来自 vthe | 15 |
| 简历求助， 只有基础，没有项目应该怎么办
2 程序员 • vthe • 112 天前 • 最后回复来自 vthe
|
19 |
vthe 最近回复了
15 天前 回复了 foveal 创建的主题 › OpenAI › 你现在用什么 IDE 写 Python ？ |
刚才使用了一下 cursor ，感觉就是 vscode 加了一个 chatgpt 插件，然后应该是每个月有 100 次的免费次数
不过确实挺好用的，速度很快
不过确实挺好用的，速度很快
23 天前 回复了 skoofancy 创建的主题 › 程序员 › 主动放弃使用了十年的编辑器之神 Vim |
一开始以为是从 vim 转 vscode 了，原来是用了 Neovim
另外 helix 也不错
另外 helix 也不错
54 天前 回复了 mark4zhao 创建的主题 › 程序员 › Rime 输入法真是简洁啊。 |
这个仓库今天多了好多 star ，这都是 V2EX 去的吗
66 天前 回复了 JasonLaw 创建的主题 › 程序员 › 怎么自动去除 LeetCode 上面的中文 banner？ |
广告屏蔽插件
68 天前 回复了 Apple2023 创建的主题 › Apple › 2023，你在用支付宝还是微信支付？ |
很久以前也试着比较过支付宝和微信，当时我是坚定的选择了支付宝，主要原因就是上面提到的微信提现要手续费再加上账单不如支付宝。
后面又慢慢的用回了微信，没什么影响，都差不多，想用那个用那个
后面又慢慢的用回了微信，没什么影响，都差不多，想用那个用那个
76 天前 回复了 vthe 创建的主题 › 程序员 › 抱怨一下深度学习相关的环境配置 |
大概率是解决了这个问题，我去显卡租赁平台租了个 P100 还是 V100,16G 内存，程序果然可以跑起来了。
但还是不够用，这次的提示很明显，cuda 的内存不够了。由于不会调参数，只能用更高性能的显卡去试了。
或者按网上的一些优化，试着把 batch_size 从 64 调到 32 ，只是不知道影响大不大。任重道远！
但还是不够用，这次的提示很明显，cuda 的内存不够了。由于不会调参数，只能用更高性能的显卡去试了。
或者按网上的一些优化，试着把 batch_size 从 64 调到 32 ，只是不知道影响大不大。任重道远！
78 天前 回复了 vthe 创建的主题 › 程序员 › 抱怨一下深度学习相关的环境配置 |
各位好，请问一个大小为 4 到 5g 的数据集，一个小时能够跑完吗？
我打算去租个大点显存的显卡，看一下到底是环境的问题还是配置不够。
我打算去租个大点显存的显卡，看一下到底是环境的问题还是配置不够。
78 天前 回复了 jeesk 创建的主题 › Vim › vim 如何实现快速插入换行？ |
好问题，我之前在使用 helix 的时候也遇到了这个问题。解决方法就是定位到 `{` 或 `}`，然后在 `a` 或者 `i` 吧，这样肯定不能说是快速。可能 vim 会有专用的快捷键。如果经常使用的话， 建议按照上面的设置快捷键。
79 天前 回复了 vthe 创建的主题 › 程序员 › 抱怨一下深度学习相关的环境配置 |
@lonewolfakela 是的，这个 warning 好像也是不用管的。所以我现在就是觉得，要么 colab 12G 的显存不够用，要么就是环境的问题。
79 天前 回复了 vthe 创建的主题 › 程序员 › 抱怨一下深度学习相关的环境配置 |
谢谢各位，我这才明白原来环境不用一模一样，直接跑就是了。然后的话只安装了一个 transformers 就可以跑了。我之前其实也跑通过，但是一分钟不到 colab 就崩溃了，所以我以为环境一定要大概相同才能跑。
然后刚才直接跑了一下，还是一分钟不到就崩溃了。
warning 信息只有
```
2023-03-14 02:02:56.805401: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2023-03-14 02:03:00.821268: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lib64-nvidia
2023-03-14 02:03:00.822404: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lib64-nvidia
2023-03-14 02:03:00.822449: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.
```
然后关于显卡的话，由于之前 colab 崩溃，我也以为是显卡配置。我问过我的导师，他说 T4 足够了。
然后刚才直接跑了一下，还是一分钟不到就崩溃了。
warning 信息只有
```
2023-03-14 02:02:56.805401: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2023-03-14 02:03:00.821268: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lib64-nvidia
2023-03-14 02:03:00.822404: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lib64-nvidia
2023-03-14 02:03:00.822449: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.
```
然后关于显卡的话，由于之前 colab 崩溃，我也以为是显卡配置。我问过我的导师，他说 T4 足够了。
Select Language