博文

目前显示的是 四月, 2018的博文

TensorForce: （可能是）最好用的强化学习库

-
前言： 实现好用的强化学习算法不容易，这之间需要踩许多坑。工业界使用强化学习的话可以考虑使用这个现成的库，基于宽松的 Apache-2.0 协议；学术界也可以将其作为 baseline 。我自己实现过一些算法，如果对论文理解的不正确，或代码里有小疏漏，查错和调试是一件非常难的事情。有的时候做项目移植别人的代码会降低许多风险。 优点： 1. 把有名的 主流算法 全都实现了，共十几种算法，算法效果在 这里 。 2. API 设计非常方便，非常值得借鉴，这也是为什么我没有推荐 OpenAI 的 baselines 3. TensorFlow 实现的 A3C 有两种可选选项：基于多线程的和基于分布式的，可以合理避免掉 Python 的GIL 4, 用了 TensorBoard 做可视化，会很好用 5, 代码结构比较清晰，静下心来慢慢看可以作为不错的教学代码 6. 可以快速应用自己设计的强化学习环境，只需要继承自 Environment 类并实现相关方法即可，把自己设计的环境包装一下工作量非常小 缺点： 1. 用的 TensorFlow，而不是PyTorch，如果单机多 CPU 并行依赖分布式，并不是个好思路，而且显存使用会很不合理，也会更麻烦，比 PyTorch 的 multiprocessing 麻烦多了，这也是为什么我切换到了 PyTorch 2. 包装的层数实在太多了，源码阅读起来时间成本很高，毕竟用的是 TF。竟然把 TF用成了PyTorch 风格 结论： 1. 工业界使用的话问题不大 2. 科研完全可以基于这个框架写新的强化学习算法，或只用它作为 baselines 3. 用它学习强化学习也不错 4. 学学它的 API 设计会很好，现有的开源强化学习代码通常写得都很乱 5, 我用 PyTorch 链接： TensorForce: A TensorFlow library for applied reinforcement learning
发表评论
阅读全文

在Blogger上书写LaTeX公式

-
坑： 如果你在后台设置的主题背景中编辑HTML，出现下面这个错误： The widget settings in widget with id <b>AdSense1</b> is not valid. An internal error occurred. Please try again. 我在网上发现有不少人都遇到过，而且没有太好的解决办法。所以我就用比较暴力的方法： 直接定位到这个插件的位置，把AdSense的两个插件相关的几行代码删掉。 教程： 1. 复制下面的内容 2. 在后台设置$\rightarrow$主题背景$\rightarrow$编辑HTML，把这些内容粘贴到head标签内 示例： $\LaTeX$ $\sum \limits_{i=0}^n(\gamma \times Q(s|a))$
发表评论
阅读全文

使用Ubuntu创建Windows安装盘（懒人法）

-
前言： 以前用过一个软件可以在Linux下创建Windows安装盘的，因为极少用Windows所以忘记是哪个软件了。今天突然有装Windows的任务，在网上找了半天都没找到，后来心想不能偷懒全都找中文教程，换成英文关键词“windows bootable usb from iso on linux”，结果第一个搜索结果就解决了问题。从这次事故中收获了两个教训： 有收获就赶紧记下来，好脑子不如烂笔头 偷懒有时反而要付出更多辛苦 正文： 1. 安装 winusb (现在叫 woeusb ) sudo apt install woeusb 2. 打开 woeusb (在Application菜单里面) 3. 插上U盘 4. 这一步有点坑，需要手动卸载U盘，不然没法把Windows写入U盘 sudo umount /media/xxx/xxxxxx 5. 然后在woeusb界面里面点refresh然后随便点点点就ok 评价： 比用老毛桃方便多了
发表评论
阅读全文

此博客中的热门博文

Flash被淘汰后打开swf文件的最佳方法

-
前言 众所周知，Flash安全漏洞实在太多，在网页上显示内容性能也不好，各大浏览器厂商群起而攻之，因此当前大多数非套壳浏览器都不再默认支持Flash。不巧的是有的下载版网课是swf格式的，而且童年回忆的4399小游戏也是swf格式。想要将swf文件下载到本地，多少年后也可以重温童年回忆似乎不再那么容易。 正文 我在网上搜了一下，发现Adobe Flash Player原来有独立运行版，不依赖浏览器可以单独打开。点击网址  https://www.adobe.com/support/flashplayer/debug_downloads.html  ，找到适合自己操作系统的版本下载即可。ArchLinux可以直接 yay -S flashplayer-standalone；macOS可以 brew cask install flash-player。之前在找mac相关软件的时候好多人都推荐付费软件，真的没必要。
阅读全文

[SOLVED] Supermicro cannot connect to VGA video port or iKVM

-
图片
Error Message: iKVM doesn't support add-on VGA device.  Please change the D-SUB connector to Add-on VGA device… TL;DR: Go HERE  and download Supermicro IPMI Utilities and install on your own PC Connect your server to the network (NOTICE: YOU MAY HAVE MORE THAN ONE NETWORK PORT, AND IF YOU DO NOT KNOW WHICH PORT SHOULD CONNECT TO THE NET, CONNECT THOSE ALL), power on and press "DEL" during startup until that error message come out There will be an IP showing on screen, keep it in your mind Go to your own PC, enter that IP on your web browser, if  you see a webpage below, go to next You may log in and change default username and password. The default username and password are both "ADMIN" Run IPMIView (downloaded at STEP 1). If you are using Windows, it's easy, and go to next step. In my PC (Ubuntu), you can just type:     tar xvaf IPMIView_2.13.0_build.170504_bundleJRE_Linux_x64.tar.xz     cd IPMIView_2.13.0_build.170504_bundleJRE_Lin
阅读全文

MacBook日文键盘四种输入模式输入法切换（同样适用于其他布局的键盘）

-
前言 以前买了个日文键盘的MacBook，日文键盘与中文键盘布局差别不小，不过适应了之后发现其实日文键盘用起来比普通键盘布局更加舒服。而且比普通键盘多了两个输入法切换键，最近就再考虑把这两个键利用起来。 工具 Karabiner-Elements 方法 日文键盘比普通键盘多了“英数”和“かな”键，前者将输入法强制切换到英文，后者强制切换到平假名。由于我主要使用中文输入法和Dvorak布局的英文键盘，偶尔使用日文输入法和qwerty布局，使用这两个键可以很方便地进行四种输入模式的切换，如下所示： 英数 -> Dvorak fn+英数 -> qwerty かな-> 中文 fn+かな -> 日文 通过编写配置文件即可。值得注意的是切换到日文的部分我并没有直接使用切换语言的api，而是将fn+かな直接映射为かな键，这与后文提到的macOS的bug有关。 问题与Walkaround macOS有个历史悠久的bug是输入法切换api在cjk之间互相切换时输入法指示器显示已切换却无法使用该输入法，解决方法是切换为英文输入法后再切换到前一个输入法（可以在karabiner-elements里面自动实现）。  输入法切换为英文时不会像之前按英数键一样自动将输入一半的内容直接提交为英文，而是出现一个不会消失的输入法框。解决方案是使karabiner-elements先触发一次英数键后再切换键盘布局。 使用上述walkaround之后输入法切换不够稳定，有的时候可能切换不到中文输入法或有的时候かな键变成了切换为日文。解决方法是将按一次键触发的多个动作中最后一个动作延迟触发，比如我使英数键或かな键弹起时触发最后一个动作。 如果没有在karabiner-elements里面专门设置键盘布局的话默认会按照美式布局进行映射，会发现各别日文独有的按键没识别到，不要忘记设置好。 总结： 输入法的切换存在两种方式，有状态和无状态。有状态即默认的使用caps lock在两种输入模式之间转换，而无状态是不论当前处于何种输入模式直接切换到指定输入模式。无状态切换更省心，既不需要每回都去看输入法指示器，也不会忘记切换输入法而导致需要删掉使用错误输入法打的字。我发现我的博文能解决的问题实在是小众得不能更小众，以汉语为母语的dvorak键盘布局与日文键盘使用者应该很
阅读全文