杂谈

强化学习（on-policy）同步并行采样（on-line）的并行化效率分析在强化学习中（on-line）的算法如果是on-policy的算法都是需要较大的采样样本的，因此采样的效率往往对整个算法运行效率有着自关重要的影响，在deepmind（Google）公司的强化学习的并行采样设计中往往使用带有timeout的带有时间过期的队列（queue）来进行并行采样的多进程间的同步和通信，但是这种设计往往十分复杂，编程难度也极大，不过也正因如此也比较吸引人们的关注，对此我也是如此，不过我一直在考虑这种timeout的同步通信方式是否真的可以提高运行效率，如果不能的话或者提高的效率有限的

我的编程之路 2024现在的时间是2025年1月1日，也就是元旦节。傍晚6点整，此时此刻，我正安坐在小书房的电脑前，整理这一年的得失。

区块链技术已经衰落了吗？（区块链已die）区块链技术已经好多年没有听到有人提了，不过比特币却一直是不是的又新闻出现，当然国内已经把比特币交易归入到了不合法的地位了。区块链技术是国家战略的技术，但是这个技术说实话确实不是很高深，或者说蛮easy的，找几个C++技术好的人就完全可以从零开始手撸一个新版比特币出来，但是之所以区块链被归入到国家战略技术，其主要原因是这种区块链的去中心化加密技术是前所未有的，人们是无法准确预估其未来的价值的，但是作为一个新技术的出现，而且还是从来没有过的，这就和P2P技术刚出来一样，之前没有过，于是大家都要认真对待，这或许

强化学习：使用自动控制方法PID来解决强化学习问题中的cartpole问题（小车平衡杆问题）网上找到的一个实现：地址：https://gist.github.com/HenryJia/23db12d61546054aa43f8dc587d9dc2c

强化学习算法中的log_det_jacobian —— 概率分布的仿射变换（Bijector）相关：https://colab.research.google.com/github/google/brax/blob/main/notebooks/training_torch.ipynb

问题解决：windows主机开机不插屏幕不能自动进入桌面操作系统一般都有这种设定，不论是windows还是Linux系统，那就是主机开机不插屏幕不能自动进入桌面操作系统一般都有这种设定，不论是windows还是Linux系统，那就是主机开机不插屏幕不能自动进入桌面。

使用联邦学习法训练强化学习算法以实现对抗攻击性：读论文——小型微型计算机系统（中文CCF B）《面向深度强化学习的鲁棒性增强方法》论文地址：http://xwxt.sict.ac.cn/CN/Y2024/V45/I7/1552PS: 这个学习率有些奇怪，用数据量占一次优化的总数据量的大小作为学习率，这或许也是真的有独创性的操作了，不过这么做是否真的可行呢，或者这只是纸上谈兵呢。

python语言实现_通过端口转发实现跨网络（多网络之间）通信_science_network本文使用python语言实现了一个端口转发的程序，该程序可以实现多网络之间的信息通信，当然这里有个前提，那就是多个网络都在一台主机上有可以连通的端口。

强化学习算法中log_det_jacobian的影响是否需要考虑相关：https://openi.pcl.ac.cn/devilmaycry812839668/google_brax_ppo_pytorch

人形机器人-强化学习算法-PPO算法的实现细节是否会对算法性能有大的影响.PPO算法是强化学习算法中目前应用最广的算法，虽然这个算法是2017年发表的，但是至今在整个AI领域下的agent子领域中这个算法都是最主要的强化学习算法（至少目前还没有之一），这个算法尤其在ChatGPT和人形机器人中起到了关键性的作用，可以说PPO算法是当前AI领域最为重要的算法之一（这个可以有之一，比如还有transformer等算法）。

nvidia公司的机器人仿真环境的历史发展介绍（Isaac-Gym、Isaac-Sim）相关：NVIDIA机器人仿真项目 —— Isaac Gym - Preview Release本文说下NVIDIA公司的机器人仿真项目的一些历史发展。

n皇后编程问题n皇后编程问题是一个经典问题，记得2018年北京航空航天大学计算机学院的博士招聘的上机题目就是这个，这里给出几种实现方法：

python实现的扫雷游戏的AI解法（启发式算法）相关：python编写的扫雷游戏如何使用计算机程序求解扫雷游戏本文中实现的《扫雷》游戏的AI解法的项目地址：

伊玛目的门徒

什么是极客的情怀~~水一篇文章极客的情怀是一种对技术、知识、创新和探索充满热情的态度。它不仅仅局限于计算机科学领域，而是广泛存在于任何需要深度思考和创造性解决问题的领域。极客的情怀包含以下几个方面：

如何编程求解俄罗斯方块游戏问题相关：对于特定的游戏问题使用启发式算法可以取得比AI算法更好的表现Using A.I. to DOMINATE NERDS in TETRIS

强化学习性能测试方法：取最后10个epoch的testing epoch的均值 —— 强化学习中的一种性能测试方法参考：https://www.cnblogs.com/devilmaycry812839668/p/17813337.html

全双工网卡在实际工作中上下行的网速速率是否一致？千兆网卡的同时上下行速率上限是否一样，网卡速率是上下行之和还是分别等于上下行速率一直有个问题，就是理论上全双工网卡在运行时上下行的上限速率应该是一致的，但是实际网卡的标识的最高速率是否是指上下行速率之和还是和上下行速率一样。

各大广告商竞相厮杀下，诞生了一个偏门的副业方式前段时间，想买摩托车，但是媳妇不让买，所以我打算偷偷买，然后萌生了去摆摊赚钱的想法，但是还没有实施就在网上接触到了“某赚”APP，于是一发不可收拾，用我的话来说，我做的不是副业，而是网络乞讨，因为和乞讨太像了，随时随地将自己置于广告垃圾场中，然后每天赚个仨瓜俩枣。

[windows]Windows上缩放窗体的两种方式直接上图第二种方式时，快速拖动时，如果是chrome浏览器套壳软件就会出现拖动部分出现黑边的现象而原生的桌面应用程序则不会出现黑边。这现象在chrome浏览器本身就存在。如图 typora是用electron写的软件存在该问题

自己的九又四分之三站台

你知道谁是计算机之父吗？“计算机之父” 这个词通常用来指代计算机科学领域的杰出人物，他们在计算机科学和技术的发展中发挥了重要作用。有多位人物被认为是计算机之父，其中包括：