
由于我是今年10月份入学的PhD,从二月中旬搞完PhD入学考试后到正式入学前主要都待在家里。待在家里的时间把关于多分类弃权代理损失函数的工作的理论证明基本搞定了,然后学习日语拿下了N2。到学校后的科研主要是连上这边的服务器做实验,投论文应该得明年了(・-・*)。
就个人目前的体验而言,在京大这边的PhD科研与生活体验总体而言可谓是非常好。以下分别从科研与学习、校园活动、文化与生活体验等方面来对今年进行总结。
1 科研与学习
1.1 概况
个人目前的方向是学习理论,具体而言关注弃权学习(learning with abstention)中的代理损失函数设计,并证明其一致性/校准性与excess risk bound,也可能会证明其generalization bound。
就自己近期搞的这份工作而言,除了在generalization bound的证明过程中用到了较多高维概率知识之外,其余时候用到的数学工具整体而言偏"初等"数学,或者说类似于高中数竞的那种数学,包括各种不等式放缩技巧,比如AM-GM不等式、切线法/割线法放缩、配方法、对数均值不等式、用Tayler展开放缩等等,还会用到一些凸函数的理论性质。有时我跟朋友讨论时感觉证明中涉及的某些引理都可以拿去命制高考导数题了哈哈。
因此,今年读的较多的书就包括了Roman Vershynin的《high-dimensional probability》和Stephen Boyd的《convex optimization》,然后单墫老师的《数学竞赛研究教程》对我帮助也挺大。这里提一下Stephen Boyd那本书,虽然此书在算法和收敛性方面没有太多侧重,但是个人感觉此书第I部分是入门凸分析的不错选择,对于在科研证明中涉及某些凸函数性质的人还是挺适合的。
日语方面除了通过看视频自学了标日的中级教材之外,还阅读了加藤周一的《日本文化における時間と空間》,这本书以日本文化中的时间与空间的观念为线索,介绍了日本文化中的许多美学乃至整体思想,并与其它文化进行了对比。然后看了动漫《花牌情缘》并入手了小仓百人一首的诗集,对日本的和歌创作有了一些基本的了解。
1.2 氛围自由的lab
先来张工位照片 o( ̄ ▽  ̄)o~

书架上的SDE相关教材和日本语法书是在学校生协书店淘的,然后那本二十世纪电气目录的轻小说时之前11月份的时候逛京阿尼的展子的时候入的,桌上的手办是逛四条那边的任天堂专卖店的时候买的。
就我们实验室而言,氛围和谐且管理自由,如果没兼任RA的话不强制要求打卡,计算资源也充足(毕竟组里还有做LLM方向的同学)。像我导师(我们实验室小导)的话,没啥架子,平时和他交流问题时感觉就和一个比我大不了多少的师兄交流问题一样,给人的感觉比较亲切。他首先在理论推导方面功力比较深厚,在证bound中遇到的问题基本都帮我解决了。比如在某些环节中用到凸函数在某点的二阶Tayler展开正好就可以把下界放缩出来之类的技巧。此外,在实验方面他也挺有水平。比如实验遇到一些问题时,他会坐下来和我一起分析这里为啥与理论不吻合,然后提出许多建设性的意见。目前为止在实验中遇到的一些问题的理论原因基本都被他分析对了。
然后接下来或许就是日本特色了,实验室二次元氛围较为浓厚。实验室的服务器一堆用东方project里的角色命名的。实验室大导师和小导师都是那种比较资深的"二次元"。有多资深呢?大导师差不多50多岁的人,Slack头像直接就是京阿尼《日常》里的「はかせ」(据说是他自己约的稿)。至于实验室小导师(也就是我的导师),据我们实验室师兄说这是他见过的人里二次元浓度最高的。他是个资深的东方众,据我师兄说如果我与他交谈时直接把手机盖桌上可以打开一个新的话题 : )(我手机壳上的角色是东方里的芙兰)。
1.3 IBIS 2025
11月份去冲绳参加了IBIS2025,它是日本国内的一个以机器学习为主题的workshop。

从这个会议的poster来看,日本做theory的不少。poster环节看到有做double descent的,有做Lagrange-Dirac网络的,有用信息几何分析扩散模型的,有做DL泛化的等等。其中做DL泛化的那份工作把generalization bound中的覆盖数那项和半群给联系起来了,这是他们的论文链接:Why and When Deep is Better than Shallow:
An Implementation-Agnostic State-Transition View
of Depth Supremacy 。还有个哥们把代数几何在优化里给用上了,当时他讲poster的时候杉山将好像还在那听得津津有味的 o( * ̄ ▽  ̄ * )o。
当时提交poster我的实验还没搞完,因此我的poster只包含目前在做的这份工作的理论部分的内容。在听了我poster的介绍后有个NEC的研究员好像给我提到了一个基于流形的使两个凸函数的乘积保凸的方法(该方法出自Hormander的复分析教材《An introduction to complex analysis in several variables.》),似乎说是他以前做过这方面的东西。后来我查了下他的主页(https://akira5kitaoka.github.io/ ),看起来他是有微分几何方面的经历。
除了介绍自己的工作之外,我还着重听了Han Bao的分享(他是我也现在做的这份工作的合作者之一),他们证明了在使用Fenchel-Young损失与线性二分类的前提下,GD可以在任意步长下收敛(论文链接:Any-stepsize Gradient Descent for Separable Data
under Fenchel--Young Losses )。当时我还跟他提到了在FAI的seminar上了解到的Jingfeng Wu关于大步长梯度下降的与这个类似的一篇工作(Seminar链接:[FAI] Berkeley 吴京风 | 梯度下降新视角:大步长、振荡与加速),然后他表示他看过这篇文章haha。
由于会议是在冲绳的那霸文化艺术剧场举行的,在oral presentation的间隙,还安排有空手道的表演,让众位搞ML的科研人员有机会开下眼。

在参加会议之余我们还去逛了玉泉洞、丰崎海滨公园、美国村等地方。我个人也算是体验了一下以前在美式游戏/好莱坞电影里看到的一些经典的沙滩文化。冲绳的海景还是挺美的:

1.4 读书会
我们实验室和同研究科的田中研定期会举办读书会。我这学期参加的是田中研举办的读书会,所选的书是Francis Bach的书Learning Theory from First Principles》[1]。

这本书的话个人感觉整体而言还是比较侧重经典的statistical learning theory,虽涉及了过参数模型相关的implicit bias、double descent等问题,但deep learning theory所占篇幅不是太多。deep learning theory相关的资源的话,除了FAI的seminar(链接:FAI-Seminar)之外,Sanjeev Arora近年出了本不错的新书:《Theory of Deep Learning》,感觉做相关方向的同学可以参考下。
参加读书会的人里本硕博都有,大部分时候田中本人也会来并向讲的人询问问题。我承担了4.1-4.4部分,该部分和我目前的科研方向比较相关,个人的心得和笔记参见博客《学习理论:凸代理、代理与估计误差界》。
2 校园活动
2.1 11月祭
京大整体的校风给我的感觉就是自由,这不仅体现在学校的学术方面,也体现在学校的文化生活方面。在今年的11月祭中,许多平时上课用的教室在校园祭时就"摇身一变"变成了各类同好交流的场所。比如Kirara同好会,百合文化研究会,淡水生物研究会,汉诗同好会等等。可以看到许多爱好者聚集在一起,有同人本的贩卖活动,也有些爱好者们自己创作的漫画/小说集/诗集的贩卖活动。

我也算是体验了之前在动漫中看过的那些经典校园祭环节。吉田校区这边有许多模拟店的摊位,包括我所加入的书道部也有卖团子的模拟店,我自己也品尝了一下:

还本着尝鲜的心态去体验了女装咖啡厅。感觉相比于喝咖啡,可能聊天才是这个活动的重点。我当时应该是点了一份蛋糕和一杯咖啡,然后接待我的那位哥们是理学部的,好像是做数学的foundation相关的(比如数理逻辑这些),然后还对type theory感兴趣(感觉还挺符合对某些专业人群的stereotype呢哈哈)。然后一边品尝一边和他各种聊亚里士多德、维特根斯坦云云。

此外,还和汉诗同好会的副会长进行了交流(数学专业+东方众),他们同好会的名字「紅於」来源于杜牧的七言绝句。

他还有他自己出的作品集《空色》,其中有他自己写的短篇小说和绝句。后来我还加了他的LINE账号并和他进行了多次交流。感觉他在古汉语发音和近体诗格律方面颇有经验(比如平水韵和广韵),我还把自己写的七言诗发给他让他评价哈哈。
2.2 书道部
京大的各种部活很丰富,包括弓道部、轻音部、歌留多部、书道部等。在所有部活中,我结合自己的兴趣,选择加入了京大的书道部。在科研之余有机会练习书法、修身养性也是件挺舒服的事。先来张我们部在11月祭的书道表演照片:

部里临篆隶楷行草的都有。其中一个一年级的工学部学部生似乎对颜楷挺有兴趣的。
下面是他临的颜真卿《多宝塔碑》片段:

个人而言目前在部里练习草书的次数比较多,临过怀素的《草书千字文》和《自叙帖》。下面是我的行草作品,内容是王勃的七言诗《滕王阁》。后面准备写这个内容参加明年在京瓷美术馆举办的的冬樟展。

在科研之余练习草书对个人来说也是一种释放。值得一提的是,在历史上有许多僧人也喜欢练习草书(尤其是狂草),有一种解释就是他们通过草书来进行悟道,来领会"应无所住,而生其心"的境界。怀素出家修行的零陵与长沙,就是禅宗南岳怀让的弘法之地。相传颜真卿曾问怀素道:"师亦有自得之乎?"怀素对曰:"贫道观夏云多奇峰,辄常师之。夏云因风变化,乃无常势。"

(图片来自X画师@mocha708)
我还在前辈的推荐下参加了部里的书道指导。负责指导大原老师给人的感觉挺和蔼,而且他也喜欢怀素的《自叙贴》( * ^ ▽ ^ * )。
老师还询问了我的出生地,好像他也有四川的朋友。他还提到了由福建东渡日本的隐元禅师。隐元禅师即是创立了日本黄檗宗的那位,而日本黄檗宗的本山即在京都府宇治市的黄檗。
3 文化与生活体验
京都做为具有历史底蕴的古都,许多街道充满着古典感,据说在修建时城市布局参考了唐朝的都城长安。在思想文化方面,它是五山文学和京都学派的发源地,从这里走出了道元、一休宗纯、西田几多郎等思想家/文学家。在文化体验活动方面,京大也为留学生提供了许多诸如歌剧和音乐会的免费邀请。此外,京都做为京都动画和任天堂本部所在的城市,在二次元文化方面也是许多作品的"巡礼地"。
3.1 京都学派和"哲学之道"
西田几多郎做为京都学派的代表人物,他也是京大的校友。正好我认识在京大访问的研究西田哲学的PhD,还准备有机会可以去旁听下他导师的课来着。不过我到目前为止他的作品只读过中译本的《善的研究》,他后期关于场所哲学的作品虽然去年出了中译本,但考虑到译本质量可能读日文原版会更好一些。他的哲学思想中即能找到近黑格尔式的「実在の分化展開」,也能找到近禅宗式的「絶対無の場所」,对其学派后继者亦有深远影响。
在京大不远处有个"哲学之道", 途径银阁寺、法然院、南禅寺等,相传京都学派代表人物西田几多郎曾沿着此道漫步沉思。

我也大致沿着哲学之道漫步了一遍,感觉确实是挺宁静美丽的一条道路。一边走着可以一边想象西田是如何构思出他的场所哲学的,途中还可以看到在桥上写生的人。今年京大的诺贝尔化学奖得主北川进好像也有套自己在京都的散步路线,他在接收采访时还提到了典出《庄子》的「無用の用」。有时我也认为做theory的一些工作除了提出一个method解决how的问题之外,可能还需要去回答why的问题,即使这个问题的解决在当下的实践中或许并不能马上派上用场,但这体现了一种求知和反思的精神。就像黑格尔的那句名言一样:"密涅瓦的猫头鹰总在黄昏起飞。"
3.2 音乐会
京大也为留学生提供了许多免费古典音乐会邀请函,然后关西地区也有东方project爱好者自发组织的乐团并提供免费的演出。我这学期去听了三场音乐会。一次是大阪爱乐乐团京都演奏会,一次是京都交响乐团的定期演奏会,一次是东方的民间爱好者自发举办的音乐会。大阪爱乐乐团京都演奏会的主要演奏曲目是勃小协和勃四,最后好像指挥在热烈的掌声中三进三出并加演了《匈牙利舞曲》第1首中的片段 (>▽,这应该就是所谓的"返场"了。

第一次听勃四的第一次乐章好像还是在本科大三的时候,音乐从一段略带忧伤的旋律开始逐渐迸发出炽烈的感情。当时对于我来说也是比较特殊的一段时期,这次能在线下听到勃四还是挺意外和高兴的。
而东方吹奏乐团大阪支部的定期演奏会的演奏曲目则包括「感情の摩天楼」、「無何有の郷」等经典曲目的改编。其中「無何有の郷」改变的曲目主要由马林巴演奏,相比之前听过的交响乐版本又别有一番风味。在演出的最后观众按着节奏伴随着演奏鼓掌,感觉有那味道了~

3.3 二次元相关的展子
在日本这边来逛的第一个二次元相关的展子是东方的同人展「東方紅楼夢」。做为第一次参加日本的同人展,看了那么多摊位感觉确实开了眼界。

逛下来入手了插图粉丝本、挂件、色纸等周边,其中我还专门买了芙兰的色纸233。

此外,做为周末之行还逛了京阿尼世界展。

此次展出展示了大量的原画,并提供了翻翻书供观众现场体验线稿是怎么"动"起来的。比如就有《CITY》第7集中新仓夜间骑着电瓶车出门在一家中华料理店"狂炫"的场景:

舞台节目请到了监督石原立也,京吹里久美子的CV黑泽朋世,《CITY》里南云的CV小松未可子和新仓的CV丰崎爱生(也是轻音里平泽唯的CV)等嘉宾进行访谈,通过这次活动感觉对动画的原画、美术、演出等知识获得了进一步了解。最后还有一场动画原声音乐会。地下室的展厅则展示了京阿尼历年动画的海报,从早年的AIR、凉宫、Kanon、Clannad,再到轻音、玉子市场、日常,再到近年来的京吹、京紫、龙女仆、CITY等等,可以看到京都动画是怎么一路走来的,在某种意义上也可以从中窥见整个日本日常系动画发展史的一面。

3.4 动漫巡礼
在京都可以巡礼的动漫挺多,个人的话今年2月份过来考试的那段时间巡礼了柯南剧场版、玉子市场、京吹,然后今年10月份去巡礼了轻音。京吹的话当时主要沿着京吹里久美子、叶月和小绿上/放学的路线来行进的,先后途径六地藏站、木幡站、黄檗站,然后到达宇治站。在宇治去爬了大吉山,在参观源氏物语博物馆时也可以看到与京吹的联动。

经过木幡站时,还顺带逛了下京都动画本社,当时是2月份,还可以看到龙女仆新作和《CITY》动画化的海报(゜▽^*))。

经过黄檗站时专程去看了下京吹里北宇治高中的原型之一的莵道高等学校,路上可以看到几个京吹里对应的场景,包括久美子夜里约丽奈出来的小高台,和久美子她们放学后经过的公园。

其中黄檗站今年也搞了和京吹的联动:

轻音的巡礼则是在滋贺县。当走进3楼轻音部部室的时候,「放課後ティータイム」的温馨气息铺面而来。这样一个可以在放学后直奔而来的可供交流、喝茶、练习音乐的场所,让动漫里表现的主角们的高中生活显得格外美好。
部室的黑板上可以看到许多来巡礼的粉丝们的留言。还有好几个前来巡礼的人,有大有小,刚来的时候还看到一个像是四五十岁的大叔拎着俩手办就往外走,emmm.......好像还开着凉宫的"痛车"o( ̄▽ ̄)o

4 总结与个人感悟
在日本读博的第一学期整体来说体验很好。在科研上在learning theory领域算是上手了,包括对其基本的研究范式和所需要用到的一些理论工具进行了一定程度的了解。当然,目前来看在deep learning theory的研究中可能会引入一些不同于传统statistical learning theory的工具,比如凸/离散几何和微分几何等等,而这些感觉可以根据个人的研究方向而言在有所需要时再去学习。在文化生活上体验到了同人展、古典音乐会、校园部活、校园祭等等,而这些也丰富了在我在科研之余的生活。来年的话除了在learning theory科研上继续推进之外,计划在京大旁听一些理论基础课和文史哲的课程,并进一步学习日语(方式可能包括继续学习标日高级教材和加入汉化组等等)并进行进一步的生活体验。