トップ > 日記 > 2023年研究開発振り返り

2023年研究開発振り返り

日記

12月半ばに長らく取り組んでいた論文を投稿して気が抜けたのか、年末年始は呆けて過ごしている。気がついたら4日なってもまだ振り返りを書けていなかった。2023年は2022年と比べて自身の変化が少なく、振り返るためのやる気がでなかったのかもしれない。やる気がない筆をとりつつ振り返っていく。

2023年振り返り

研究開発

博士号はとれなかった。研究開発については昨年から引き続き１年中同じテーマの論文を書くための実験と執筆を繰り返し続けるだけだった。想像していたより難しいテーマに取り組んでいたことがあとからわかってきて、仮説を立てて実験してはよい結果がでない。そもそも評価指標がなかなか確立せず、なにがよくてなにが悪いのか暗中模索を続けていた。なんとか今年中にまとめきって、国際ジャーナルに論文を投稿できたのはよかった。この記事を書いてる途中で、投稿論文について「今のままだと一人のレビュアーがreject判定だから再投稿したら再度レビューするよ」といったメールが返ってきたため、原稿を修正する必要がでてきて慌てている。論文の本文はまだ公開していないが、コードとデータセットはGitHubに公開している。

GitHub - ai4sre/metricsifter: Feature reduction of multivariate time series data for fault localization in Python

以下は、2023年の主要な出来事を羅列する。

昨年の3月に博士課程は3年の標準年限を終えて、研究指導認定退学した。大学の福利厚生は使えなくなったが、研究室のSlackワークスペースにはフルメンバーでアカウントを残していただいている。

4月は毎朝論文を読む活動をやっていた。これのおかげで、研究の突破口もみえたのでやってよかった。本当は長期的に続けたほうがいいのだけど、短期的報酬系に脳が最適化されてしまって、途中でやめてしまった。

5月末ごろに今投稿中の論文で提案するアルゴリズムを思いついて、それまでのアルゴリズムを全て捨てた。それから9月までそのアルゴリズムの評価実験を続けていた。

9月には、SRE NEXT 2023で3年ぶりに現地でプレゼンテーションした。今回は、自分の成果を発表するのではなく、会場のエンジニアに対して論文を読もうよと呼び込むスタイルを選択した。

7-12月は論文執筆の季節になった。アルゴリズムの良さをどのように評価するかにはずいぶん頭を悩ませた。過去書いたシステム系の論文のように単にスループットやレイテンシ、リソース利用率といったよく知られた指標が良いことを示すだけなら単に手間の問題だった。今回のアルゴリズムは、end2endのタスクではなく、パイプラインのなかの一つのタスクを提案するものであり、定番の評価指標はない。また、そのタスクだけ評価してもパイプライン全体として良いのか疑問が残るため、パイプライン全体としても評価しなければならない。英語については、OpenAI Assistants APIやPaperPal、DeepL、DeepL WriteなどのAIツールを使い込んだ。

12月には、前述のように論文を投稿すべく追い込みをかけていた。また、はてなに新卒？入社して10年経過した。はてなを退職して5年になる。さくらインターネットに入社してほぼ５年だ。副業先のTopotalが手かげているSREのプロダクト「Waroom」がファーストユーザーを獲得したのは、嬉しいニュースだった インシデントマネジメントのこれまでとこれから。Waroom開発チームと2年半ほど毎週ディスカッションさせていただいてきたので感慨深いものがある。

研究分野以外のテクノロジーの変化については、とにかくChatGPTをはじめとする生成AIの台頭が凄まじかった。ChatGPTやGitHub Copilot、英語翻訳・校正系ツールがないと仕事ができくなくなっている。コーディングでは、複数のファイルにまたぐソフトウェアプロジェクトのコードはGitHub Copilot、書き捨てスクリプトやデータサイエンス系ライブラリやLaTexの込み入った使い方、データの可視化方法などについてはChatGPTに出力させている。その他、ぐぐってもでてこないようなタスク、例えば、自分が書く論文のタイトル候補をだしてもらうとか、議論した内容の整理や発散をChatGPTに投げまくっている。

プロダクト設計や研究プロジェクトの展望についても生成AIは大きな影響を与えた。副業先のTopotalでも生成AIを前提とするプロダクト設計について頻繁に議論させてもらっている。一昨年のDICOMO2022の招待講演で発表した展望がずいぶん早くに実現されようとしている。 AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1 - Speaker Deck

京都で一人で日本ではほとんど取り組まれていない分野で研究開発とかやってるせいか、だんだん気も狂ってきて、再魔術化された世界のSREとか言い始める。異世界系エンタメの観すぎのように思われそうだが、社会学では再魔術化は用語になっている https://www.amazon.co.jp/dp/4163910212。

人生観の変化

2023年のChatGPTをはじめとする生成AIの台頭は凄まじかった。現時点でのAI製品は便利なツールに留まるが、来年にはAIエージェントが自身で試行錯誤したり、ユーザー個々人のコンテキストの収集が自動化されていく展望が噂されている。この調子で技術が進化していくと、数年以内には自分の知力を上回るのではないかと恐れるようになった。昨年の4月に研究所内でAIの台頭に関する所感を共有していた。 最近の生成AIの興隆に対する危機感と好奇心についての思索メモ (4/4/2023) · GitHub

自分はこれまで、自身の知力を向上させ、その知力に基づいてなんらかの成果を得ることに人生の時間の大部分を注ぎ込んできた、といってもよい。しかし、知力に基づく生産性を最重視していてよい時代ではなくなってきていると感じている。そのため、「人間」という文字の意味に沿って、人とのネットワークが以前よりも重要になってきたり、成果の多寡よりも好奇心の満足を目指すこと、つまり、「楽しい」や「おもしろい」を重視することが大事になってくる気がしている。最終的には近所でのんびりコーヒー屋でもやってるかもしれない。

さすがに数年ぐらいでソフトウェアエンジニアリングに関して自分ができる仕事がゼロになるとは思えないし、研究テーマのAIOpsに対して、今年のLLMの進化はそれほど大きな影響を今のところ与えていない。しかし、なんとなく描いていた将来予測を大幅に修正することになった。

2024年抱負

なんといっても博士号をとらないとどうにもならない。博士論文のための材料は揃ったので、あとはまとめていくだけのはず。

研究所の仕事としては、博士課程で独りで到達できる成果の限界を強く感じたため、研究プロジェクトチームを組織したい。そのため、今年の後半には、研究所で研究員と研究開発エンジニアを募集できるような状態にもっていきたい。今年はまだ時期尚早だが、事業化も考えていきたい。また、会社に閉じず、オープンコミュニティと連携し、自分の研究を広げていきたい。

年末の沖縄での研究所合宿では、次のようなスライド（一部抜粋）を作って展望を共有していた。