AICUメディアコミュニケーション事業部のKotoneです！
今回の記事では、Fully Connected Tokyo 2023という Weights and Biases社さん(ウェイツ・アンド・バイアスィズ, 以下WandB)主催のイベントの参加レポートをしていきます。
※本記事は勝手取材です！なにか間違っていましたら Twitter(X)@AICUai までフィードバックいただけたら幸いです

しらいはかせの一言メモ：WandB社とは？

WandBさんは機械学習の実験結果管理、データセットのバージョン管理などをされているプロ/学術/ホビー開発者向けプラットフォームです。
わかりやすいところでは「Nejumi LLMリーダボード」という日本語LLMの性能ランキングを掲示している会社さんでもあります。こういうレポートを膨大な実験結果から可視化できるのが最大の特徴ですね。

https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM—Vmlldzo0NTUzMDE2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa

https://forest.watch.impress.co.jp/docs/serial/aistream/1525188.html

久しぶりにNejumi LLM リーダーボード見に行ったら llm-jp のモデルが GPT-3.5を圧倒的に凌駕してGPT-4に迫ってた。え、マジこれ？whttps://t.co/IOgmv4GS2L pic.twitter.com/6X7GoRH7jg
— ML_Bear (@MLBear2) October 22, 2023

日本語が扱えるLLMも「ChatGPT4の一強！」というわけでなく、時々ウォッチしてないと、GPT3からGPT3.5ぐらいの性能だといつの間にか順位が逆転して…ということもあります。そしてその測定方法などもきちんとウォッチしていく必要があります。

そういえばテキスト読み上げツール「 VOICEVOX 」の作者、Hiroshibaさんも3年前からこんなツールをGitHubで公開されておりますね。

https://github.com/Hiroshiba/wandb-client

Fully Connected Tokyo 2023に参加しました！

10月11日（水）、東京スクエアガーデンにてWeights & Bias社（以下WandB社）主催のイベント「Fully Connected Tokyo 2023」が開催されました。

https://fullyconnected.jp/

今回のイベントでは、生成AI/LLMから画像モデル開発まで、最先端のWandBユーザーの方々によるトークセッションを通して開発手法を学びました。

Weights & Biasとは？

Weights＆Bias（以下W&B）を簡単に説明すると、「AI開発者のためのプラットフォーム」です。実験の追跡、データセットのバージョン管理と反復処理、モデルのパフォーマンスの評価などを通してより良いモデルをより迅速に構築することができます。
また今回のセッションでは、開発者同士でレポートを共有するなど、チーム内の行動の可視化にも活用されているという話を多く聞きました。

https://wandb.ai/site

トークセッションレポート

ここからは、トークセッションの様子をレポートしていきたいと思います。
アジェンダはこちら。

https://fullyconnected.jp/

W&B社のCarey Phelpsさんによるトークでは、W&Bの運営とサービスの内容について聞きました。

株式会社マクニカの諸橋大地さんのセッション

イスラエルの機械学習、AI構築の会社であるRun:Ai社さんの代理での登壇でした。

TOYOTA社のEvan Cushingさんのセッション

自動車業界におけるW&Bの活用について学びました。

SyntheticGestalt社の神谷幸太郎さん

Dagsterというワークフローのツールについてのセッションです。

Qosmo社の徳井直生さん

AIアートとDJを組み合わせたライブイベントの開催をはじめとした、AIの創造性についての話を聞きました。

東北大学教授言語AI研究センター所属の鈴木潤さん

LLMおよび言語処理研究でのWandB利用についての紹介でした。

Stability AIの秋葉拓哉さん

「LLMを作れって明日上司に言われたらどうしますか？」というテーマでのセッションでした。

弊社の白井暁彦博士がこちらの記事で詳しく解説しています。

https://note.com/o_ob/n/n62853c40f937

まとめ

実は私はLLMに関しての知識が全く無く、今回ゼロからの学びとなりました。タイトル通りゼロから頂点を一気に学ばせていただき、開発を裏から支えるツールも、生成AIが主役となるDJのようなコンテンツも創ることができるという可能性の広さに刺激を受けました。
LLMや生成AIが持つ影響力を肌で感じることができ、とても良い経験だったと感じました。

交流させていただいたみなさんもとってもフレンドリーでした！
お話させていただいたみなさんありがとうございました！