【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例

AWS AI Dayの最新レポートでは、AWSによる生成AI技術の最前線を紹介。リクルートの新人エンジニアが生成AIプロジェクトで主導的役割を果たし、RAGやOSSフレームワーク「RAGAS」を活用した取り組みを詳述。生成AIの最新活用事例や、企業における実践的な応用方法についても言及され、AI開発の未来を探るイベントの全貌を解説。

2024年9月9日、生成AIの最新動向と活用事例を学べるイベント「AWS AI Day」が開催されました。会場は、生成AIの可能性に期待を寄せる多くの参加者で熱気に包まれました。

今回は、イベントの注目セッションや見どころをレポートします。

AWS AI Day

生成AIの最前線を探る: 最新事例と実践的ハンズオン

https://aws-ai-day-jp.splashthat.com/
2024 年 09 月 09 日 14:00 – 18:00 JST

画像

会場となったザ・プリンス パークタワー東京

画像

ボールルーム ABC

画像

オープニングセッション:AWSの生成AI戦略と最新アップデート

オープニングセッションでは、アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャーの黒川 亮 氏が登壇。

画像

AWSが考える生成AIのビジョンや戦略、そしてAmazon Bedrockをはじめとする生成AIサービスの最新アップデートが紹介されました。

画像

これまで326機能をリリース。これはクラウド各社と比較しても群を抜いて多い数。

画像
画像
画像

最先端のAIは、クラウド上にある。

画像

世界最速の演算環境をクラウドで。

画像

推論と学習で別の演算環境を用意
AWS Inferentia(インファレンシア)
Amazon EC2 で、深層学習と生成 AI 推論について最低コストで高パフォーマンスを実現

画像


そしてサステナビリティ。

業務に効くモデルの選択、組み合わせ

画像

Bedrockで最新リリース
Claude3.5, Stable Diffusion 3が可能に

画像

そしてモデル評価も

画像
画像

RAGによるナレッジベースデーターコネクター拡張もお任せ

画像
画像

Knowledge Bases for Amazon Bedrock

画像

https://aws.amazon.com/jp/bedrock/knowledge-bases

ナレッジベース・データコネクター拡張

URLやSalesForceなど…

画像

新しいデーターソース、コネクタが用意されています。

https://aws.amazon.com/jp/blogs/news/knowledge-bases-for-amazon-bedrock-now-supports-additional-data-connectors-in-preview

アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャー 黒川亮 氏は、LLMによる知識を「チーズ」に例えます。知識の「チーズの穴」を埋めるRAG以外の手法が「ファインチューニングである」としています。

画像
画像

そしてエージェント機能によるメモリー保持とコード解釈。

画像

生成AI Contents Hubを公開

画像

Generative AI Use Cases JP (略称:GenU)

https://github.com/aws-samples/generative-ai-use-cases-jp

特に、生成AIの先進をリードするAWSの姿勢が強調され、参加者の注目を集めました。

顧客事例講演(1):リクルート

リクルートの今年4月の新卒入社、の柴田さん中川さんによる講演。
新人が感まったくない、堂々とした生成AIプロフェッショナルによる講演でした。

顧客事例講演では、株式会社リクルートとKDDIアジャイル開発センター株式会社が登壇。

リクルートは、Amazon Bedrockを活用した入稿文章校正システムの構築事例を紹介。新人検索エンジニアがRAG(Retrieval Augmented Generation)の性能評価や改善に取り組んだノウハウを共有しました。

画像
画像
画像

リクルート新卒中川さん「RAGは(構築するだけなら簡単だが)評価が大事」

画像
画像
わかりみです

様々な「社内規定」をテーマに事例を紹介 されました。
たとえば「『約』という表現は可能か?」 リクルートの営業さんからの過去の問い合わせメールなどを使い、RAGの中にプロンプトで「常識的に回答」を加えて実態に沿わせた回答に。 さらにここから「評価」に。 改善の方法が汎用できるのか? 方向性が正しかったのか?を評価していきます。

画像
画像
画像
画像

過去のリクルート営業さんからの質問からテストケースを作成。一方で、 回答の性能評価の難しさについても語られました。

画像

それで大丈夫?RAGのチューニング

画像
画像
画像


RAGの品質を自動評価するOSSフレームワーク「RAGAS」を使用

https://docs.ragas.io/en/stable

画像

RAGASの出力から。
Answer Similarity: 真の回答の類似度
Fathfulness:コンテキストにどれだけ沿っているか

画像
画像
画像

今回の例だとAnswer Similarityは上がっているけどFaithfulnessが上がっている。これはハルシネーションリスクが上がっている。

画像
画像
画像

真の回答には背景となる状況を考慮している そこで 事実の仮定と場合わけを追加 RAGASの導入によって改善サイクルが回るようになった 3ヶ月で40以上のサイクルを回して改善を実施した

画像
画像
画像

まとめ

画像
画像
画像

様式美もきっちりで
まるで新人とは思えない発表でした

ありがとうございました!

<続きます>

ツイートスレッドでの紹介はこちらから

#イベントレポート #awsAIday

Originally published at https://note.com on Sept 9, 2024.