2024年9月9日、生成AIの最新動向と活用事例を学べるイベント「AWS AI Day」が開催されました。会場は、生成AIの可能性に期待を寄せる多くの参加者で熱気に包まれました。
今回は、イベントの注目セッションや見どころをレポートします。
AWS AI Day
生成AIの最前線を探る: 最新事例と実践的ハンズオン
https://aws-ai-day-jp.splashthat.com/
2024 年 09 月 09 日 14:00 – 18:00 JST
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-237.png)
会場となったザ・プリンス パークタワー東京
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-282.png)
ボールルーム ABC
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-248.png)
オープニングセッション:AWSの生成AI戦略と最新アップデート
オープニングセッションでは、アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャーの黒川 亮 氏が登壇。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-259.png)
AWSが考える生成AIのビジョンや戦略、そしてAmazon Bedrockをはじめとする生成AIサービスの最新アップデートが紹介されました。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-241.png)
これまで326機能をリリース。これはクラウド各社と比較しても群を抜いて多い数。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-265.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-269.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-261.png)
最先端のAIは、クラウド上にある。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-249.png)
世界最速の演算環境をクラウドで。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-267.png)
推論と学習で別の演算環境を用意
AWS Inferentia(インファレンシア)
Amazon EC2 で、深層学習と生成 AI 推論について最低コストで高パフォーマンスを実現
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-263.png)
そしてサステナビリティ。
業務に効くモデルの選択、組み合わせ
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-257.png)
Bedrockで最新リリース
Claude3.5, Stable Diffusion 3が可能に
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-262.png)
そしてモデル評価も
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-268.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-264.png)
RAGによるナレッジベースデーターコネクター拡張もお任せ
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-260.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-258.png)
Knowledge Bases for Amazon Bedrock
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-266.png)
https://aws.amazon.com/jp/bedrock/knowledge-bases
ナレッジベース・データコネクター拡張
URLやSalesForceなど…
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-244.png)
新しいデーターソース、コネクタが用意されています。
アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャー 黒川亮 氏は、LLMによる知識を「チーズ」に例えます。知識の「チーズの穴」を埋めるRAG以外の手法が「ファインチューニングである」としています。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-242.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-239.png)
そしてエージェント機能によるメモリー保持とコード解釈。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-234.png)
生成AI Contents Hubを公開
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-281.png)
Generative AI Use Cases JP (略称:GenU)
https://github.com/aws-samples/generative-ai-use-cases-jp
特に、生成AIの先進をリードするAWSの姿勢が強調され、参加者の注目を集めました。
顧客事例講演(1):リクルート
リクルートの今年4月の新卒入社、の柴田さん中川さんによる講演。
新人が感まったくない、堂々とした生成AIプロフェッショナルによる講演でした。
顧客事例講演では、株式会社リクルートとKDDIアジャイル開発センター株式会社が登壇。
リクルートは、Amazon Bedrockを活用した入稿文章校正システムの構築事例を紹介。新人検索エンジニアがRAG(Retrieval Augmented Generation)の性能評価や改善に取り組んだノウハウを共有しました。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-256.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-270.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-243.png)
リクルート新卒中川さん「RAGは(構築するだけなら簡単だが)評価が大事」
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-245.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-273.png)
様々な「社内規定」をテーマに事例を紹介 されました。
たとえば「『約』という表現は可能か?」 リクルートの営業さんからの過去の問い合わせメールなどを使い、RAGの中にプロンプトで「常識的に回答」を加えて実態に沿わせた回答に。 さらにここから「評価」に。 改善の方法が汎用できるのか? 方向性が正しかったのか?を評価していきます。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-247.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-278.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-246.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-252.png)
過去のリクルート営業さんからの質問からテストケースを作成。一方で、 回答の性能評価の難しさについても語られました。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-238.png)
それで大丈夫?RAGのチューニング
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-235.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-240.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-272.png)
RAGの品質を自動評価するOSSフレームワーク「RAGAS」を使用
https://docs.ragas.io/en/stable
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-271.png)
RAGASの出力から。
Answer Similarity: 真の回答の類似度
Fathfulness:コンテキストにどれだけ沿っているか
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-254.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-251.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-253.png)
今回の例だとAnswer Similarityは上がっているけどFaithfulnessが上がっている。これはハルシネーションリスクが上がっている。
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-255.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-236.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-250.png)
真の回答には背景となる状況を考慮している そこで 事実の仮定と場合わけを追加 RAGASの導入によって改善サイクルが回るようになった 3ヶ月で40以上のサイクルを回して改善を実施した
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-280.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-274.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-279.png)
まとめ
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-277.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-276.png)
![画像](https://ja.aicu.ai/wp-content/uploads/2024/09/image-275.png)
様式美もきっちりで
まるで新人とは思えない発表でした
ありがとうございました!
<続きます>
ツイートスレッドでの紹介はこちらから
Originally published at https://note.com on Sept 9, 2024.