タグ: AWS AI Day

  • 【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(4)AWSで作る! 全部入りAIツール

    2024年9月9日開催の「AWS AI Day」レポート第4弾!今回は、AI Dayで行われたワークショップの様子をお伝えします。

    ▶前回の記事はこちら
    【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(3)突撃!隣のAmazon Bedrockユーザー ~YouはどうしてAWSで?~

    https://aws.amazon.com/jp/events/ai-day

    今回のワークショップの目標は生成AIを用いたアプリケーションをAWS上に構築することです

    生成AIハンズオン:Amazon Bedrock GenUで実践体験

    今回の目玉企画の一つである生成AIハンズオンでは、アマゾン ウェブ サービス ジャパン合同会社 Data & AI 事業本部 シニアAI/MLソリューションアーキテクトの 呉 和仁 氏が解説を担当。

    画像

    参加者は、Amazon Bedrock を用いた生成 AI ソリューションである Generative AI Use Cases JP (GenU) を使用し、AWS Bedrockを使った社内向け生成 AI アプリケーションを実際に体験しました。

    Generative AI Use Cases JP (略称:GenU)

    https://cdn.iframe.ly/0NYhjQa?v=1&app=1

    AICU media編集部も実際に手を動かして、1時間半の時間内に無事、AWSを使って構築できました

    完成したアプリケーション

    完成したアプリケーションの機能を紹介します
    「awsではじめる生成 AI」

    画像

    なんとこれだけの機能が付いてきます

    • チャット
    • RAG(検索拡張生成)チャット
    • 文章生成
    • 要約
    • 校正
    • 翻訳
    • Webコンテンツ抽出
    • 画像生成
    • 映像分析
    • 音声分析
    • 議事録作成
    • ブログ記事作成

    全部入りです。これだけで一般的に利用できるメジャー生成AIサービスの最新バージョンをほぼ網羅していると言っても過言ではありません。
    さらに入力した文章や画像が学習に使われることはありません。アカウントもAWS Cognitoを使って作りますので、メールアドレスやパスワード、その他の認証を使って利用できます。

    画像

    機能詳細

    チャット

    モデルはClaude 3 SonnetとClaude 3 Haikuが使用できます
    履歴は保存されているので後から閲覧可能です

    画像

    プログラムのコードも生成可能です

    画像

    しっかり会話履歴も保存されます

    画像
    画像
    画像

    RAG(検索拡張生成)チャット

    RAG[Retrieval Augmented Generation](検索拡張生成)とは、回答を生成する前にデータベースを検索することで追加学習をさせずに回答の信頼性を向上させる技術です

    今回は内部マニュアルやトレーニング時以降の情報などをS3バケットに配置しています

    AWSにおけるRAGは以下のサイトを参考にしてください

    https://aws.amazon.com/jp/what-is/retrieval-augmented-generation

    これにより休暇の申請方法を根拠となる書類を提示しながら説明するなど、信頼性が向上します。

    画像

    文章生成

    元となる文章を指定されたフォーマットに書き直します

    画像

    プレゼンテーションで使用できるよう章立てにして簡潔にまとめてくれました

    画像

    翻訳

    生成AIを用いた翻訳です

    画像

    Webコンテンツ抽出

    URLから中にあるコンテンツを抽出します

    画像

    画像生成

    左側に日本語の文章で記述すると、右側に画像生成が実行されるという2つの生成AIモデルの合せ技です。
    claude 3 を用いて英語のプロンプトを生成したのち、画像生成します
    画像生成用のモデルとしてStability AI の Stable Diffusion XL (SDXL) とTitan image generatorを選択できます

    画像
    画像

    プロンプトが英語で生成されているのがわかります

    画像

    ※SDXLは1024×1024で学習されているので、サイズ指定は1024×1024を設定したほうが良さそうですね。

    イタズラをしているポメラニアンを描いてみました

    画像
    画像

    映像分析

    カメラからの入力をもとに何が映っているか文章で説明します
    チャットでさらに細かく指示することもできます

    画像

    カメラに写ったものをほぼリアルタイムで解説します。

    音声認識

    マイク入力や音声ファイルから文字おこしをします
    詳細なパラメータを用いればインタビューの文字起こしも簡単にできそうです

    画像

    ユースケース連携の機能について

    上記の機能を組み合わせて使う機能です
    各機能のタブからは使うことができません
    ホームタブのユースケース一覧を一番下までスクロールすると現れる、
    それぞれの試すボタンから使用します

    画像

    ブログ記事作成

    URLをもとに内容を抽出し記事を作成、要約したのちサムネイル画像を生成します

    画像

    抽出した内容とブログを書く際のルールをもとに記事を作成してくれます

    画像
    画像

    さらに生成したブログ記事の本文を要約します

    画像
    画像

    最後にブログ記事に合うような画像を生成します
    その際に要約を用いることでより具体的なサムネイル画像が作成できるようにしているようです

    画像

    デプロイ方法および費用について

    ワークショップ内では、300人という大規模な会場にも関わらず、AWSでのデプロイとAWSクラウドソリューションエンジニアのみなさまによる丁寧なサポートが提供されました。

    画像
    画像

    ★運用時の費用や手順の詳細についてはメンバーシップ向け先行公開および、別の記事で紹介したいと思います。

    最後に新しいAWS認定試験「AWS Certified AI Practitioner (AIF)」や「AWS Certified Machine Leaning Engineer – Associate (MLA)」についての紹介や、お楽しみ、商品つきクイズ大会も!

    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像

    難問中の難問。
    「3.8」と「3.11」どっちが大きい数字?

    画像

    実際にClaude 3.5 sonnetに訊いてみます。

    画像
    画像
    画像
    画像

    300人を超える参加者が非常に快適で濃密な知識交換をできる機会となりました。
    講演登壇者および運営のみなさまに感謝を記載させていただきます。
    次回は10月31日野開催になるそうです。

    https://aws.amazon.com/jp/events/ai-day

    生成AI時代に「つくる人をつくる」AICUとしては総力をあげて4回特集でお送りいたしました。

    お楽しみいただけましたでしょうか。
    AICU AIDX LabはさっそくAWS Bedrock活用ソリューションを開発・展開を行っております。
    ご相談はこちらまで。
    https://corp.aicu.ai/contact

    https://j.aicu.ai/MagV4


    この記事の続きはこちらから https://note.com/aicu/n/n4a38bcebe324

    Originally published at https://note.com on Sept 12, 2024.

  • 【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(3)突撃!隣のAmazon Bedrockユーザー ~YouはどうしてAWSで?~

    2024年9月9日開催の「AWS AI Day」レポート第3弾!
    「つくる人をつくる」AICU mediaでは総力を上げてレポートしております。
    今回は、KDDIアジャイル開発センター株式会社 テックエバンジェリスト、御田 稔(みのるん)氏の講演をピックアップします。

    ▶前回の記事はこちら
    【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例 #awsAIday

    【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(2)AWS活用企業100以上の生成AI事例に見るビジネスインパクト創出の方程式

    お忙しい方はX(Twitter)でどうぞ!

    KDDIアジャイル開発センター株式会社は、Amazon Bedrock GA直後から生成AIプロダクト開発に活用してきた自社事例を披露。AWSを選んだ理由やエンジニア目線での魅力的な機能について語られました。

    資料公開もされております

    https://speakerdeck.com/player/dc0be998325e47e4b11f49fe747eee0a

    発信の大切さをよくわかっていらっしゃる…!

    画像

    テックエバンジェリスト 御田稔(みのるん)氏

    KDDIアジャイル開発センター株式会社(以下KAG)

    https://kddi-agile.com

    https://kddi-agile.com/news/20240905-01

    画像

    Amazon BedrockのGA直後からいくつもの生成AIプロダクト開発に活用してきた自社事例を紹介しつつ、なぜAWSのAmazon Bedrockを選ぶのか、採用時の自社グループ社内向け対応の工夫、エンジニア向けの一押し機能などをユーザー目線から解説します。

    https://aws-ai-day-jp.splashthat.com

    みのるんさんのご著書 「Amazon Bedrock生成AIアプリ開発入門」

    https://www.amazon.co.jp/dp/4815626448

    【AWS用語】「GA」とは?
    GAはGeneral Availabilityの略。プレビュー(ベータ版)を終えて、一般提供(正式版)に切り替わることを意味する

    KAGでのサービス開発事例

    「生成AIブーム、終りが見えませんね…!」
    「もはやブームを通り越して、生成AIは使って当たり前の技術として定着しつつあります」
    という書き出しからスタートした みのるん氏の講演。

    KAGもAmazon Bedrockを活用しまくっています

    画像
    画像
    画像
    画像

    「現場の感覚が大事」という みのるん氏は、あえて現場に飛び込んでいって課題解決のためのソリューションや社内サービス開発に邁進されております。

    ユーザーから見たAmazon Bedrockのメリット

    ①生成AIをAWSのビルディングブロックの一つとして活用できる
    ②高度な機能がマネージドサービスとして簡単に使える
    ③ユーザーが多いので開発者を確保しやすく、Web上の知見も豊富

    画像
    画像
    画像

    「うちの会社にAIいれるの、大変かも」

    みのるん氏もAmazon Bedrockを社内プロジェクトに導入するうえでは一筋縄ではいかない工夫や苦労をされております。
    KDDIグループや本体での利用環境整備、CCoEと連携して、セキュリティ部門と利用前提を合意。他社の生成AIサービスや、AWS自体はすでに社内導入事例があったため、同様の手続きで利用できるよう事前調整を図りました。
    またAmazon Bedrockのプレビューは1アカウント限定だったため、社内で申請ルールや費用分配の仕組みを速やかに作成し、早い段階でいろんな部署のメンバーが使えるように環境を整備したそうです。

    画像

    選定時によく聞かれる「なぜAmazon Bedrockなの?」

    最新モデルがどんどん採用されていますよね!

    画像

    ぜひ海外リージョンも積極的に活用しましょう

    画像

    エンジニアをワクワクさせる
    Amazon Bedrockのイチオシ機能紹介!

    ①ナレッジベース for Amazon Bedrock

    画像
    画像
    画像

    資料公開ありがたいです!

    ▶AWSの生成AIで社内文書検索! Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう

    https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56

    ②エージェント for Amazon Bedrock

    第1回のレポートで紹介した自立型エージェントです。

    画像

    マネジメントコンソールから簡単に作れる!とのことで、営業パワポをメールで送ってくれるデモを動画で披露していただきました。

    こちらも資料公開されております。

    【パワポ対応版】資料作成はAIにまかせよう!AWSでBedrockエージェント入門ハンズオン

    https://qiita.com/minorun365/items/85cb57f19fe16a87acff

    ③Amazon Bedrockプロンプトフロー

    7月に登場した新機能。ローコードで直感的にLLMアプリを作成できる

    画像

    https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/flows.html

    実際の開発の中で学んだ生成AIアプリ開発Tips

    AIの推論には時間がかかる。タイムアウトを防ぐには?

    画像

    図表入りのパワポもRAGで活用したい

    画像

    AIエージェントがたまに言うことを聞かない…!

    ▶AWSで生成AIエージェントを操る! 話題のLangGraphにBedrockで入門しよう

    https://qiita.com/minorun365/items/6ca84b62230519d1d0ef

    生成AIって本当に楽しい!

    画像
    画像
    画像
    画像

    さいごに、みのるん氏は
    「内製開発の見返りがめっちゃ大きい」
    「大丈夫まだ間に合います!」
    「自分で手を動かすと解像度めっちゃ上がる!」
    など勇気づけられるメッセージで講演をまとめられました。

    次回のレポートは、ワークショップ編!

    Generative AI Use Cases JP (略称:GenU)

    https://github.com/aws-samples/generative-ai-use-cases-jp

    コーディングなしでサンプルアプリケーションの動作を確認できるだけでなく、アーキテクチャや機能拡張についても学ぶことができ、 多くの参加者にとって、生成AIの可能性を肌で感じられる貴重な機会となりました。

    AWS AI Dayは、生成AIの最新情報や活用事例、そして実践的なノウハウを一度に学べる、非常に充実したイベントでした。

    AWSは、今後も生成AIサービスの拡充や開発者支援を積極的に進めていくとのこと。生成AIの進化はこれからも加速していくでしょう。

    AICUでは、生成AIに関する最新情報や活用事例を分かりやすくお届けします。 ぜひ、今後のイベント情報や記事にもご注目ください!

    #イベントレポート #awsAIday

    Originally published at https://note.com on Sept 11, 2024.

  • 【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(2)AWS活用企業100以上の生成AI事例に見るビジネスインパクト創出の方程式

    2024年9月9日開催の「AWS AI Day」レポート第2弾!今回は、アマゾン ウェブ サービス ジャパン合同会社 金融事業開発本部長の飯田 哲夫 氏による講演「100 以上の生成 AI 事例に見る ビジネスインパクト創出の方程式」をピックアップします。
    「つくる人をつくる」AICU mediaでは総力を上げてレポートしております。

    ▶前回の記事はこちら
    【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例 #awsAIday

    生成AI導入企業の課題に切り込む!

    生成AIへの関心が高まる一方で、「具体的な活用方法がイメージできない」「社員の利用率が低い」という悩みを持つ企業も多いのではないでしょうか?

    飯田氏の講演では、AWSが支援する国内100社以上の生成AI導入事例を分析。そこから見えてきた、ビジネスインパクトを創出する「成功の方程式」 が示されました。

    100以上の事例を6つの分野に分類!

    飯田氏は、生成AIのユースケースを「一般的なユースケース」と「業界特化の課題にフォーカスしたユースケース」の2つに大きく分類。さらに、ハイインパクトなユースケースとして、以下の6つの類型に分類しました。

    • データの抽出
    • 商材作成の支援
    • サポート業務の支援
    • パーソナライゼーション
    • 営業活動の支援
    • 審査業務の効率化

    公式「AWS AI Day Tokyo」はこちら!

    生成AIの最前線を探る: 最新事例と実践的ハンズオン
    https://aws-ai-day-jp.splashthat.com/
    2024 年 09 月 09 日 14:00 – 18:00 JST

    今回は、イベント内の講演セッション中盤の刺激的な企業での事例紹介と分類から見えてきた価値ある視点をレポートします。

    100 以上の生成 AI 事例に見る ビジネスインパクト創出の方程式

    アマゾン ウェブ サービス ジャパン合同会社 金融事業開発本部長

    画像

    飯田哲夫 氏による講演は「100 以上の生成 AI 事例に見る ビジネスインパクト創出の方程式」というタイトルでした。

    生成 AI に関心がある企業が増える一方、具体的な活用方法がイメージできない企業は 6 割、さらに導入したものの社員の利用率が 1~2 割に留まる調査結果が報告されています。この結果は、生成 AI の敷居の低さに比べて価値創出の難易度が決して低くないことを示しています。本セッションでは、AWS の 100 社超える国内の生成 AI 本番導入事例と Amazon を含む海外の事例から、効果の高いユースケースと、事例化した企業に共通するビジネスインパクト創出の方程式を解き明かします。

    えっ、25分の講演で「100 以上の生成 AI 事例」なんてどうやって紹介するんだろう!?しかも「具体的な活用方法がイメージできない企業は 6 割、さらに導入したものの社員の利用率が 1~2 割に留まる調査結果が報告」という状況は報道等でも言われている雰囲気ではありますが、どんなAWSマジックがあるのでしょうか、聞く前からワクワクです。

    飯田氏「数十万の日本のAWSのお客さんの中で100事例は少なすぎるぐらい」

    画像

    飯田氏の講演では、まずユースケースを2つに分けました。
    ・業界特化のユースケース
    ・一般的なユースケース

    画像

    さらに様々な産業で共通する「一般的なユースケース」において
    ・顧客体験をさらに高める
    ・従業員の生産性と創造性を加速する
    ・ビジネスプロセスの最適化
    といった軸で具体的な整理が進められました。

    画像

    さらに「業界特化の課題にフォーカスしたユースケース」において
    ・ヘルスケア/ライフサイエンス
    ・製造業
    ・金融サービス
    ・流通/小売
    ・メディア&エンタメ
    といった各業界において具体的な事例を列挙していきます。

    画像

    ハイインパクトなユースケースの類型

    そして「ハイインパクトなユースケースの類型」
    ・データの抽出
    ・商材作成の支援
    ・サポート業務の支援
    ・パーソナライゼーション
    ・営業活動の支援
    ・審査業務の効率化
    という分類が示されました。

    画像

    さてここからは具体的な事例です。

    1社あたり3行程度の事例ですが、具体的な数字を入れつつすごい勢いでインパクトのある事例が紹介されていきます。

    ・データの抽出

    画像

    第一興商:入社1ヶ月の新人が3週間で9割は採用基準を満たす会話記録

    画像

    AWS未経験で入社1ヶ月の新人が3週間でAmazon TranscribeとAmazon Bedrockを利用して検証。約9割は基準を満たす良好な結果。

    ・商材作成の支援

    画像

    パルシステム:マーケティングのための商材作成
    FFB: ユーザーが撮影した写真をSNSへ投稿する際、ハッシュタグの作成キャプションとタグの生成に15分以上要していた。生成AIの適用により作業効率50%以上削減。

    北海道文化放送:FAXで届くリリース情報からニュース原稿の作成フローにAI活用

    画像

    ・サポート業務の支援

    日本製鋼所: 営業応対に活用。開発期間2ヶ月

    画像

    セゾンテクノロジー: HULFT製品のテクニカルサポートエンジニアが回答作成時間を最低30%短縮

    画像

    ・パーソナライゼーション

    パーソナライゼーションではNatWestの事例

    画像
    画像

    ・営業活動の支援

    営業活動の支援ではエフピコさんの事例で日報作成を紹介。

    画像
    画像

    ・審査業務の効率化

    画像

    審査業務の効率化では野村ホールディングスの事例と、FleGrowthでの監査対応トレーニング事例が紹介されました。 ISMS(情報セキュリティマネジメントシステム)認証のために参照する社内規定、マニュアルは100以上。
    一人のエンジニアが3ヶ月でデモを構築、3ヶ月のブラッシュアップでリリース。

    100以上の事例に見る共通点

    これまで6分野に分類して一気にインパクトのあるユースケースを紹介いただきましたが、実はこれらの事例には「共通点」があるそうなのです。

    画像

    ・顧客起点文化: 顧客体験はもちろん社内の営業やカスタマーサポートの人たちの作業評価サイクルがあること。
    ・小規模なチーム: 2-4名もしくは1名
    ・頻繁な実験: 1-3ヶ月で本番稼働

    これらはリクルートの新卒エンジニアチームによる事例もエビデンスと言えると感じました。

    まず始める
    そして加速する

    画像
    画像

    成功事例には、顧客起点の文化、小規模なチーム、頻繁な実験という共通点があることがエビデンスとともに示されました。 汎用性の高いものから、各企業の独自性、業界特有のものへと発展していきます。 飯田氏の講演は「まずはハイインパクトなユースケースから取組み、実験・傾聴・反復のサイクルを加速させましょう」というメッセージでまとめられました。

    画像

    成功企業に共通する「3つのポイント」とは?

    100以上の事例を分析した結果、成功企業には以下の3つの共通点があることが明らかになりました。

    1. 顧客起点文化: 顧客体験はもちろんのこと、社内の営業やカスタマーサポートにおける評価サイクルが確立されている。
    2. 小規模なチーム: 2〜4名、もしくは1名体制でプロジェクトを推進。
    3. 頻繁な実験: 1〜3ヶ月という短期間で本番稼働までこぎつけ、PDCAサイクルを高速で回している。

    これらのポイントは、リクルートの新卒エンジニアチームによる事例からも裏付けられています。

    まずは小さく始めて、高速PDCAで成果を最大化!

    飯田氏は最後に、「まずはハイインパクトなユースケースから取り組み、実験・傾聴・反復のサイクルを加速させましょう」と締めくくりました

    聴講した感想

    圧倒的な事例数と説得力のあるメッセージが印象的な講演でした。

    近い講演が資料が8月に公開されていますが、飯田氏の講演ではさらに事例の追加と整理が進んでいるという印象でした。

    https://speakerdeck.com/player/4e1225d6d4664ad3818cce81a60a4114

    世間一般で言われているような「企業でのAI活用が進まない」というステレオタイプとは裏腹に、かなりのスピード感で一般化しており、また「インパクトのある成果の影にAWSあり」という印象を持つことができました。

    圧倒的な事例数によるすごくいい講演だと思いました。
    前後の講演の構成もフワッとした話が具体的になり、さらに「自分でやりたい」という気持ちが起きる良い構成でした。
    良い講演をありがとうございました。

    【レポートはまだまだ続きます!】

    次回は、KDDIアジャイル開発センター株式会社のテックエバンジェリスト、御田 稔(みのるん)氏による講演「突撃!隣のAmazon Bedrockユーザー ~YouはどうしてAWSで?~」をレポートします! お楽しみに!

    こちらのレポートと、気になるワークショップについてのレポートを予定しております。

    Originally published at https://note.com on Sept 10, 2024.

  • 【イベントレポート】AWS AI Day:生成AIの最前線に迫る最新事例と実践ハンズオン(1)新人こそがAI開発のエース!?リクルートの最新事例

    2024年9月9日、生成AIの最新動向と活用事例を学べるイベント「AWS AI Day」が開催されました。会場は、生成AIの可能性に期待を寄せる多くの参加者で熱気に包まれました。

    今回は、イベントの注目セッションや見どころをレポートします。

    AWS AI Day

    生成AIの最前線を探る: 最新事例と実践的ハンズオン

    https://aws-ai-day-jp.splashthat.com/
    2024 年 09 月 09 日 14:00 – 18:00 JST

    画像

    会場となったザ・プリンス パークタワー東京

    画像

    ボールルーム ABC

    画像

    オープニングセッション:AWSの生成AI戦略と最新アップデート

    オープニングセッションでは、アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャーの黒川 亮 氏が登壇。

    画像

    AWSが考える生成AIのビジョンや戦略、そしてAmazon Bedrockをはじめとする生成AIサービスの最新アップデートが紹介されました。

    画像

    これまで326機能をリリース。これはクラウド各社と比較しても群を抜いて多い数。

    画像
    画像
    画像

    最先端のAIは、クラウド上にある。

    画像

    世界最速の演算環境をクラウドで。

    画像

    推論と学習で別の演算環境を用意
    AWS Inferentia(インファレンシア)
    Amazon EC2 で、深層学習と生成 AI 推論について最低コストで高パフォーマンスを実現

    画像


    そしてサステナビリティ。

    業務に効くモデルの選択、組み合わせ

    画像

    Bedrockで最新リリース
    Claude3.5, Stable Diffusion 3が可能に

    画像

    そしてモデル評価も

    画像
    画像

    RAGによるナレッジベースデーターコネクター拡張もお任せ

    画像
    画像

    Knowledge Bases for Amazon Bedrock

    画像

    https://aws.amazon.com/jp/bedrock/knowledge-bases

    ナレッジベース・データコネクター拡張

    URLやSalesForceなど…

    画像

    新しいデーターソース、コネクタが用意されています。

    https://aws.amazon.com/jp/blogs/news/knowledge-bases-for-amazon-bedrock-now-supports-additional-data-connectors-in-preview

    アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャー 黒川亮 氏は、LLMによる知識を「チーズ」に例えます。知識の「チーズの穴」を埋めるRAG以外の手法が「ファインチューニングである」としています。

    画像
    画像

    そしてエージェント機能によるメモリー保持とコード解釈。

    画像

    生成AI Contents Hubを公開

    画像

    Generative AI Use Cases JP (略称:GenU)

    https://github.com/aws-samples/generative-ai-use-cases-jp

    特に、生成AIの先進をリードするAWSの姿勢が強調され、参加者の注目を集めました。

    顧客事例講演(1):リクルート

    リクルートの今年4月の新卒入社、の柴田さん中川さんによる講演。
    新人が感まったくない、堂々とした生成AIプロフェッショナルによる講演でした。

    顧客事例講演では、株式会社リクルートとKDDIアジャイル開発センター株式会社が登壇。

    リクルートは、Amazon Bedrockを活用した入稿文章校正システムの構築事例を紹介。新人検索エンジニアがRAG(Retrieval Augmented Generation)の性能評価や改善に取り組んだノウハウを共有しました。

    画像
    画像
    画像

    リクルート新卒中川さん「RAGは(構築するだけなら簡単だが)評価が大事」

    画像
    画像
    わかりみです

    様々な「社内規定」をテーマに事例を紹介 されました。
    たとえば「『約』という表現は可能か?」 リクルートの営業さんからの過去の問い合わせメールなどを使い、RAGの中にプロンプトで「常識的に回答」を加えて実態に沿わせた回答に。 さらにここから「評価」に。 改善の方法が汎用できるのか? 方向性が正しかったのか?を評価していきます。

    画像
    画像
    画像
    画像

    過去のリクルート営業さんからの質問からテストケースを作成。一方で、 回答の性能評価の難しさについても語られました。

    画像

    それで大丈夫?RAGのチューニング

    画像
    画像
    画像


    RAGの品質を自動評価するOSSフレームワーク「RAGAS」を使用

    https://docs.ragas.io/en/stable

    画像

    RAGASの出力から。
    Answer Similarity: 真の回答の類似度
    Fathfulness:コンテキストにどれだけ沿っているか

    画像
    画像
    画像

    今回の例だとAnswer Similarityは上がっているけどFaithfulnessが上がっている。これはハルシネーションリスクが上がっている。

    画像
    画像
    画像

    真の回答には背景となる状況を考慮している そこで 事実の仮定と場合わけを追加 RAGASの導入によって改善サイクルが回るようになった 3ヶ月で40以上のサイクルを回して改善を実施した

    画像
    画像
    画像

    まとめ

    画像
    画像
    画像

    様式美もきっちりで
    まるで新人とは思えない発表でした

    ありがとうございました!

    <続きます>

    ツイートスレッドでの紹介はこちらから

    #イベントレポート #awsAIday

    Originally published at https://note.com on Sept 9, 2024.