Amazon Bedrockのガードレールが日本語に対応したらしいので確認する
5/7現在、日本語対応がまた動かなくなっているようなので、最新情報をドキュメントで確認してからお試しください
15
4
Comment0
66 search resultsShowing 1~20 results
Stocked
You need to log-in
Amazon Q Developer の生成AI で日本語コーディング
Amazon Q developer の（一部で）日本語サポートが（追加で）開始したので日本語でコーディングが出来るか試してみます。 そもそもどの機能が日本語化したの？ Amazon Q Dev...
9
5
Comment0
Amazon Bedrock Knowledge Bases の新機能で PDF を読む
ナレッジベースのPDF解析に新機能が追加されたのでどう読めているのか確認していきます。 データオートメーションパーサーは手書きを含めたPDF等から構造化データに変換します。ホントに？ ファンデー...
14
6
Comment0
Bedrockナレッジベースの新機能全部入りのRAGを作る
Bedrockおよびナレッジベースの新機能を幾つか確認したので、全部入りのRAGプログラムを書いてみます。 ナレッジベースの作成 以下の Use foundation model for par...
8
3
Comment0
Bedrock ガードレールの新機能 Contextual grounding checkを 試す
Bedrockのガードレールに、Contextual grounding check という機能が追加されました。 RAGを実装する場合にきちんとContextに従って回答しているか？（ハルシネ...
4
4
Comment0
Knowledge bases for Amazon Bedrock の Use foundation model for parsing を試す
ナレッジベースの新機能「Use foundation model for parsing」を使用して、PDFドキュメントがどうパースされるのかを確認していきます。 結論、とても良いです。 使用す...
9
4
Comment0
Knowledge bases for Amazon Bedrockのチャンキング戦略を確認する
ナレッジベースのチャンキング戦略がいろいろ増えたので動きを確認していきます。 日本語文書では微妙だったので、英語のエルマーの冒険をS3に格納してチャンキングしていきます。 デフォルトチャンキング...
6
2
Comment0
Amazon Bedrock 全LLM 日本語能力比較（2024/7/26 Llama3.1, Mistral Large 2 追加版）
Llama3.1、Mistral Large 2が増えたので日本語能力を確認します。 （プレビューのLlama3.1 405Bは除いています） ※その他のモデルについては前回の実行結果（↓）のま...
3
3
Comment0
BedrockのConverseAPIは構造化PDFをどう読めているのか？
BedrockのConverseAPIがいつの間にか各種ファイル（ドキュメント等）をバイナリで受け取る事が出来るようになったので、（表を含む）構造化PDFがどう読めているのか？というのを確認した...
10
3
Comment0
Amazon Bedrock 全LLM 日本語能力比較（2024/7/1 Claude3.5 Sonnet, AI21Labs Jamba-Instruct 追加版）
Claude3.5 Sonnet、Jamba-Instructが増えたので全LLMの日本語能力をチェックします。 コード import boto3 prompt="質問：日本における味噌汁の作り...
3
2
Comment0
「Amazon Bedrock 生成AIアプリ開発入門」レビュー #Bedrock開発入門
ありがたい事に著者の @minorun365 さんに献本頂きましたので、 「Amazon Bedrock 生成AIアプリ開発入門」の特徴を見ていきたいと思います。 想定される読者 どれぐらいの知...
9
4
Comment0
LLMはExcel方眼紙を読めるのか？
日本にはExcel方眼紙という文化がありますので、各企業に膨大に存在するであろうExcel方眼紙資産をLLMは読めるのか？という水と油のような事を試してみます。 Excel方眼紙としてはかなり簡...
21
10
Comment0
PDFをLLMで解析する前処理のパーサーは何が良いのか？（pdfminer, PyMuPDF, pypdf, Unstructured）
現状の LLM は PDF ファイルを直接処理出来ない為、予めなんらかのプレーンテキスト形式に変換する必要があります。 （PDFを読める各チャットアプリも内部的には何らかの手段でプレーンテキスト...
44
30
Comment0
Bedrock の Converse API を少しだけ掘り下げる
Converse API の登場でモデル毎のインターフェースがある程度統一されたので、（langchainのように）以下のように全モデル同じように呼び出す事が出来るようになりました。 とはいえ細...
6
3
Comment0
Amazon Bedrock 全LLM 日本語能力比較（2024/5/31 ConverseAPI版）
BedrockにConverseAPIなるものが追加され、モデル毎のパラメータの差異を吸収してもらう事が出来る様です。 ということで、全LLMモデルに対してConverseAPIを呼んでみます。...
5
3
Comment0
RAG/LLMの前処理：PyMuPDF4LLMを使用してPDFをMarkdownへ変換する
PDFに対するRAGやLLM解析の前処理としてPDFからのテキスト抽出を試してきましたが、単純に抽出を行うと表形式の構造化情報が失われてLLMの解析性能に依存するしかないのが気になります。 単純...
27
25
Comment0
じゃあBedrockのナレッジベースのPDFパーサーはどう読めているのか？
何が「じゃあ」なんだって話ですが、Pythonの各種PDFパーサーは雑に使用すると以下のようにうまく読める場所と読めない場所があったので、じゃあナレッジベースではどう読めているのか？を確認します...
7
5
Comment2
BedrockとLCELでAdvancedRAGのクエリ拡張をやってみる
LLMでretrieveの前処理を行い、クエリを書き換え、または分割してからナレッジベースに対してｎ回のretrieveを行い、LLMで回答を生成するRAGをLCELで書いてみます。 ※この記事...
10
7
Comment0
Bedrock のガードレールを日本語で確認する
Bedrock のガードレール機能なるものの振る舞いを日本語で確認していきます。 説明や設定は以下の記事が詳しいです！ お試しプログラム guardrail.py import boto3 im...
7
4
Comment0
Bedrock Embeddingsモデルの日本語データセット性能比較（Titan Embeddings G1/V2、Cohere Embed）
Titan Text Embeddings の V2 なるものが GA したので、日本語を取り扱える Embeddings モデルの性能を比較してみたいと思います。 使用データセット JSTS ...
12
5
Comment0
66 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles