Dify + LiteLLM ProxyでLLMの負荷分散を行う
はじめに AIアプリケーションにおいて大規模なリクエストが想定される場合や大量のトークンを消費する処理が含まれる場合、RateLimit到達を避けるために複数のLLMエンドポイントへの負荷分散が...
12 search resultsShowing 1~12 results
You need to log-in
はじめに AIアプリケーションにおいて大規模なリクエストが想定される場合や大量のトークンを消費する処理が含まれる場合、RateLimit到達を避けるために複数のLLMエンドポイントへの負荷分散が...
はじめに 以前、Difyのチャットフローを用いた開発において、ユーザーからの回答をある程度限定的にした対話フローを実装しました。そこで得たノウハウをもとに、本記事ではチャットUIにHTMLタグを...
はじめに 2025年5月に、イーサリアムの大規模なアップグレードである「Pectra」が実装されました。そこで新たに導入されたERC(Ethereum Request for Comments)...
はじめに 本記事では、AWS、Azure、Mistralが提供するPDFドキュメントのOCRサービスについて、機能を比較した結果をまとめます。 業務で RAG(Retrieval-Augment...
はじめに 近年、生成AIの分野は急速に進化しており、中でもAIエージェントの分野は注目を集めています。業務上AIエージェントを利用する機会があり、学習もかねて、記事テーマを指定したメモをもとにQ...
本記事では、分散型RPCを実現するサービスの一つである「dRPC」について、概要と仕組みを記述します。 1.RPCノード 前提として、ブロックチェーンにはクライアント呼び出しのゲートウェイとなる...
本記事では、Ethereumのメッセージ署名について考えられるユースケース、仕組みと実装方法を記載します。 1.メッセージ署名とは dAppsを触っていると、以下のように、何らかのメッセージに対...
1.背景 業務の中で、過去にrevertしたTxについて詳細を調査する機会があったのがきっかけです。 一般的なweb3アプリのデバッグであれば共通して使えるノウハウなので、備忘録としても記載しま...
ChatGPT等で現在のAI領域をリードするOpenAIのCEO サム・アルトマン氏が展開している事業に、World IDおよびWorldcoinというものがあります。本記事では、Worldco...
ERC4337で定義されるアカウント抽象化(Account Abstraction) は、ウォレット(の秘密鍵)の管理やGas代の支払いからエンドユーザーを開放できる点で、人々がweb3世界へア...
本記事では、Proxy Patternとよばれるスマートコントラクトをアップグレード可能にする実装をHardhatで行います。 背景 「スマートコントラクトのアップグレード方法が存在する」こと自...
本記事では、Hardhatを用いてEthereum上で独自トークンのコントラクトを発行する手順を記載します。 本記事は2024年1月時点の公式ドキュメントを基に記述しています。 開発の際はなるべ...
12 search resultsShowing 1~12 results
Qiita is a knowledge sharing service for engineers.