ExcelからJsonに変換してローカルHTMLで検索するだけの簡易データベース
概要 中身は標題のとおりですが、真新しいこと、技術的な知見はまったくありませんが、超簡単なわりには、事務的な作業には便利です。 Excelファイルを、簡単なPythonスクリプト（Pandas）...
0
0
Comment0
19 search resultsShowing 1~19 results
Stocked
You need to log-in
WikidataのEntityを検索する
概要 wikidataはQ番号という形式のWikidataエンティティIDを、SPARQLを使って検索します、最初のQ番号を検索する部分が大変なので、それを検索するインターフェイスを作りました。...
0
0
Comment0
メタデータによって検索するとはどういうことか考えてみる
はじめに 書籍や論文、データ、あるいは音楽など、なんらかのコンテンツをそのメタデータで検索する、ということが一般的に行われていますが、それが本質的にはどういうことか、考えてみたいと思います。 な...
0
0
Comment0
ブラウザのみでテキスト埋め込みからコサイン類似度を測る
概要 テキストを「数値ベクトル」に変換することを「テキスト埋め込み」とかtext embeddingとかいいますが、それによって、テキスト間の類似度を測ることができます。 ベクトルの類似度を測る...
0
1
Comment0
wikidata からmermaid記法で家系図を作成（ブラウザ版）
概要 wikidata の Q番号（P5(ヒト)だったら）から、子孫、先祖をたどって、jsonで抽出 ネットワークの幅優先探索(BFS)と深さ優先探索(DFS) を使って範囲を絞る markdo...
0
0
Comment0
wikidataからnetoworkxをかましてmermaid記法で紫式部の系図を作成
概要 標題のとおりですが、以下の内容になります。 wikidataから紫式部の先祖、子孫のデータをjsonで抽出 jsonから配列データを作成し、netoworkxに入力、距離の近い（〇親等）...
5
3
Comment0
LangChainのTaggingでキーワード抽出
はじめに LangChainのtaggingを使ってキーワード抽出をしてみました。 環境は以下のとおりです。 Windows11 プロセッサ 11th Gen Intel(R) Core(TM)...
3
2
Comment0
CiNiiのDocumentLoaderからベクトルデータベースChromaにロードし近傍探索してみる（附 Embedding Model の比較）
環境構築 windows11で、pythonとchromadbその他のバージョンの整合性をとるのに苦労したので、以下を使いました。 miniforge create -n env_chroma ...
0
0
Comment0
CiNiiの検索結果をLLMでまとめる
概要 CiNii Researchの検索結果をLLMを使ってまとめてみます。 環境は前回作った、普通のノートPC上の llama.cpp で、rinna 4bit量子化版で動かしてみたので、実...
0
0
Comment0
普通ののWindows11（ノートPC）でllama.cppが動く
ごく普通のノートPCで、大規模言語モデルを動かしてみました（動かしてみた、だけです）。 使ったPCのスペック Windows11 プロセッサ 11th Gen Intel(R) Core(TM)...
8
3
Comment0
情報検索のための大規模言語モデル
情報検索のための大規模言語モデル：サーベイ この記事は、以下のサーベイ論文の要点をまとめたものです。 Large Language Models for Information Retrieva...
13
8
Comment0
【javascript】濁音を清音に変換する
ひらがなの清音部分を取り出します String.prototype.normalize() のNFDを使って、濁音を分解し、一文字目を取り出します。 // 濁音を清音に変換する function...
0
0
Comment0
Python Pillowによる連番画像の作成
概要 会議資料の右上によくある みたいものをまとめて作成します。 作成した資料番号の画像を、PDFに貼り付けると会議資料の完成です。 コード from PIL import Image, I...
0
0
Comment0
Wordファイルからgrepのように抽出する
概要 Word(docx)ファイルから、指定の単語を含む行（パラグラフ）を抜き出して列挙します。 単にWordの機能で検索するよりは、ある単語がどういうところで使われているか、をまとめて取り出す...
0
2
Comment0
PANDASのURLをリンクチェックしHTTPステータスコードを返す
はじめに URLをPANDASのSeriesから、リンクチェックを行い、HTTPステータスコードを戻します。 変換元データ import pandas as pd df = pd.Series(...
0
0
Comment0
DOIなどのリダイレクト先を取得する
はじめに 学術雑誌のDOI（doi.or）やhandle.net などのURLをPANDASのSeriesから、リダイレクト先（提供元）を取得し、戻します。 DOIなどでなくても、何らかの理由で...
0
0
Comment0
乃木坂46メンバー一覧をwikidataから出力する
SPARQLの練習で、乃木坂46メンバー一覧をwikidataから出力してみました。 現メンバーを把握するために、加入日、脱退日でソートします。 ただし当初、脱退日など元データに欠損値はありまし...
3
6
Comment0
IRDB からスクレイピングして PANDAS で機関リポジトリ登録コンテンツの分析をする
目次 概要 スクレイピング データ加工 資源タイプ DataFrameの作製 デンドログラム 階層型クラスタリング 合計の概要 ヒストグラム 度数分布表 構成比率で階層的クラスタリングした結果ご...
0
0
Comment0
Python の SpeechRecognizer を用いて音声認識するためにWAVファイルを分割して投入
音声ファイルの分割 Google Speech Recognitionを使って、音声認識が可能な最大ファイルサイズには制限があるようなので、以下で、ファイルを分割します。 （Google Spe...
3
7
Comment0
19 search resultsShowing 1~19 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles