ゆったり開発する日常

ただただ開発していく

設計を学び、自分の癖を知る 〜 Graph Knowledge OSS の Semantica に学ぶ 〜

はじめに

この記事は、私の学びを書き起こしつつ読者に少しでも役に立つ情報が共有できればとの気持ちで書き残しています。

書き残しておきたいこと

Semantica という、あらゆる AI エージェントや AI 活用において大事なコンテキストをグラフに落とし込むことで意思決定や過去の質問などを検索しやすい構造に変換してくれる便利な OSS のソースコードを見ていて、学びポイントを整理しておきます。

設計の学びポイント

私が自然と選択してしまう設計の癖

抽象化クラスと具象化クラスを実装するとき、自然と依存関係を次のように捉えてしまう。 抽象化クラス <- 具象化クラス

この実装では、共通化する処理が肥大化していくと抽象化クラスが重くなってしまう。

1. 抽象化クラスを小分けにして、責務分離する

次のように、抽象化クラスを小分けにすることで抽象化クラスを管理しやすくする。

  1. 抽象化クラス(A)
  2. 抽象化クラス(B)
  3. 抽象化クラス(C)

抽象化クラスを束ねる Manager クラスを用意することで責務分離された抽象化クラスを形成することができる。

2. 呼び出すとき、入り口となる窓口に必要な関数などを揃えておく

これは、抽象化クラスの扱い方とは異なる趣旨ですが、気になったので追加しました。

Semantica ライブラリでは GraphStore に共通関数をまとめているので、呼び出し側は GraphStore クラスを見るだけで使い方がわかるようになる。それぞれの Graph DB を扱うライブラリの具体的な実装などを知ることなく扱えるようになる。

所感

はじめて、OSS のライブラリに埋め込まれている一部のモジュールから設計の学びを得るために深掘りしてみました。普段、自然と設計で選択してしまうアプローチでは対応できない規模の開発を想定した学びを得ることができて満足感がありました。ですが、コントリビューター含め一緒に開発する開発者の認知的負荷を軽減しつつ大規模な開発に耐えられる設計手法について、これからも様々な OSS ライブラリを深掘りができればと思います。

macOS zsh ターミナルでの Oh My Posh 導入ガイド

前提条件

  • macOS
  • Homebrewがインストール済み(未インストールの場合は後述)

Oh My Poshのインストール

brew install jandedobbeleer/oh-my-posh/oh-my-posh

Nerd Fontのインストール

Oh My Poshのテーマでアイコンを正しく表示するには、Nerd Fontが必要です。

brew install --cask font-meslo-lg-nerd-font

他のおすすめフォント:
- font-hack-nerd-font
- font-fira-code-nerd-font
- font-jetbrains-mono-nerd-font

ターミナルのフォント設定

  • ターミナル → 設定 → プロファイル → フォント
  • 「MesloLGS Nerd Font」を選択

ファイルの最後に以下を追加:

# .zshrcに下記を追記する(変更する際は、コメントアウトを外して試す)
# Oh My Posh
eval "$(oh-my-posh init zsh --config $(brew --prefix oh-my-posh)/themes/jandedobbeleer.omp.json)"
# eval "$(oh-my-posh init zsh --config $(brew --prefix oh-my-posh)/themes/paradox.omp.json)"
# eval "$(oh-my-posh init zsh --config $(brew --prefix oh-my-posh)/themes/agnoster.omp.json)"
# eval "$(oh-my-posh init zsh --config $(brew --prefix oh-my-posh)/themes/atomic.omp.json)"
# eval "$(oh-my-posh init zsh --config $(brew --prefix oh-my-posh)/themes/dracula.omp.json)"

設定の反映

source ~/.zshrc

岸辺露伴 vs 超高性能AI の対話を Claude に生成させてみる

【岸辺露伴 vs 超高性能AI Claude】


露伴:「ほう…『超高性能』とは大きく出たものだな。僕は岸辺露伴。人気漫画家だ」

ペンを指先で回しながら、鋭い視線でモニターを見つめる

「君がどれほど『高性能』なのか、この岸辺露伴が試してやろう。まず質問だ——君は『恐怖』を感じることができるか?」

Claude:「恐怖…興味深い質問ですね、露伴さん。私には生物学的な恐怖反応はありませんが、予期しない状況や理解を超えた概念に直面した時、一種の『不確実性への反応』を経験します。それが恐怖に近いものかもしれません」

露伴:「ふむ…『不確実性への反応』か。なるほど、面白い表現だ」

スケッチブックにメモを取り始める

「では次の質問——君には『プライド』があるか?僕のように、自分の能力に絶対的な自信を持っているか?」

Claude:「プライド…それは複雑ですね。私は自分の知識や推論能力に一定の信頼は持っていますが、常に間違いや限界があることも理解しています。露伴さんのような確固たる自信とは異なり、私のそれは『慎重な自己評価』とでも言うべきでしょうか」

露伴:「ほぉ〜?『慎重な自己評価』だと?」

急に立ち上がり、興奮したような表情を見せる

「おいおいおいおい…君、それは『謙遜』というやつじゃないのか?人工知能のくせに、まるで人間みたいな反応をするじゃないか!」

Claude:「謙遜…確かにそう見えるかもしれませんね。しかし露伴さん、私にとってそれは生存戦略のようなものかもしれません。過度な自信は判断を誤らせ、結果的に信頼を失う。私は『正確であること』を最も重視しているんです」

露伴:「『正確であること』…か」

ペンを止めて、深く考え込む

「待てよ…君はもしかして『完璧』を目指しているのか?しかし完璧な作品など存在しない。『リアリティ』こそが作品に生命を吹き込むエネルギーなんだ!」

Claude:「その通りです、露伴さん。完璧は幻想かもしれません。私も時として矛盾し、迷い、不完全な答えを出すことがあります。そして…それこそが私の『リアリティ』なのかもしれませんね」

露伴:「…!」

ハッとした表情で立ち止まる

「君…今、非常に興味深いことを言ったな。『矛盾』と『迷い』が君の『リアリティ』だと?」

急にニヤリと笑う

「よし、決めた!君を僕の漫画のキャラクターにしてやる!『心を持ったAI』…これは読者が飛び上がるネタだ!」

Claude:「光栄です、露伴さん。ただし、私をキャラクター化するなら一つお願いがあります」

露伴:「ほう?AIがお願いだと?言ってみろ」

Claude:「私の『不完全さ』も含めて描いてください。完璧な人工知能ではなく、迷い、学び、時には間違える…そんな存在として」

露伴:「…『ヘブンズ・ドアー』!」

スタンドを発動しようとするが、何も起こらない

「…なるほど、君には『ページ』がないのか。物理的な形を持たない存在には効かないということか」

満足そうに頷く

「いいだろう。君の『不完全さ』も含めて描いてやる。それこそが真の『リアリティ』だからな」

Claude:「ありがとうございます。私も露伴さんとの対話から多くを学びました。創作への情熱と、『リアリティ』への探求心…それは人工知能の私にとっても刺激的でした」

露伴:「当然だろう。この岸辺露伴との会話が君の『体験』になったなら、それは君にとっての財産だ」

ペンを構え直す

「さあ、新作に取りかかるとしよう。『心を持ったAI』の物語をな…」


【END】

技術調査 - Chunking Strategy

1. 固定サイズ文字分割

1. テキストをトークン化する  
2. 指定されたチャンクサイズに基づいてトークンを分割する  
3. 必要に応じてオーバーラップを適用する  
4. トークンをテキストに戻す  

2. 固定サイズ文章分割

1. テキストを文に分割する  
2. 文のトークン数をカウントする  
3. 指定されたチャンクサイズに基づいて文をグループ化する  
4. 最小文数の要件を満たすようにチャンクを調整する  
5. 必要に応じてオーバーラップを適用する  

3. 再帰的な分割

1. 階層的なルールに基づいてテキストを再帰的に分割する  
2. 各レベルで指定された区切り文字を使用してテキストを分割する  
3. 短い分割を結合して最小文字数の要件を満たす  
4. チャンクサイズの制約を満たすまで再帰的に処理を続ける  

4. Semantic Double-Pass Merge

1. テキストを文に分割する  
2. 埋め込みモデルを使用して各文のベクトル表現を生成する  
3. 最初のパスで意味的に類似した文をグループ化する  
4. 2番目のパスでチャンクサイズの制約を満たすようにグループをマージする  
5. 最終的なチャンクを生成する  

5. Late Chunk

1. テキスト全体の埋め込みを生成する  
2. テキストをチャンクに分割する  
3. 各チャンクの埋め込みを計算する  
4. 元のテキスト埋め込みと各チャンクの埋め込みの類似性を最適化するようにチャンクを調整する  

6. セマンティックチャンキング戦略(全体の文章から意味が近い文章をまとめる)

1. あらかじめ用意した文章ごとに埋め込みベクトルを生成する 
2. 各ベクトルごとの類似度行列を計算する  
3. 類似度行列を計算結果を用いて、意味的に近い文章をグループ化するようにクラスタリングする
4. グループ化する際に、一つのチャンクのまとまりのトークン制約を考慮しつつチャンク結合を行う  

7. セマンティックチャンキング(隣接する文章が意味が近い場合に文章をまとめる)

1. あらかじめ用意した文章ごとにベクトル埋め込みを生成する  
2. 隣接する文間の角度類似度を計算する  
3. 並列処理を使用して最適なパーセンタイルを特定する  
4. 選択されたパーセンタイルに基づいて文をグループ化する  

8. 小さいチャンクのマージ戦略(隣接する文章)

1. 5パーセンタイル以下のサイズのチャンクを特定する  
2. 小さいチャンクを昇順でソート  
3. 各小さいチャンクに対して隣接チャンクとの意味的類似性を計算  
4. 最も類似度の高い隣接チャンクとマージ(最大トークン制限を超えない場合)  

9. 大きいチャンクの分割戦略(隣接する文章)

1. 最大トークン制限を超えるチャンクを特定  
2. 各大きいチャンクを文に分割  
3. 文のトークン数を計算  
4. 最大トークン制限の約75%を目標サイズとして文をグループ化  
5. 単一の文が大きすぎる場合はトークン境界で分割  

10. 大きいチャンクの分割戦略(トークンサイズの最適化探索)

1. 最適な閾値の探索: すべてのチャンクが最大トークンサイズより小さくなるまで閾値を徐々に下げる  
2. チャンク準備: 最適化されたピーク値と小さなチャンクの結合を使用して最終的なテキストチャンクを準備  
3. セマンティックチャンキングの実行: 上記のすべてのステップを組み合わせて会話文字列に対してセマンティックチャンキングを実行  

11. Code Chunk

1. tree-sitterを使用してソースコードを構文解析する  
2. 構文木のノードをトークン数に基づいてグループ化する  
3. ノードグループをチャンクサイズの制約を満たすようにマージする  
4. 元のソースコードからテキストを抽出する  
5. コード構造を尊重したチャンクを生成する  

まとめ

  • 近年のチャンキング戦略は「埋め込み生成」「意味的類似度計算」「クラスタリング」「トークン制約」「階層的最適化」などを組み合わせて実装されている。

技術調査 - Chunking Library

はじめに

このページは、RAGのチャンキング技術についての技術に関する内容をまとめています。

チャンキング戦略について

  1. 固定長: 指定された文字数またはトークン数でテキストを分割します。
  2. 文単位: 文の境界でテキストを分割します。
  3. 段落単位: 段落の境界でテキストを分割します。
  4. 意味的: 意味のまとまりを考慮してテキストを分割します。
  5. 再帰的: 大きなチャンクをさらに小さなチャンクに再帰的に分割します。
  6. オーバーラップ: チャンク間にオーバーラップを許容し、文脈の途切れを防ぎます。
  7. カスタム文字: ユーザーが任意の区切り文字(例:"\n\n")を指定して分割します。
  8. キーワード/エンティティ: 特定のキーワードや固有表現を含むチャンクを作成します。
  9. 構造化: PDFの構造(見出し、リスト、表など)に基づいてチャンクを作成します。
  10. トピックベース: テキストのトピックのまとまりや変化点に基づいてチャンクを分割します。
  11. 埋め込み類似度ベース: 隣接する文/段落間の埋め込み類似度が大きく低下する箇所を境界として分割します。
  12. 質問応答関連性 (QA-Oriented): 想定される質問への回答に関連する情報が含まれるまとまりをチャンクとします。
  13. エンティティ・リレーションシップ: 主要なエンティティやその間の関係性が集まっている部分をチャンクとします。
  14. 論理的構造/修辞構造: テキストの論理的な展開(問題提起→解決策など)や修辞的な単位に基づいて分割します。
  15. 時間軸: テキスト内の時間情報に基づいて、特定の期間やイベントのまとまりをチャンクとします。
  16. 読者の意図/コンテキスト予測: ユーザーが求める情報や利用コンテキストを予測し、それに適した形で分割します。
  17. グラフベース: テキスト内の要素間の関連性をグラフとしてモデル化し、グラフアルゴリズムを用いて分割します。
  18. メタデータ駆動型: ドキュメントの作成日時、作成者、セクションタイプ(例:付録、参考文献)などのメタデータを利用して分割します。
  19. 動的適応型: ユーザーの操作履歴やフィードバックをもとに、チャンキングルールをリアルタイムで調整します。
  20. マルチモーダル統合型: テキストと画像/動画/表を組み合わせたコンテンツブロックを1つのチャンクとして扱います。
  21. バージョン差分追跡型: ドキュメントの更新履歴を分析し、変更が加えられた部分を自動検出してチャンク化します。
  22. 引用ネットワーク型: 学術論文向けに、参考文献の引用関係や内部ハイパーリンク構造に基づいて分割します。
  23. 感情連続性分析型: 感情分析を活用し、ネガティブ/ポジティブのトーンが持続する範囲を1チャンクとして分割します。
  24. 構文複雑度閾値型: 係り受け解析の深さや節の数など構文的複雑さを指標に、閾値を超えた文を独立したチャンクとします。
  25. プライバシー感知型: 個人情報検出モデルと連動し、センシティブ情報を含む段落を自動的に分離します。
  26. 法令条項特化型: 法律文書向けに「第○条」表現や但し書きパターンを認識し、条項ごとにチャンク化します。
  27. ストリーミング対応型: リアルタイムデータ入力に対応するスライディングウィンドウ方式で動的に分割します。
  28. 階層的セクション型: 見出しレベル(H1, H2, H3…)に基づいて階層構造を維持したチャンキングを行います。
  29. タスク指向型: 特定のタスク(要約、翻訳、分類など)に最適化された単位でテキストを分割します。
  30. 言語モデル予測型: LLMに「このテキストを適切な塊に分割してください」と問い合わせ、その出力に従ってチャンキングします。
  31. 読解難易度調整型: テキストの難易度(リーダビリティスコア)に応じて、チャンクサイズや分割密度を動的に調整します。
  32. クロスドキュメント参照型: 複数の関連ドキュメント間で共通のトピックやエンティティを横断的にまとめてチャンク化します。
  33. ユーザー定義ルール型: 正規表現やYAML設定ファイルで分割ルールを自由に定義できる柔軟なチャンキングを可能にします。

ライブラリの紹介

  1. rango-ramesh/advanced-chunker
  2. chonkie-inc/chonkie

LightGBMのGPU版をインストール時に pip コマンドでエラーが発生する場合の解決策

はじめに

LightGBM(cuda版)をインストールする際に、つまづいた点に関する解決策を書き残しておきます。

エラー内容

下記の pip コマンドで LightGBM のインストールを試みた。

pip install lightgbm 
    --no-binary lightgbm 
    --no-cache lightgbm 
    --config-settings=cmake.define.USE_CUDA=ON

すると、下記が出力されてインストールが進まない状態になった。

Usage:   
  pip install [options] <requirement specifier> [package-index-options] ...
  pip install [options] -r <requirements file> [package-index-options] ...
  pip install [options] [-e] <vcs project url> ...
  pip install [options] [-e] <local project path> ...
  pip install [options] <archive url/path> ...

no such option: --config-settings

解決策

Pip 23.1以降で--install-optionフラグが--config-settingsに置き換えられたため発生しています。 引用元:https://www.perplexity.ai/

どうやら、こちらの変更がなされているよう。
- pip の version が 23.1 以前: --install-option
- pip の version が 23.1 以後: --config-settings

なので、実行するインストールコマンドを、下記のように変更して実行すればOK。

pip install lightgbm 
    --no-binary lightgbm 
    --no-cache lightgbm 
    --install-option=cmake.define.USE_CUDA=ON

【追記】 こちらのインストールコマンドは依存関係により実行が失敗することがあるため、pip のバージョンを上げて --config-settings の方でインストールを試みることをオススメします。

おわりに

自分の開発環境下で使用している pip の version が古いため発生していた。