Redmineの設定

作業内容¶

ドキュメント処理機能を実装し、PDF、DOCX、Markdown、テキストなど多様な形式のドキュメントを取り込み、ベクトル DB にインデックス化します。

詳細タスク¶

1. ドキュメントインポートサービスの実装

   • /api/services/document/importer.js - インポート機能
   • 複数フォーマット対応（PDF, DOCX, MD, TXT等）
   • ファイルアップロード処理
   • バッチインポート機能

2. テキスト抽出パイプラインの実装

   • /api/services/document/extractor/pdf.js - PDF抽出
   • /api/services/document/extractor/docx.js - DOCX抽出
   • /api/services/document/extractor/markdown.js - Markdown抽出
   • レイアウト保持・テーブル処理

3. メタデータ抽出・管理の実装

   • タイトル、著者、日付の抽出
   • セクション・構造情報の抽出
   • カスタムメタデータ対応
   • タグ自動生成

4. ドキュメントインデックス管理の実装

   • ドキュメント単位の管理
   • 更新・削除機能
   • バージョン管理
   • 全文検索対応

5. ドキュメント管理 API エンドポイントの実装

   • /api/routes/documents.js - API ルート
   • アップロード・インポートエンドポイント
   • 検索・取得エンドポイント
   • 管理エンドポイント

技術的指示¶

• PDF 処理には pdf.js または pdflib を使用
• DOCX 処理には mammoth.js を使用
• Markdown 処理には marked を使用
• 大容量ファイル対応のためのストリーム処理
• テキスト抽出精度の最適化（特に表や図表の扱い）
• メモリ使用量を考慮したバッチ処理設計
• エラーハンドリングの徹底と部分的失敗の許容

成果物¶

• ドキュメントインポートサービス
• テキスト抽出パイプライン
• メタデータ抽出・管理機能
• ドキュメントインデックス管理
• ドキュメント管理 API エンドポイント
• サンプルドキュメントと処理テスト

参考リソース¶

• pdf.js, mammoth.js, marked ドキュメント
• ドキュメント処理パイプラインのベストプラクティス
• Node.js でのストリーム処理パターン
• テキスト抽出の精度向上テクニック