Создание интеллектуальных документов с помощью LangExtract и OpenAI

В этом руководстве рассматривается, как использовать библиотеку LangExtract от Google для преобразования неструктурированного текста в структурированную, машиночитаемую информацию. Мы начинаем с установки необходимых зависимостей и безопасной настройки нашего API-ключа OpenAI, чтобы использовать мощные языковые модели для задач извлечения. Также мы создадим многоразовый конвейер извлечения, который позволит обрабатывать различные типы документов, включая контракты, заметки с заседаний, анонсы продуктов и операционные журналы.

С помощью тщательно разработанных подсказок и примеров аннотаций мы демонстрируем, как LangExtract может идентифицировать сущности, действия, сроки, риски и другие структурированные атрибуты, связывая их с их точными источниками. Мы также визуализируем извлеченную информацию и организуем её в табличные наборы данных, что позволяет использовать их для аналитики, автоматизации рабочих процессов и систем принятия решений.

Мы устанавливаем необходимые библиотеки, включая LangExtract, Pandas и IPython, чтобы наша среда Colab была готова для задач структурированного извлечения. Мы безопасно запрашиваем у пользователя API-ключ OpenAI и сохраняем его как переменную окружения для безопасного доступа во время выполнения. Затем мы импортируем основные библиотеки, необходимые для работы LangExtract, отображения результатов и обработки структурированных выходных данных.

Мы определяем основные утилиты, которые управляют всем конвейером извлечения. Создаем многоразовую функцию run_extraction, которая отправляет текст в движок LangExtract и генерирует как JSONL, так и HTML выходные данные. Также определяем вспомогательные функции для преобразования результатов извлечения в табличные строки и их интерактивного предварительного просмотра в блокноте.

Для извлечения информации из контрактов мы используем специальные подсказки, которые задают правила для извлечения информации о рисках. Мы создаем примеры данных, которые помогают LangExtract понять, как извлекать необходимые классы информации, такие как стороны, обязательства, сроки и условия платежей.