Об этом проекте

INCIDB — это многоисточниковая база данных формул для ухода за кожей и косметики, которая преобразует исходный текст этикеток косметических ингредиентов в нормализованный реляционный набор данных. Она объединяет данные о продуктах, брендах и составе из Open Beauty Facts (ODbL) с обогащением ингредиентов из инвентаря CosIng Европейской комиссии, соединяя их по точному каноническому названию INCI. Набор данных содержит семь таблиц: products (19 764 строки), brands (6 412), ingredients (45 327 различных канонических названий INCI), product_ingredients (367 785 упорядоченных связей состава, сохраняющих позицию на этикетке), ingredient_name_map (77 367 строк, сопоставляющих исходные токены этикеток с каноническими названиями с указанием метода разрешения и уверенности), fragrance_allergens (274 записи EU Annex III) и regulatory_status (637 строк EU Annex II–VI). Данные поставляются в виде CSV с разделителем-вертикальной чертой в кодировке UTF-8 и Apache Parquet. Ключевая особенность — ingredient_name_map, которая фиксирует, как каждый исходный токен этикетки был сопоставлен с каноническим названием INCI с использованием явных методов (точное совпадение, очистка, сопоставление опечаток, удаление процентов, удаление содержимого скобок, сопоставление синонимов, обработка вариантов со слэшем, разбиение и пометка неразрешённых). Это обеспечивает полную аудируемость конвейера нормализации вместо доверия к разрешению по принципу «чёрного ящика». Покрытие обогащения сообщается двумя способами: по различным названиям (12,2% совпадений с CosIng) и по встречаемости на этикетках (85,1% совпадений), что отражает длиннохвостый характер наименования ингредиентов. Набор данных включает флаги аллергенов ароматизаторов ЕС (отмечено 120 названий, 47,2% продуктов содержат хотя бы один), регуляторный статус EU Annex II–VI, комедогенные рейтинги для 142 ингредиентов (транскрибированы из Fulton 1989) и флаги триггеров грибковых акне для 275 ингредиентов (эвристика на основе правил). Доступен бесплатный образец (200 продуктов, 1 123 ингредиента), а полный набор данных предлагается за единоразовую покупку за $79. Данные о продуктах остаются под лицензией ODbL. Варианты использования включают приложения-сканеры ингредиентов, модели формулирования и рекомендаций, обогащение розничных маркетплейсов и регуляторные исследования. Живой портал с интерактивной схемой и агрегированной статистикой доступен по адресу incidb.dataengineered.io.