limix

LimiX는 구조화(테이블) 데이터를 위한 대규모 파운데이션 모델을 제공하는 오픈소스 프로젝트로, LDM으로 설명됩니다. 이 저장소는 LimiX 모델 제품군(LimiX-2(400M 파라미터), LimiX-2M(2M), LimiX-16M(16M))에 대한 추론 코드와 사전 학습 체크포인트를 공개합니다. 핵심 기능: 단일 사전 학습 모델이 작업별 파라미터 업데이트 없이 단일 순방향 패스에서 분류, 회귀, 결측값 대체를 수행합니다. LimiX-2는 컨텍스트 조건부 마스킹 모델링으로 사전 학습된 컨텍스트 메커니즘 네트워크(CMN) 패러다임을 사용하며, 기존 테이블 사전 적합 네트워크의 목표 중심 p(y | x, D_context) 목표 대신 결합 표현 p(x, y | D_context)을 학습합니다. 사전 학습 데이터는 다양한 그래프 구조, 기능 메커니즘 및 관측 프로세스를 포괄하는 구조적 인과 모델에서 생성된 합성 데이터입니다. 프로젝트는 CMN 설계가 또한 인과 인식을 제공하며, 특징 어텐션이 직접적인 인과 관계를 인코딩한다고 명시합니다. 사용법: Python >= 3.12가 필요합니다. 설치 방법은 클론 후 `pip install -e .`이며, 선택적으로 CUDA에 맞는 PyTorch(torch==2.9.1 권장) 및 flash-attn 휠이 필요합니다. 공개 진입점은 `inference.predictor.LimiXPredictor`로, 체크포인트 아키텍처 버전에 따라 v1_0 또는 v2_0으로 라우팅합니다. 구성은 모델과 일치해야 합니다(LimiX-2 / V2.0은 `*_v2.json` 사용). 명령줄 도구 `LimiX-infer`가 제공되며, `--task_type`, `--data_dir`, `--model_path`가 필요합니다. 작업 유형에는 Classification, Regression, Feature_imputation이 있으며 별칭은 cls / reg / imputation입니다. `--data_dir`은 데이터셋별 하위 디렉터리가 있는 벤치마크 루트를 기대하며, 각 디렉터리에는 train/test CSV(및 대체용 마스킹 CSV)가 포함되고 마지막 열이 대상입니다. 선택적 플래그에는 device(cuda 또는 cpu), gpuid, gpu_num_per_predictor, autobatch, show_progress, seed가 있습니다. Python API는 `LimiXPredictor(device, model_path, inference_config, ...)`를 노출하며 mix_precision, outlier_remove_std, softmax_temperature, average_before_softmax, categorical_features_indices, inference_with_DDP, use_data_cache, seed와 같은 옵션이 있습니다. 해당 `predict(x_train, y_train, x_test, task_type, unique_dataset_name)`는 분류의 경우 클래스 확률, 회귀의 경우 원래 대상 척도의 예측, 결측값 대체의 경우 대체된 특징 행렬을 반환합니다. 예제 스크립트는 분류(유방암 데이터셋), 회귀(당뇨병 데이터셋), 결측값 대체를 다룹니다. 패키징된 추론 구성은 검색 및 비검색 변형을 구분합니다: LimiX-2용 V2.0 구성, LimiX-16M 및 LimiX-2M용 검색/비검색 구성. 검색은 정확도 향상, 비검색은 더 빠른 것으로 설명됩니다. README는 TabArena, TALENT, BCCO에 대한 벤치마크 평가와 12.5M~406.2M 파라미터 구성에 걸친 확장 연구를 보고합니다. 이는 프로젝트 자체 보고 결과이며, 독립적 검증은 여기서 제공되지 않습니다. 라이선스: 코드는 Apache License 2.0에서 파생된 Stable AI Technology Co., Ltd. License, Version 1.0(2026년 9월)에 따라 공개되며, 모델 사용은 비상업적 라이선스가 적용됩니다. arXiv 논문, 기술 보고서, 프로젝트 페이지, HuggingFace 및 ModelScope 모델/데이터셋 호스팅, BCCO 분류 및 회귀 벤치마크 데이터셋에 대한 링크가 제공됩니다.