GitHub Cleaner — AI Dataset Filter

50+

Quality Checks

Languages

7000

Rows/sec max

Free Tier

Quick Start

Фильтр написан с нуля специально для этого сервиса. Он ставит те же цели, что публичные C4/Gopher — отсев мусора, дедуп, спелл — но это наш собственный код.

1. Register with email (free) → get API Key

2. Upload .parquet or .zip files

3. Download clean dataset (в любой момент в течение 3 дней)

curl -X POST "https://melon-github-cleaner.duckdns.org/register?email=you@example.com&password=secret123" | python -m json.tool

Что убирает фильтр — было / стало

Реальные строки из демо-датасета (44 строки: англ + рус + мусор + дубли). После прогона target_lang=en.

Мусор: "asdf qwerty lorem ipsum xyz"

Стало: строка удалена (rejected: спам-сигнатура, мало слов)

Дубль: "The economic history of the nineteenth century is dominated by…" (x2 в датасете)

Стало: остаётся одна копия (dedup по хешу)

Русский текст в прогоне на en: "Экономическая история девятнадцатого века…"

Стало: отсеян (fastText: язык ≠ en)

Битая строка: "kjashdkjashd kjashdkjashd asdkjhsa dkjas"

Стало: удалена

Итог демо: 44 → 20. Проверить самому — кнопка «Попробовать на примере» выше.

Обратная связь

Что не хватает? Скажи пару слов — первые юзеры решают роадмап.

Registration

Регистрация по email + пароль. API-Key выдаётся сразу, вход по почте вернёт его в любом браузере. Данные хранятся 3 дня (TTL), потом удаляются автоматически.

Password (≥6)

Nickname (optional)

Upload Dataset

Files (Любой формат: .parquet, .zip, .txt, .csv, .json, .jsonl, .md, .log...)

Language

Workers

Text column

Min words/doc

Spell check (Kotoshu) Auto-fix typos

Status / Download

Task ID

Скачать как

История задач

Все твои задачи за 3 дня: статус, результат и скачивание в любой момент, пока данные не удалены по TTL.

GitHub Integration

Put datasets in raw/ folder — service filters and puts results in clean/

Что это? Сервис через GitHub API (Contents API) читает папку raw/ твоего репозитория, чистит и загружает результат обратно в clean/.
Какой токен? Обычный Personal Access Token (классический или fine-grained). Нужны права на чтение и запись содержимого репозитория: классический — scope repo (или fine-grained: Contents: Read and write только для твоего репо).
Какие scope? Только доступ к файлам. Сервис не делает коммитов никуда, кроме clean/ того репо, что ты указал, не трогает ветки/PR/настройки.
Как хранится? Токен шифруется (Fernet, ключ только в .env на сервере), в ответах API маскируется как ***, никогда не логируется.
Как отозвать? Зайди в GitHub → Settings → Developer settings → Tokens и удали токен. После этого сервис просто не сможет читать репо — данные не пострадают.

Repository

GitHub Token

Tariffs

Tier	Price	Max File	Speed	Cost/1K docs
Free	$0	1 GB	1000 rows/s	—
Tier 1	$4	3 GB	2000 rows/s	$4
Tier 2	$100	10 GB	5000 rows/s	$2.5
Tier 3	$1000	100 GB	7000 rows/s	$1.5

Pay (USDT TRC20)

Amount $

API Reference

All endpoints accept X-API-Key header. Rate limits apply.

Method	Endpoint	Description
POST	`/register`	Register with email+password → API Key (no auth)
POST	`/login`	Log in by email+password → ваш API Key (no auth)
GET	`/account`	Account info + balance
POST	`/tasks`	Upload files + start filter
GET	`/tasks`	List all your tasks
GET	`/tasks/{id}`	Task status + result
GET	`/tasks/{id}/download?format=parquet\|txt`	Download clean result (zip с parquet или txt)
GET	`/tasks/{id}/logs`	Filter logs
POST	`/github/connect`	Connect GitHub repo
POST	`/github/run`	Run filter from GitHub
POST	`/pay/invoice`	Create payment invoice
POST	`/detect-language`	Detect dataset language (fastText)
GET	`/health`	System health check

Данные, конфиденциальность, отзыв доступа

Что происходит с загруженным датасетом? Файл читается только для фильтрации и не анализируется никем, кроме сервиса. Результат лежит в отдельной папке задачи.
Сколько хранится? Исходники и результат — 3 дня (TTL), затем автоматически удаляются фоновым потоком. После твоего скачивания можно удалить задачу и раньше — перезапишем файл, если попросишь.
Кто видит данные? Никто, кроме тебя (по твоему API-ключу). Сервис не публикует и не передаёт данные третьим лицам.
GitHub-токен шифруется (Fernet) и хранится только на сервере; в ответах API маскируется как ***. Отозвать доступ — удали токен в настройках GitHub.
Удаление навсегда: напиши в обратной связи contact и попроси удалить данные — выполнено при первой задаче вручную, затем автоматически.
Бета-статус: сервис в разработке; первый бесплатный прогон, алгоритм может меняться.

Вопросы/замечания к этой политике — карточка «Обратная связь» выше.