сделать возможность учитывать веса документов каким-то образом

[baranov1ch]

Сценарий такой, что:

а) у нас есть автомат. Или на первом шаге нету.
б) у нас есть пачка документов с различными частотами.

на выходе мы хотим, чтобы наш автомат учитывал частоты, и предпочитал выбирать подстроки, входящие в наиболее частотные документы

[PavelSavchenkov]

Это оптимизация, чтобы не добавлять полностью идентичные документы несколько раз?
Откуда берутся эти частоты?
А вообще, дописать метод, который принимает вместе с документом его вес никаких сложностей не представляет.

[skipor]

Веса нам будет давать прокся, может в файлик записывать, или ещё что. Как понимаю это будет количество запросов документов

[PavelSavchenkov]

А, у нас вроде концепция, что в словарь не по одному пихаем, а пачкой.
Тогда, наверное, да.