Skip to content

Commit

Permalink
allow reference key concepts separately
Browse files Browse the repository at this point in the history
  • Loading branch information
voorhs committed Nov 29, 2024
1 parent 822aeb6 commit 9c2c308
Show file tree
Hide file tree
Showing 3 changed files with 30 additions and 6 deletions.
31 changes: 27 additions & 4 deletions docs/source/concepts.rst
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,30 @@ Key Concepts
============


- **Optimization Search Space**. Автоматический подбор классификатора происходит за счет перебора гиперпараметров в некотором *пространстве поиска*. Говоря на уровне идеи, это пространство поиска является словариком, в котором ключами являются имена гиперпараметров, а значениями --- списки. Гиперпараметры выступают в роли координатных "осей" пространства поиска, а значения в списках --- в роли точек на этой оси.
- **Classification Stages**. Классификацию интента можно разделить на два этапа: скоринг и предсказание. Скоринг --- это предсказание вероятностей наличия каждого интента в данной реплике. Предсказание --- это формирование финального предсказания на основе предоставленных вероятностей.
- **Prediction**. Если мы хотим детектировать out-of-domain примеры, то на этапе предсказания необходимо подобрать порог вероятности, при котором можно утверждать о наличии какого-то известного интента.
- **Nodes and Modules**. Модель скоринга или предсказания вместе с её гиперпараметрами, которые нужно перебрать, мы называем *модулем оптимизации*. Набор модулей, относящихся к одному этапу оптимизации (скорингу или предсказанию), мы называем *узлом оптимизации*.
.. _key-search-space:

Optimization Search Space
-------------------------

Автоматический подбор классификатора происходит за счет перебора гиперпараметров в некотором *пространстве поиска*. Говоря на уровне идеи, это пространство поиска является словариком, в котором ключами являются имена гиперпараметров, а значениями --- списки. Гиперпараметры выступают в роли координатных "осей" пространства поиска, а значения в списках --- в роли точек на этой оси.

.. _key-stages:

Classification Stages
---------------------

Классификацию интента можно разделить на два этапа: скоринг и предсказание. Скоринг --- это предсказание вероятностей наличия каждого интента в данной реплике. Предсказание --- это формирование финального предсказания на основе предоставленных вероятностей.

.. _key-oos:

Out-of-domain utterances
------------------------

Если мы хотим детектировать out-of-domain примеры, то на этапе предсказания необходимо подобрать порог вероятности, при котором можно утверждать о наличии какого-то известного интента.

.. _key-nodes-modules:

Nodes and Modules
-----------------

Модель скоринга или предсказания вместе с её гиперпараметрами, которые нужно перебрать, мы называем *модулем оптимизации*. Набор модулей, относящихся к одному этапу оптимизации (скорингу или предсказанию), мы называем *узлом оптимизации*.
2 changes: 1 addition & 1 deletion docs/source/learn/optimization.rst
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@ In this section, you will learn how hyperparameter optimization works in our lib
Pipeline
--------

The entire process of configuring a classifier in our library is divided into sequential steps:
The entire process of configuring a classifier in our library is divided into sequential steps (:ref:`and that's why <key-stages>`):

1. Selecting an embedder (EmbeddingNode)
2. Selecting a classifier (ScoringNode)
Expand Down
3 changes: 2 additions & 1 deletion docs/source/quickstart.rst
Original file line number Diff line number Diff line change
Expand Up @@ -55,7 +55,7 @@ Once the data is ready, you can start building the optimal classifier from the c
autointent data.train_path="path/to/your/data.json"
This command will start the hyperparameter search in the default search space.
This command will start the hyperparameter search in the default :ref:`search space <key-search-space>`.

As a result, a ``runs`` folder will be created in the current working directory, which will save the selected classifier ready for inference. More about the run folder and what is saved in it can be found in the guide :doc:`guides/optimization_results`.

Expand Down Expand Up @@ -107,6 +107,7 @@ If there is no need to iterate over pipelines and hyperparameters, you can impor
Further Reading
---------------

- Get familiar with :doc:`concepts`.
- Learn more about working with data in AutoIntent in our tutorial :doc:`tutorials/index_data`.
- Learn about how auto-configuration works in our library in the section :doc:`learn/optimization`.
- Learn more about the search space and how to customize it in the guide :doc:`guides/search_space_configuration`.
Expand Down

0 comments on commit 9c2c308

Please sign in to comment.