Feat: footnotes validation #702

Rossi-Luciano · 2024-09-15T22:18:33Z

O que esse PR faz?

Este PR adiciona uma série de validações para notas de rodapé (<fn>) e elementos de correspondência (<corresp>) em artigos XML, garantindo conformidade com versões específicas do DTD e padrões de marcação. As principais funcionalidades incluídas são:

Validação de tipo de nota de rodapé (coi_statement_vs_conflict_by_dtd_validation): Verifica se o atributo fn-type está correto conforme a versão DTD ("coi-statement" para DTD >= 1.3 e "conflict" para versões menores).
Validação de rótulos ausentes: Checa a presença de <label> em <corresp> e <fn>, gerando alertas se estiverem ausentes.
Validação da presença de <title> e <bold>: Gera erros fatais quando <title> ou <bold> são encontrados dentro de <corresp> ou <fn>, orientando para sua remoção.

Onde a revisão poderia começar?

Por commit.

Como este poderia ser testado manualmente?

Para testar manualmente as funcionalidades:

Carregue um documento XML que inclua notas de rodapé (<fn>) e elementos de correspondência (<corresp>).
Execute as validações implementadas, verificando se os erros e avisos são gerados corretamente para os cenários:

<fn> com fn-type incorreto em relação à versão DTD.
Falta de <label> dentro de <corresp> ou <fn>.
Presença indevida de <title> e <bold> dentro de <corresp> ou <fn>.

Confirme que as mensagens de validação são claras e indicam corretamente as ações recomendadas para corrigir os erros.

Algum cenário de contexto que queira dar?

NA

Screenshots

NA

Quais são tickets relevantes?

NA

Referências

NA

robertatakenaka · 2024-09-16T13:14:39Z

packtools/sps/models/v2/notes.py

@@ -22,13 +22,14 @@ def data(self):

 class BaseNoteGroups:
    def __init__(self, article_or_sub_article_node, fn_parent_tag_name, NoteGroupClass):
-        self.article_or_sub_article_node = article_or_sub_article_node


@Rossi-Luciano estava correto antes... A instanciação deveria ocorrer antes

OK, @robertatakenaka

robertatakenaka · 2024-09-16T13:20:36Z

packtools/sps/validation/footnotes.py

+                sub_item="title",
+                validation_type="exist",
+                is_valid=False,
+                expected="<title> not in <corresp>",


@Rossi-Luciano Trocar por expected="<label> in <corresp>"

OK, @robertatakenaka

robertatakenaka · 2024-09-16T13:21:25Z

packtools/sps/validation/footnotes.py

+                is_valid=False,
+                expected="<title> not in <corresp>",
+                obtained=f'<title>{self.fns_dict.get("corresp_title")}</title>',
+                advice="Remove <title> from <corresp>",


@Rossi-Luciano replace <title> by <label>

OK, @robertatakenaka

robertatakenaka · 2024-09-16T13:22:44Z

packtools/sps/validation/footnotes.py

+                    sub_item="title",
+                    validation_type="exist",
+                    is_valid=False,
+                    expected="<title> not in <fn>",


@Rossi-Luciano o mesmo que mencionado em corresp

OK, @robertatakenaka

robertatakenaka · 2024-09-16T13:23:13Z

packtools/sps/validation/footnotes.py

+                sub_item="bold",
+                validation_type="exist",
+                is_valid=False,
+                expected="<bold> not in <corresp>",


@Rossi-Luciano recomende usar label no lugar de bold

OK, @robertatakenaka

robertatakenaka · 2024-09-16T13:31:12Z

packtools/sps/validation/footnotes.py

@@ -80,67 +81,171 @@ def fn_validation(self):
        if not dtd:
            return

-        fns = ArticleFootnotes(self.xmltree)
-        for fn in fns.article_footnotes:
+        for fn in self.fns_dict.get("fns"):


@Rossi-Luciano uso excessivo de for, sendo que há a classe FootnoteValidation e FootnotesValidation.

Na FootnoteValidation (singular), crie todas as validações SEM for, é para ser aplicado em um item do self.fns_dict.get("fns")

Na FootnotesValidation (plural), faça 1 for

OK, @robertatakenaka

robertatakenaka · 2024-09-19T12:40:01Z

packtools/sps/models/v2/notes.py

        self.fn_parent_tag_name = fn_parent_tag_name
        self.parent = article_or_sub_article_node.tag
        self.parent_id = article_or_sub_article_node.get("id")
        self.parent_lang = article_or_sub_article_node.get("{http://www.w3.org/XML/1998/namespace}lang")
        self.parent_article_type = article_or_sub_article_node.get("article-type")
        self.NoteGroupClass = NoteGroupClass
+        self.article_or_sub_article_node = article_or_sub_article_node \
+            if self.parent == "sub-article" else article_or_sub_article_node.find("./")


@Rossi-Luciano só vai pegar o front

In [27]: from lxml import etree In [28]: root = etree.fromstring(xml) In [29]: x = root.find('.').find("./") In [30]: x Out[30]: <Element front at 0x1125c6340>

@Rossi-Luciano No método items, faça:

if self.article_or_sub_article_node == "article": xpath = f".//front//{self.fn_parent_tag_name} | .//body//{self.fn_parent_tag_name} | .//back//{self.fn_parent_tag_name}" else: xpath = f".//{self.fn_parent_tag_name}" for fn_parent_node in self.article_or_sub_article_node.xpath(xpath): data = self.NoteGroupClass(fn_parent_node).data yield put_parent_context(data, self.parent_lang, self.parent_article_type, self.parent, self.parent_id)

OK, @robertatakenaka

robertatakenaka · 2024-09-23T12:20:13Z

packtools/sps/validation/footnotes.py


-        parent : str
-            The parent element.
+    def missing_fn_label_validation(self, error_level="WARNING"):


@Rossi-Luciano métodos em comum de Author e foot podem ter uma classe Base

OK, @robertatakenaka

robertatakenaka · 2024-09-23T12:22:01Z

packtools/sps/validation/footnotes.py

+class ArticleNotesValidation:
+    def __init__(self, xml_tree):
+        self.xml_tree = xml_tree
+        self.fns_dict = ArticleNotes(self.xml_tree).all_notes()


@Rossi-Luciano melhor ter um método para recuperar separadamente authornotes e footnotes

OK, @robertatakenaka

robertatakenaka · 2024-09-23T12:23:09Z

packtools/sps/validation/footnotes.py


-        expected : str
-            The expected value.
+    def article_notes_validation(self):


@Rossi-Luciano Tenha um método só para validar footnotes e authornotes separadamente

OK, @robertatakenaka

robertatakenaka · 2024-09-23T12:27:33Z

packtools/sps/validation/footnotes.py

+    def author_validation(self, fn_dict):
+        author_validation = AuthorNoteValidation(fn_dict)
+        yield author_validation.missing_corresp_label_validation()
+        yield author_validation.title_presence_in_corresp_validation()
+        yield author_validation.bold_presence_in_corresp_validation()


@Rossi-Luciano mover isso para um método validate de AuthorNoteValidation

@robertatakenaka, podemos discutir isso?

robertatakenaka · 2024-09-23T12:27:58Z

packtools/sps/validation/footnotes.py

-            advice=f"replace {obtained} with {expected}",
-            data=fn
-        )
+    def footnote_validation(self, fn):


@Rossi-Luciano mover isso para um método validate de FootnoteValidation

@robertatakenaka, podemos discutir isso?

robertatakenaka · 2024-09-30T11:37:56Z

packtools/sps/validation/footnotes.py

+    def __init__(self, note_dict, element_tag):
+        self.note_dict = note_dict
+        self.element_tag = element_tag
+        self.check_element_existence = bool(self.note_dict.get("corresp")) if self.element_tag == "corresp" else True


@Rossi-Luciano se é classe Base, não deve ter conteúdo referente a AuthorNotes

robertatakenaka · 2024-09-30T11:40:32Z

packtools/sps/validation/footnotes.py

-class FootnoteValidation:
+class AuthorNoteValidation(BaseNoteValidation):
+    def __init__(self, fn_dict):
+        super().__init__(note_dict=fn_dict, element_tag='corresp')


@Rossi-Luciano https://jats.nlm.nih.gov/publishing/tag-library/1.3/element/author-notes.html

robertatakenaka · 2024-09-30T11:50:47Z

@Rossi-Luciano foram feitas mudanças desnecessárias e as solicitadas não foram feitas. Vamos fazer juntos. Sugiro retornar ao que era antes

robertatakenaka · 2024-10-07T12:43:46Z

packtools/sps/validation/footnotes.py

@@ -1,19 +1,84 @@
-from packtools.sps.models.footnotes import ArticleFootnotes
-from packtools.sps.models.article_and_subarticles import ArticleAndSubArticles
+from packtools.sps.models.v2.notes import ArticleNotes
 from packtools.sps.validation.utils import format_response
 from packtools.sps.validation.exceptions import ValidationFootnotes


Usar nome mais adequado para a exceção ValidationFootnotes. Este nome deve conter no final Error ou Exception. E ter no nome o tipo de erro, por exemplo: FileNotFoundError está explícito que é um erro de arquivo não encontrado.

robertatakenaka · 2024-10-07T12:46:35Z

packtools/sps/validation/footnotes.py

+            )
+
+
+class ArticleNotesValidation:


@Rossi-Luciano acho que não tem sentido ter uma classe para validar os dois tipos de notas.
Faz mais sentido ter a validação de author notes na classe de ContribGroup, por exemplo.
Se tiver dúvida disso, fazemos juntos.

Rossi-Luciano added 4 commits September 15, 2024 19:11

Adiciona atributos ausentes em 'corresp' e 'fn'

148a0e8

Adequa os testes

279726c

Adiciona validação para 'label', 'title' e 'bold'

60968c7

Adequa os testes

3bc39b6

Rossi-Luciano requested a review from robertatakenaka September 15, 2024 22:18

robertatakenaka reviewed Sep 16, 2024

View reviewed changes

robertatakenaka reviewed Sep 19, 2024

View reviewed changes

Rossi-Luciano added 4 commits September 21, 2024 20:48

Corrige 'BaseNoteGroups'

4f741da

Corrige teste

86ff8d7

Refatora módulo 'footnotes.py'

ae7f323

Adapta e adiciona testes

dc2fae0

Rossi-Luciano requested a review from robertatakenaka September 21, 2024 23:51

robertatakenaka reviewed Sep 23, 2024

View reviewed changes

Rossi-Luciano added 2 commits September 24, 2024 15:42

Refatora validação de notas

bdf0c51

Adequa os testes

3424187

Rossi-Luciano requested a review from robertatakenaka September 24, 2024 18:45

robertatakenaka reviewed Sep 30, 2024

View reviewed changes

robertatakenaka reviewed Oct 7, 2024

View reviewed changes

Rossi-Luciano added 3 commits November 29, 2024 11:22

Adiciona 'fn_rules.json'

4975034

Refatora validação de notas de rodapé

a7b0d29

Adapta os testes

ef95285

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feat: footnotes validation #702

Feat: footnotes validation #702

Rossi-Luciano commented Sep 15, 2024

robertatakenaka Sep 16, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 16, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 16, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 16, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 16, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 16, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 19, 2024

robertatakenaka Sep 19, 2024

Rossi-Luciano Sep 21, 2024

robertatakenaka Sep 23, 2024

Rossi-Luciano Sep 24, 2024

robertatakenaka Sep 23, 2024

Rossi-Luciano Sep 24, 2024

robertatakenaka Sep 23, 2024

Rossi-Luciano Sep 24, 2024

robertatakenaka Sep 23, 2024

Rossi-Luciano Sep 24, 2024

robertatakenaka Sep 23, 2024

Rossi-Luciano Sep 24, 2024

robertatakenaka Sep 30, 2024

robertatakenaka Sep 30, 2024

robertatakenaka commented Sep 30, 2024

robertatakenaka Oct 7, 2024

robertatakenaka Oct 7, 2024

Feat: footnotes validation #702

Are you sure you want to change the base?

Feat: footnotes validation #702

Conversation

Rossi-Luciano commented Sep 15, 2024

O que esse PR faz?

Onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

robertatakenaka commented Sep 30, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment