<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto"><div>Hi Alexander</div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">Quick response, I am on the go. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">You can also check </div><div id="AppleMailSignature"><a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4015610/">https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4015610/</a></div><div id="AppleMailSignature">And previous message I have sent on that mailing list. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">We recently evaluated also the NCBO Annotator in the CLEF eHealth 2017 campaign. Check the proceedings. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">Roughly: </div><div id="AppleMailSignature">Annotator generally has good precision (especially if good ontologies cover well a domain e.g diseases) because of its huge dictionary but not so good recall because of poor NLP implemented. </div><div id="AppleMailSignature">Check out also historical 2009-2010 papers for this. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">The CLEF eHealth lessons are : <span style="background-color: rgba(255, 255, 255, 0);">NCBO Annotator or the SIFR Annotator are among the best </span>dictionary based Annotators. But we all loose the game against supervised machine learning methods. </div><div id="AppleMailSignature">What justify their existence (among other things ) is the fact that in the health domain it's often very hard to get preannotated training data. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">Something the community always loved about the NCBO Annotator is that it's available out of the shelf as a web service. This was one of the killer idea. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">If you are interested in annotating clinical data or scoring your annotations, check out the NCBO Annotator+ on the SIFR BioPortal. We have added NegEx/ConText here and scoring. It's under submission for publication. </div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">Hope it helps. </div><div id="AppleMailSignature"><br>Clement Jonquet <div>Assistant Professor, Univ of Montpellier, Visiting  scholar at Stanford univ. </div></div><div><br>Le 29 sept. 2017 à 15:32, John Graybeal <<a href="mailto:jgraybeal@stanford.edu">jgraybeal@stanford.edu</a>> a écrit :<br><br></div><blockquote type="cite"><div>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">


Hi Alexander,
<div class=""><br class="">
</div>
<div class="">A quick answer, sorry I don't have all the research data at hand but perhaps you can use Google Scholar to find more precise information if you need it.<br class="">
<div class=""><br class="">
</div>
<div class="">Since we consider BioPortal to be the biggest source of Biomedical Ontologies, we definitely consider our annotator the best service for annotations against a large and diverse number of ontologies. (And therefore, also the most reliable service
 in that category. :->)</div>
<div class=""><br class="">
</div>
<div class="">The article "Semantic annotation in biomedicine: the current landscape"  in Journal of Biomedical Semantics (<a href="https://jbiomedsem.biomedcentral.com/articles/10.1186/s13326-017-0153-x" class="">https://jbiomedsem.biomedcentral.com/articles/10.1186/s13326-017-0153-x</a>)
 has a survey of many, if not all, of the existing semantic annotation technologies. NCBO Bioportal appears in Tables 1 and 3 (scroll the table left on screen). While quite dated in some respects (BioPortal has over 500 BioMedical ontologies, and it is open
 source, available on GitHub) there is a lot of useful information here. I know there are some pipeline annotators that leverage BioPortal services to provide their own annotation capabilities, but can not offer the details off-hand, sorry. </div>
<div class=""><br class="">
</div>
<div class="">In general, the only technical evaluation I've seen has shown BioPortal first or second (if I recall correctly) in terms of speed and completeness of annotation. Of course, without specific evaluation criteria and comparisons, it is all but impossible
 to have a meaningful rebuttal to the observation "something else is better". Certainly there are features available with some other annotators that Bioportal does not provide, so there can be tradeoffs depending on specific needs. Conversely, among many other
 features, BioPortal supports both free text (paragraphs of content), and the ability to annotate the largest matching strings. These often are not available in other annotators.</div>
<div class=""><br class="">
</div>
<div class="">With regard to reliability, the most common concern raised about BioPortal is that it is not consistently responsive, especially for people with long-running and large-scale annotation processes and similar complex queries. Our monitoring services
 show the annotation service is up over 99.5% of the time, but it is definitely challenged by repeatedly annotating pages or more of text against all 500+ ontologies 15 times per second (per requestor), whether your text, or someone else's. We regularly get
 requests for the Virtual Appliance so that people can set up their own annotation pipeline, with only the ontologies they are interested in, and handling queries as fast as they can send them. That is an example of a more reliable service, but not a public
 one.</div>
<div class=""><br class="">
</div>
<div class="">Perhaps this information will be sufficient to help you, or will bring forward other comments from the user list.</div>
<div class=""><br class="">
</div>
<div class="">john</div>
<div class=""><br class="">
</div>
<div class=""><br class="">
<div>
<blockquote type="cite" class="">
<div class="">On Sep 27, 2017, at 6:59 AM, Alexander Garcia Castro <<a href="mailto:alexgarciac@gmail.com" class="">alexgarciac@gmail.com</a>> wrote:</div>
<br class="Apple-interchange-newline">
<div class="">
<div dir="ltr" class="">Hi all. I am using the NCBO annotator and I like it. In a paper I just submitted the reviewer is saying that there are other NER tools that are better. this may be true but when processing the whole of PMC over a web service against
 all biomedical ontologies or a big portion of them then... is there anything as reliable as bioportal annotator? could some one help me out with some reference that justifies the choice of  the ncbo annotator? I am using it because I dont know if there is
 a web service that is as reliable when processing lots of texts and also that works against all of biomedical ontologies -in my case it is pretty much a choice due to the need to reuse other peoples infrastructure because I would not be able to process it
 on my own.
<div class=""><br class="">
</div>
<div class="">also, there are lots of other NER tools but why was this one specifically selected for the NCBO NER service? as oppose to using another NER tool for the NCBO annotator. </div>
<div class=""><br class="">
</div>
<div class="">cheers. <br class="">
<div class="">
<div class=""><br class="">
</div>
-- <br class="">
<div class="gmail_signature" data-smartmail="gmail_signature">
<div dir="ltr" class="">
<div class="">Alexander Garcia<br class="">
<a href="https://www.researchgate.net/profile/Alexander_Garcia" target="_blank" class="">https://www.researchgate.net/profile/Alexander_Garcia</a><br class="">
<a href="http://www.usefilm.com/photographer/75943.html" target="_blank" class="">http://www.usefilm.com/photographer/75943.html</a><br class="">
<a href="http://www.linkedin.com/in/alexgarciac" target="_blank" class="">http://www.linkedin.com/in/alexgarciac</a><br class="">
<br class="">
</div>
</div>
</div>
</div>
</div>
</div>
_______________________________________________<br class="">
bioontology-support mailing list<br class="">
<a href="mailto:bioontology-support@lists.stanford.edu" class="">bioontology-support@lists.stanford.edu</a><br class="">
<a href="https://mailman.stanford.edu/mailman/listinfo/bioontology-support">https://mailman.stanford.edu/mailman/listinfo/bioontology-support</a><br class="">
</div>
</blockquote>
</div>
<br class="">
<div class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
========================
<div class="">John Graybeal</div>
<div class="">Technical Program Manager</div>
<div class="">Center for Expanded Data Annotation and Retrieval /+/ NCBO BioPortal</div>
<div class="">Stanford Center for Biomedical Informatics Research<br class="">
650-736-1632<br class="">
<br class="">
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<br class="">
</div>
</div>


</div></blockquote><blockquote type="cite"><div><span>_______________________________________________</span><br><span>bioontology-support mailing list</span><br><span><a href="mailto:bioontology-support@lists.stanford.edu">bioontology-support@lists.stanford.edu</a></span><br><span><a href="https://mailman.stanford.edu/mailman/listinfo/bioontology-support">https://mailman.stanford.edu/mailman/listinfo/bioontology-support</a></span><br></div></blockquote></body></html>