<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
tt
        {mso-style-priority:99;
        font-family:"Courier New";}
span.apple-converted-space
        {mso-style-name:apple-converted-space;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body bgcolor="white" lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D">Thomas,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D">Hello! I know we at STScI have had occasional issues for years with VizieR records slipping through the daily harvesting cracks.&nbsp; The last time I worked on
 this with Sebastien Derriere, we determined that the way VizieR records are published, sometimes the â€˜created’ date is not set to the date of publishing records into the VizieR registry, thus when we harvest incrementally daily, records can be missed. This
 may still be an issue. I am curious whether this is still happening, or whether we have an ingest bug on our end that is for some reason not being logged.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D">I know that Euro-VO re-harvests entire registries from scratch (not incrementally) on a regular but infrequent basis, which would explain them having these
 records we have missed. I will re-harvest VizieR registry by hand and see how many new records we get. &nbsp;We at STScI are also publishing an update to our registry software and database in the coming weeks, and will get a new fresh harvest from every registry
 at that time. Once we have the new registry software running operationally I will work on making that re-harvest a semi-regular automated event, as Euro-VO does.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D">Thank you for bringing this issue up!<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D">--Theresa<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="margin-left:.5in"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:windowtext">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:windowtext"> ops-bounces@ivoa.net [mailto:ops-bounces@ivoa.net]
<b>On Behalf Of </b>Thomas Boch<br>
<b>Sent:</b> Monday, March 14, 2016 9:44 AM<br>
<b>To:</b> registry@ivoa.net<br>
<b>Cc:</b> ops@ivoa.net<br>
<b>Subject:</b> [Ops] Inconsistency between full searchable registries<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal" style="margin-left:.5in"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal" style="margin-left:.5in">Hi Registry-enthusiasts,<br>
<br>
I would like to report on an inconsistency I found between resources available in the EuroVO registry and in the VAO/STScI registry.<br>
<br>
I am performing daily a full harvesting (through OAI PMH) of the registry in order to retrieve and filter out services of interest to Aladin Desktop. I used to query the STScI registry for this task until I found out some active resources were missing (for
 instance <tt><span style="font-size:10.0pt">ivo://cfa.tdc/hectospec/hectospec_public.ssap.q/ssa</span></tt>). I then switched to the EuroVO registry and just found out that some other resources, for instance<tt><span style="font-size:10.0pt">
</span></tt><tt><span style="font-size:9.0pt">ivo://nasa.heasarc/skyview/skyview</span></tt>, were also missing (but available in the STScI registry).
<br>
<br>
The full list of missing resources for each registry is attached to this message. From a quick look:<br>
<br>
- STScI registry is mostly missing 1300 VizieR resources<br>
<br>
- EuroVO registry is mostly missing HEASARC services. Menelaus confirmed me that they had an issue with querying the HEASARC registry.<br>
<br>
<br>
What should I do ? I am not really keen on querying the two registries and merging the results, as I feel this should not be done at my side. I would expect consistency between full registries, at least for resources older than 1 week. Am I missing something
 ?<br>
<br>
<br>
Cheers,<br>
<br>
Thomas<o:p></o:p></p>
</div>
</body>
</html>