Webmaster-Tools
robots.txt & sitemap.xml inklusive der Seitensuche inerhalb Ihrer Website
Moderne Content-Management-Systeme (CMS) wie WordPress, Drupal, Joomla und TYPO3 generieren sitemap.xml und robots.txt entweder nativ (WordPress ab Version 5.5) oder über spezialisierte Plugins/Erweiterungen (z.B. Yoast SEO für WordPress, cs_seo für TYPO3), wodurch eine manuelle Erstellung entfällt und die Dateien dynamisch aktualisiert werden können, während spezialisierte SEO-Tools wie Screaming Frog auch für statische Seiten oder Eigenentwicklungen hilfreich sind.
Sie arbeiten mit einer Software, um Ihre Webseiten zu erstellen, die Ihnen automatisch die Dateien robots.txt und sitemap.xml erzeugt und diese bieten nicht den Umfang meiner Tools? Können Sie diese Erstellung abschalten, dann können Sie meine beiden Tools (Benutzerführung in den Sprachen DE/EN/BG) verwenden. Wie Sie in WebsiteX5 die automatische Erstellung der Sitemap und das Überschreiben der robots.txt-Datei abschalten können? Wählen Sie nach Aufruf Ihres Projektes im Hauptmenü links die Option [1 Einstellungen] und dort die Option [SEO - Optimieren Sie die Seiten für die Suchmaschine] und nehmen dort unter [Allgemein] die Haken bei [Sitemap automatisch erstellen] und [Datei robots.txt automatisch einschließen] heraus, damit WebsiteX5 beim nächsten Hochladen Ihrer Aktualisierungen diese Dateien nicht wieder überschreibt.
Sie arbeiten mit WebsiteX5? Dann können Ihnen meine beiden Tools robots.txt-Generator und Sitemap-Generator, auch wenn WebsiteX5 Ihnen diese Arbeit abnehmen kann, trotzdem hilfreicher sein, denn es nimmt Ihnen gerade bei der Erstellung der robots.txt die Arbeit ab, denn das müssen Sie in WebsiteX5 selbst eingeben. So können Sie z.B. alle Ordner, die HTML5-Animationen enthalten (diese werden jeweils in einem eigenen Ordner abgespeichert), mit einem Schlag automatisch in die robots.txt einfügen. Außerdem können Sie für alle Suchmaschinen generell oder sogar für jeden Crawler/Bot, der Ihre Website besucht hat, eine separate Regel erstellen. Neu hinzukommende Crawler/Bots, die im Laufe der Zeit Ihre Seiten besuchen, werden automatisch erfasst und können dann ebenfalls mit eigenen Regeln versehen werden.
Im sitemap.xml-Generator, bei der Auswahl der Seiten, die Sie in Ihrer Sitemap eingefügt haben möchten, können Sie auch selbst erstellte Scripte verwalten, die als "dateiname.php" im Root gespeichert wurden. Sie können sich, bei Bedarf, jede Seite in einem Popup-Fenster vorher aufrufen, um sie anzusehen, wenn Sie sich unsicher sind, ob Sie diese Datei in der Sitemap einfügen möchten.
Wichtig und zu bedenken ist, dass Sie dann auch nicht mehr die Suche von WebsiteX5 verwenden können. Sie werden dann mein Skript für die Suche benötigen. Das ist aber trotzdem ganz einfach und schnell geschehen, denn Sie müssen nur eine eigene Such-Seite einmalig erstellen. Gehen Sie in WebsiteX5 im Hauptmenü auf der linken Seite auf "3. Sitemap" in der alle Seiten Ihrer Website in einer Tabelle aufgelistet sind. Erstellen Sie (Menü ganz rechts) eine "neue Ebene" durch anklicken der Option "neue Ebene" und in der Liste wird ein Ordner-Symbol angezeigt. Sie geben diesem Ordner den Namen "seitensuche". Ist das geschehen, klicken Sie nur einmal auf diesen Ordner und verschieben ihn über die beiden Pfeiltasten am rechten Rand Ihrer Software nach oben und unten, an die Stelle in Ihrer Sitemap, an der Sie ihn haben möchten und klicken oben, über der Tabelle, auf den Button "Verborgen". damit der Ordner nicht als Menüpunkt in Ihrer Website angezeigt wird. Nun klicken Sie wieder auf den Ordner in Ihrer Tabelle der Sitemap und klicken im Menü auf der rechten Seite auf den Button "neue Seite" - diese "neue Seite" wird nun unter dem Ordner angezeigt und sie benennen sie "seitensuche" - genauso wie den Ordner. Jetzt klicken Sie wie zuvor oben im Menü, über der Tabelle auf den Button "Verborgen", denn diese Seite wird später nur aufgerufen, wenn Sie in einem kleinen Formular einen Suchbegriff eingeben. Ist das getan, müssen Sie auf den Eintrag "seitensuche" die eigentliche Seite mit einem Doppelklick öffnen und können dort ihre eigentliche Suche wie folgt erstellen. Zuerst ziehen Sie das Objekt " HTML-Code" an die Stelle Ihrer Seite, an der die Suchergebnisse angezeigt werden sollen. Öffnen Sie das Objekt mit einem Doppelklick und fügen Sie dort den Inhalt der heruntergeladenen Datei "search.php" ein, und schließen Sie das Objekt wieder, indem Sie oben rechts auf den Haken klicken. Jetzt müssen Sie die Datei "indexer.php" in den vom sitemap.xml-Generator bereits erzeugten Ordner "sitemapchecking", mit Ihrem FTP-Programm die Datei "indexer.php" hochladen. Starten Sie diese Datei immer erst dann, wenn Sie mit dem sitemap.xml-Generator alle Seiten bereits erfasst und bearbeitet haben. Die Suche verwendet die von sitemap.xml-Generator erzeute Datei "sitemap_settings.json" in der bereit alle Seiten, die Sie für die Suchmaschinen aktiviert haben, aufgelistet. Aus dieser Datei holt sich das Skript "indexer.php" die erforderlichen Seitennamen, aus denen er alle, für die Suche erforderlichen Informationen, ausliest, die für die Suchfunktion benötigt werden und erstellt dazu die erforderliche SQLite-Datenbank "suche.db", die er dann ebenfalls in diesem Verzeichnis "sitemapchecking" abspeichert. Jetzt müssen Sie nur noch das Formular für die Suche - am Besten im Header Ihrer Website - einfügen, damit es auf jeder Ihrer Seiten dem Besucher zur verfügung steht. Dazu laden Sie die Datei "search_form.php" ebenfalls in den Root Ihrer Website hoch (dort, wo auch alle Ihre Seiten von WebsiteX5 hochgeladen werden) und Gehen in Ihrem Programm WebsiteX5 über den Menüpunkt "2. Vorlage" auf der rechtwn Seite und wählen im sich öffnenden Menü die Option "Inhalt des Templates" und wählen dort im Kopfmenü die Option "Header", die aber eigentlich schon automatisch als erstes geöffnet werden sollte. Hier ziehen Sie sich wieder das Objekt " HTML-Code" an die gewünschte Stelle in Ihrem Header und passen es in der Größe etwa so an, dass es nicht größer als ein Inputfeld mit einem Button auf der rechten Seite ist. Hier fügen Sie das kleine Codeschnippet aus der Textdatei "suchfeld einbinden.txt" ein und speichern Ihre Änderung über einen Klick auf den Haken ganz oben in Ihrer Software. Das war es eigentlich schon Sie können jetzt Ihre Website wieder hochladen um zu sehen, wie das Suchforular im Header angezeit wird. Passen Sie es bei Bedarf in seiner Position und Größe an und achten Sie darauf, dass die im Header angezeigten Grenzen des Objektes nich andere Objekte überlagern. Ziehen Sie dieses Objekt so in die Breite und Höhe, daß das Formular vollständig angezeigt wird, solange, bis alles passt. Dann können Sie Ihre Suche verwenden, denn mit dem sitemap.xml-Generator können Sie schneller Seiten in und aus der sitemap aktivieren bzw. deaktivieren als in WebsiteX5.
In beiden Tools wird durch Checkboxen die Auswahl aktiviert oder deaktiviert. Gerade bei der Sitemap ist das in WebsiteX5 sehr umständlich, weil Sie in jeder Seite erst die Einstellung vornehmen müssen. In beiden Tools können Sie Ihre Einstellungen direkt in die erforderlichen Dateien robots.txt bzw. sitemap.xml im Root speichern und jederzeit wieder bearbeiten. Die Tools erstellen natürlich automatisch die Ordner „botchecking“ und „sitemapchecking“, in denen die Einstellungen gespeichert werden. Kommen neue Ordner oder Seiten hinzu, laden die Tools diese automatisch bei jedem Start des Tools. Bitte lesen Sie in der heruntergeladenen ZIP-Datei zuerst die Datei „login_information.txt“, um zu erfahren, wie Sie das jeweilige Programm (PHP-Datei) auf Ihren Benutzernamen und Ihr eigenes Passwort einstellen. Hierzu müssen Sie die jeweilige PHP-Datei mit WordPad oder Editor öffnen und in den Zeilen 12 und 13 Benutzernamen und Passwort anpassen. Auf Ihren Server/FTP-Bereich laden Sie nur die PHP-Datei hoch. Rufen Sie dann diese Datei in Ihrem Browser auf und geben die zuvor eingegebenen Benutzernamen und Passwort ein, um Ihre Arbeit zu beginnen.
WICHTIG: Die beiden HTML-Dateien enthalten alle wichtigen Informationen zum jeweiligen Tool und informieren Sie über Haftungsausschluss, Nutzungsbedingungen und Urheberrecht. Akzeptieren Sie diese Bedingungen nicht, dürfen Sie keines der Tools nutzen.
Sie erstellen sich Ihre Seiten ohne CMS oder Software? Dann können Sie diese beiden Tools sehr gut gebrauchen und um ein perfektes Grundgerüst für eine HTML-Seite zu erhalten, verwenden Sie einfach meinen HTML-Grundgerüst-Generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), der Ihnen sogar ermöglicht, den Titel Ihrer Website im TAB-Reiter zu scrollen (ideal für längere Seitentitel) und Open Graph etc. optional einzusetzen.
Moderne Content-Management-Systeme (CMS) wie WordPress, Drupal, Joomla und TYPO3 generieren sitemap.xml und robots.txt entweder nativ (WordPress ab Version 5.5) oder über spezialisierte Plugins/Erweiterungen (z.B. Yoast SEO für WordPress, cs_seo für TYPO3), wodurch eine manuelle Erstellung entfällt und die Dateien dynamisch aktualisiert werden können, während spezialisierte SEO-Tools wie Screaming Frog auch für statische Seiten oder Eigenentwicklungen hilfreich sind.
Sie arbeiten mit einer Software, um Ihre Webseiten zu erstellen, die Ihnen automatisch die Dateien robots.txt und sitemap.xml erzeugt und diese bieten nicht den Umfang meiner Tools? Können Sie diese Erstellung abschalten, dann können Sie meine beiden Tools (Benutzerführung in den Sprachen DE/EN/BG) verwenden. Wie Sie in WebsiteX5 die automatische Erstellung der Sitemap und das Überschreiben der robots.txt-Datei abschalten können? Wählen Sie nach Aufruf Ihres Projektes im Hauptmenü links die Option [1 Einstellungen] und dort die Option [SEO - Optimieren Sie die Seiten für die Suchmaschine] und nehmen dort unter [Allgemein] die Haken bei [Sitemap automatisch erstellen] und [Datei robots.txt automatisch einschließen] heraus, damit WebsiteX5 beim nächsten Hochladen Ihrer Aktualisierungen diese Dateien nicht wieder überschreibt.
Sie arbeiten mit WebsiteX5? Dann können Ihnen meine beiden Tools robots.txt-Generator und Sitemap-Generator, auch wenn WebsiteX5 Ihnen diese Arbeit abnehmen kann, trotzdem hilfreicher sein, denn es nimmt Ihnen gerade bei der Erstellung der robots.txt die Arbeit ab, denn das müssen Sie in WebsiteX5 selbst eingeben. So können Sie z.B. alle Ordner, die HTML5-Animationen enthalten (diese werden jeweils in einem eigenen Ordner abgespeichert), mit einem Schlag automatisch in die robots.txt einfügen. Außerdem können Sie für alle Suchmaschinen generell oder sogar für jeden Crawler/Bot, der Ihre Website besucht hat, eine separate Regel erstellen. Neu hinzukommende Crawler/Bots, die im Laufe der Zeit Ihre Seiten besuchen, werden automatisch erfasst und können dann ebenfalls mit eigenen Regeln versehen werden.
Im sitemap.xml-Generator, bei der Auswahl der Seiten, die Sie in Ihrer Sitemap eingefügt haben möchten, können Sie auch selbst erstellte Scripte verwalten, die als "dateiname.php" im Root gespeichert wurden. Sie können sich, bei Bedarf, jede Seite in einem Popup-Fenster vorher aufrufen, um sie anzusehen, wenn Sie sich unsicher sind, ob Sie diese Datei in der Sitemap einfügen möchten.
Wichtig und zu bedenken ist, dass Sie dann auch nicht mehr die Suche von WebsiteX5 verwenden können. Sie werden dann mein Skript für die Suche benötigen. Das ist aber trotzdem ganz einfach und schnell geschehen, denn Sie müssen nur eine eigene Such-Seite einmalig erstellen. Gehen Sie in WebsiteX5 im Hauptmenü auf der linken Seite auf "3. Sitemap" in der alle Seiten Ihrer Website in einer Tabelle aufgelistet sind. Erstellen Sie (Menü ganz rechts) eine "neue Ebene" durch anklicken der Option "neue Ebene" und in der Liste wird ein Ordner-Symbol angezeigt. Sie geben diesem Ordner den Namen "seitensuche". Ist das geschehen, klicken Sie nur einmal auf diesen Ordner und verschieben ihn über die beiden Pfeiltasten am rechten Rand Ihrer Software nach oben und unten, an die Stelle in Ihrer Sitemap, an der Sie ihn haben möchten und klicken oben, über der Tabelle, auf den Button "Verborgen". damit der Ordner nicht als Menüpunkt in Ihrer Website angezeigt wird. Nun klicken Sie wieder auf den Ordner in Ihrer Tabelle der Sitemap und klicken im Menü auf der rechten Seite auf den Button "neue Seite" - diese "neue Seite" wird nun unter dem Ordner angezeigt und sie benennen sie "seitensuche" - genauso wie den Ordner. Jetzt klicken Sie wie zuvor oben im Menü, über der Tabelle auf den Button "Verborgen", denn diese Seite wird später nur aufgerufen, wenn Sie in einem kleinen Formular einen Suchbegriff eingeben. Ist das getan, müssen Sie auf den Eintrag "seitensuche" die eigentliche Seite mit einem Doppelklick öffnen und können dort ihre eigentliche Suche wie folgt erstellen. Zuerst ziehen Sie das Objekt " HTML-Code" an die Stelle Ihrer Seite, an der die Suchergebnisse angezeigt werden sollen. Öffnen Sie das Objekt mit einem Doppelklick und fügen Sie dort den Inhalt der heruntergeladenen Datei "search.php" ein, und schließen Sie das Objekt wieder, indem Sie oben rechts auf den Haken klicken. Jetzt müssen Sie die Datei "indexer.php" in den vom sitemap.xml-Generator bereits erzeugten Ordner "sitemapchecking", mit Ihrem FTP-Programm die Datei "indexer.php" hochladen. Starten Sie diese Datei immer erst dann, wenn Sie mit dem sitemap.xml-Generator alle Seiten bereits erfasst und bearbeitet haben. Die Suche verwendet die von sitemap.xml-Generator erzeute Datei "sitemap_settings.json" in der bereit alle Seiten, die Sie für die Suchmaschinen aktiviert haben, aufgelistet. Aus dieser Datei holt sich das Skript "indexer.php" die erforderlichen Seitennamen, aus denen er alle, für die Suche erforderlichen Informationen, ausliest, die für die Suchfunktion benötigt werden und erstellt dazu die erforderliche SQLite-Datenbank "suche.db", die er dann ebenfalls in diesem Verzeichnis "sitemapchecking" abspeichert. Jetzt müssen Sie nur noch das Formular für die Suche - am Besten im Header Ihrer Website - einfügen, damit es auf jeder Ihrer Seiten dem Besucher zur verfügung steht. Dazu laden Sie die Datei "search_form.php" ebenfalls in den Root Ihrer Website hoch (dort, wo auch alle Ihre Seiten von WebsiteX5 hochgeladen werden) und Gehen in Ihrem Programm WebsiteX5 über den Menüpunkt "2. Vorlage" auf der rechtwn Seite und wählen im sich öffnenden Menü die Option "Inhalt des Templates" und wählen dort im Kopfmenü die Option "Header", die aber eigentlich schon automatisch als erstes geöffnet werden sollte. Hier ziehen Sie sich wieder das Objekt " HTML-Code" an die gewünschte Stelle in Ihrem Header und passen es in der Größe etwa so an, dass es nicht größer als ein Inputfeld mit einem Button auf der rechten Seite ist. Hier fügen Sie das kleine Codeschnippet aus der Textdatei "suchfeld einbinden.txt" ein und speichern Ihre Änderung über einen Klick auf den Haken ganz oben in Ihrer Software. Das war es eigentlich schon Sie können jetzt Ihre Website wieder hochladen um zu sehen, wie das Suchforular im Header angezeit wird. Passen Sie es bei Bedarf in seiner Position und Größe an und achten Sie darauf, dass die im Header angezeigten Grenzen des Objektes nich andere Objekte überlagern. Ziehen Sie dieses Objekt so in die Breite und Höhe, daß das Formular vollständig angezeigt wird, solange, bis alles passt. Dann können Sie Ihre Suche verwenden, denn mit dem sitemap.xml-Generator können Sie schneller Seiten in und aus der sitemap aktivieren bzw. deaktivieren als in WebsiteX5.
In beiden Tools wird durch Checkboxen die Auswahl aktiviert oder deaktiviert. Gerade bei der Sitemap ist das in WebsiteX5 sehr umständlich, weil Sie in jeder Seite erst die Einstellung vornehmen müssen. In beiden Tools können Sie Ihre Einstellungen direkt in die erforderlichen Dateien robots.txt bzw. sitemap.xml im Root speichern und jederzeit wieder bearbeiten. Die Tools erstellen natürlich automatisch die Ordner „botchecking“ und „sitemapchecking“, in denen die Einstellungen gespeichert werden. Kommen neue Ordner oder Seiten hinzu, laden die Tools diese automatisch bei jedem Start des Tools. Bitte lesen Sie in der heruntergeladenen ZIP-Datei zuerst die Datei „login_information.txt“, um zu erfahren, wie Sie das jeweilige Programm (PHP-Datei) auf Ihren Benutzernamen und Ihr eigenes Passwort einstellen. Hierzu müssen Sie die jeweilige PHP-Datei mit WordPad oder Editor öffnen und in den Zeilen 12 und 13 Benutzernamen und Passwort anpassen. Auf Ihren Server/FTP-Bereich laden Sie nur die PHP-Datei hoch. Rufen Sie dann diese Datei in Ihrem Browser auf und geben die zuvor eingegebenen Benutzernamen und Passwort ein, um Ihre Arbeit zu beginnen.
WICHTIG: Die beiden HTML-Dateien enthalten alle wichtigen Informationen zum jeweiligen Tool und informieren Sie über Haftungsausschluss, Nutzungsbedingungen und Urheberrecht. Akzeptieren Sie diese Bedingungen nicht, dürfen Sie keines der Tools nutzen.
Sie erstellen sich Ihre Seiten ohne CMS oder Software? Dann können Sie diese beiden Tools sehr gut gebrauchen und um ein perfektes Grundgerüst für eine HTML-Seite zu erhalten, verwenden Sie einfach meinen HTML-Grundgerüst-Generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), der Ihnen sogar ermöglicht, den Titel Ihrer Website im TAB-Reiter zu scrollen (ideal für längere Seitentitel) und Open Graph etc. optional einzusetzen.
robots.txt & sitemap.xml including site search within your website
Modern content management systems (CMS) such as WordPress, Drupal, Joomla and TYPO3 generate sitemap.xml and robots.txt either natively (WordPress since version 5.5) or via dedicated plugins/extensions (e.g., Yoast SEO for WordPress, cs_seo for TYPO3). This removes manual work and keeps the files up to date, while specialized SEO tools like Screaming Frog are also useful for static sites or custom builds.
If your site-building software automatically creates robots.txt and sitemap.xml but lacks the flexibility of my tools, you can switch off the automatic creation and use my two tools (available in DE/EN/BG). How to disable automatic sitemap generation and robots.txt overwriting in WebsiteX5: open your project, choose [1 Settings] from the left main menu, then [SEO – Optimize pages for search engines]. Under [General], uncheck [Automatically create Sitemap] and [Automatically include robots.txt] so WebsiteX5 does not overwrite these files on the next upload.
Using WebsiteX5? My robots.txt generator and sitemap generator can still be more helpful, even if WebsiteX5 can perform these tasks. They save time especially when creating robots.txt, which otherwise must be entered manually in WebsiteX5. For instance, you can add all folders that contain HTML5 animations (each is saved in its own folder) to robots.txt in one step. You can also set global rules for all search engines or specific rules for each crawler/bot that has visited your site. Newly discovered crawlers/bots are detected automatically and can be assigned their own rules.
In the sitemap.xml generator, when selecting pages to include, you can also manage your own scripts stored in the web root as “filename.php”. If needed, open any page in a popup to preview it before deciding.
Important: with this approach, you can no longer rely on WebsiteX5’s built-in search. You will need my search script instead. Setup is simple: create a dedicated search page once. In WebsiteX5, open the left menu “3. Sitemap”, where all pages are listed in a table. From the menu on the far right, create a “new level” (folder) and name it “seitensuche”. Click the folder once and move it up or down using the arrow buttons on the right to position it as desired. Click the “Hidden” button above the table so the folder does not appear as a site menu item. Next, click the folder again and on the right choose “new page” — a page appears under the folder. Name it “seitensuche” (same as the folder). Click “Hidden” again above the table, because this page will only be opened when a visitor submits a search term via a small form. Open the page entry “seitensuche” with a double-click and set up the search as follows: drag the “ HTML-Code” object to where search results should appear. Double‑click the object, paste in the contents of the downloaded file “search.php”, then confirm by clicking the top‑right checkmark. Now copy the file “indexer.php” into the “sitemapchecking” folder that the sitemap.xml generator already created, and upload it there via FTP. Run this file only after you have scanned and configured all pages with the sitemap.xml generator. The search uses the file “sitemap_settings.json” generated by the sitemap.xml tool, which lists all pages you have enabled for search engines. From this file, “indexer.php” reads the required page names and extracts the information needed for the search, then creates the SQLite database “suche.db” and saves it in “sitemapchecking”. Finally, add the search form — ideally in your site header — so it is available on every page. Upload “search_form.php” to your site root (where WebsiteX5 uploads your pages). In WebsiteX5 go to “2. Template” (right side), choose “Template Content”, then “Header” (usually opens first). Drag the “ HTML-Code” object to the desired position in the header and size it roughly to match an input field with a right‑hand button. Insert the small code snippet from “suchfeld einbinden.txt” and save via the top checkmark. Upload your site and verify the search form appears in the header. Adjust position if needed and ensure the object does not overlap other header elements. Resize it so the form is fully visible. You can now use the search; with the sitemap.xml generator you can enable/disable pages in the sitemap faster than in WebsiteX5.
In both tools, selections are controlled via checkboxes. This is far more convenient than in WebsiteX5, where you must adjust each page individually. Both tools can write your settings directly to robots.txt and sitemap.xml in the web root and let you edit them anytime. The tools automatically create the folders “botchecking” and “sitemapchecking”, where settings are stored. When new folders or pages appear, the tools load them automatically at startup. First read “login_information.txt” in the downloaded ZIP to learn how to set your own username and password for each program (PHP file). Open the respective PHP file with WordPad/Editor and set username and password in lines 12 and 13. Upload only the PHP file to your server/FTP area, then open it in your browser and log in with your credentials to begin.
IMPORTANT: The two HTML files contain all essential information about each tool and the disclaimer, terms of use and copyright. If you do not accept these terms, you may not use the tools.
Building pages without a CMS or website software? Then these two tools are very useful. For a solid starting point for an HTML page, use my HTML boilerplate generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), which can even scroll longer page titles in the browser tab and optionally add Open Graph, etc.
Modern content management systems (CMS) such as WordPress, Drupal, Joomla and TYPO3 generate sitemap.xml and robots.txt either natively (WordPress since version 5.5) or via dedicated plugins/extensions (e.g., Yoast SEO for WordPress, cs_seo for TYPO3). This removes manual work and keeps the files up to date, while specialized SEO tools like Screaming Frog are also useful for static sites or custom builds.
If your site-building software automatically creates robots.txt and sitemap.xml but lacks the flexibility of my tools, you can switch off the automatic creation and use my two tools (available in DE/EN/BG). How to disable automatic sitemap generation and robots.txt overwriting in WebsiteX5: open your project, choose [1 Settings] from the left main menu, then [SEO – Optimize pages for search engines]. Under [General], uncheck [Automatically create Sitemap] and [Automatically include robots.txt] so WebsiteX5 does not overwrite these files on the next upload.
Using WebsiteX5? My robots.txt generator and sitemap generator can still be more helpful, even if WebsiteX5 can perform these tasks. They save time especially when creating robots.txt, which otherwise must be entered manually in WebsiteX5. For instance, you can add all folders that contain HTML5 animations (each is saved in its own folder) to robots.txt in one step. You can also set global rules for all search engines or specific rules for each crawler/bot that has visited your site. Newly discovered crawlers/bots are detected automatically and can be assigned their own rules.
In the sitemap.xml generator, when selecting pages to include, you can also manage your own scripts stored in the web root as “filename.php”. If needed, open any page in a popup to preview it before deciding.
Important: with this approach, you can no longer rely on WebsiteX5’s built-in search. You will need my search script instead. Setup is simple: create a dedicated search page once. In WebsiteX5, open the left menu “3. Sitemap”, where all pages are listed in a table. From the menu on the far right, create a “new level” (folder) and name it “seitensuche”. Click the folder once and move it up or down using the arrow buttons on the right to position it as desired. Click the “Hidden” button above the table so the folder does not appear as a site menu item. Next, click the folder again and on the right choose “new page” — a page appears under the folder. Name it “seitensuche” (same as the folder). Click “Hidden” again above the table, because this page will only be opened when a visitor submits a search term via a small form. Open the page entry “seitensuche” with a double-click and set up the search as follows: drag the “ HTML-Code” object to where search results should appear. Double‑click the object, paste in the contents of the downloaded file “search.php”, then confirm by clicking the top‑right checkmark. Now copy the file “indexer.php” into the “sitemapchecking” folder that the sitemap.xml generator already created, and upload it there via FTP. Run this file only after you have scanned and configured all pages with the sitemap.xml generator. The search uses the file “sitemap_settings.json” generated by the sitemap.xml tool, which lists all pages you have enabled for search engines. From this file, “indexer.php” reads the required page names and extracts the information needed for the search, then creates the SQLite database “suche.db” and saves it in “sitemapchecking”. Finally, add the search form — ideally in your site header — so it is available on every page. Upload “search_form.php” to your site root (where WebsiteX5 uploads your pages). In WebsiteX5 go to “2. Template” (right side), choose “Template Content”, then “Header” (usually opens first). Drag the “ HTML-Code” object to the desired position in the header and size it roughly to match an input field with a right‑hand button. Insert the small code snippet from “suchfeld einbinden.txt” and save via the top checkmark. Upload your site and verify the search form appears in the header. Adjust position if needed and ensure the object does not overlap other header elements. Resize it so the form is fully visible. You can now use the search; with the sitemap.xml generator you can enable/disable pages in the sitemap faster than in WebsiteX5.
In both tools, selections are controlled via checkboxes. This is far more convenient than in WebsiteX5, where you must adjust each page individually. Both tools can write your settings directly to robots.txt and sitemap.xml in the web root and let you edit them anytime. The tools automatically create the folders “botchecking” and “sitemapchecking”, where settings are stored. When new folders or pages appear, the tools load them automatically at startup. First read “login_information.txt” in the downloaded ZIP to learn how to set your own username and password for each program (PHP file). Open the respective PHP file with WordPad/Editor and set username and password in lines 12 and 13. Upload only the PHP file to your server/FTP area, then open it in your browser and log in with your credentials to begin.
IMPORTANT: The two HTML files contain all essential information about each tool and the disclaimer, terms of use and copyright. If you do not accept these terms, you may not use the tools.
Building pages without a CMS or website software? Then these two tools are very useful. For a solid starting point for an HTML page, use my HTML boilerplate generator (https://www.sgs-visual.de/html-grundgeruest-generator.php), which can even scroll longer page titles in the browser tab and optionally add Open Graph, etc.
robots.txt и sitemap.xml, включително търсене в рамките на вашия уебсайт
Съвременните системи за управление на съдържание (CMS) като WordPress, Drupal, Joomla и TYPO3 генерират sitemap.xml и robots.txt нативно (WordPress от версия 5.5) или чрез специализирани плъгини/разширения (напр. Yoast SEO за WordPress, cs_seo за TYPO3). Така се елиминира ръчната изработка и файловете се поддържат актуални. Специализирани SEO инструменти като Screaming Frog са полезни и за статични сайтове или собствени разработки.
Ако софтуерът ви автоматично създава robots.txt и sitemap.xml, но не предлага гъвкавостта на моите инструменти, изключете автоматичното създаване и използвайте двата ми инструмента (интерфейс на DE/EN/BG). Как да изключите автоматичното създаване на Sitemap и презаписването на robots.txt в WebsiteX5: отворете проекта, изберете [1 Настройки] от лявото меню, после [SEO – Оптимизиране за търсачки]. В [Общи] махнете отметките от [Автоматично създаване на Sitemap] и [Автоматично включване на robots.txt], за да не се презаписват при следващо качване.
Работите с WebsiteX5? Моите генератори за robots.txt и sitemap могат да са по‑полезни, дори когато WebsiteX5 може да изпълни задачата. Те спестяват време най‑вече при създаването на robots.txt, който иначе въвеждате ръчно. Например, можете с един ход да добавите всички папки с HTML5 анимации (всяка се записва в собствена папка) към robots.txt. Можете да задавате общи правила за всички търсачки или индивидуални правила за всеки робот/бот, посетил сайта. Новопоявилите се ботове се засичат автоматично и могат да получат собствени правила.
В генератора на sitemap.xml, при избора на страниците за включване, можете да управлявате и собствени скриптове в корена като „име-на-файл.php“. При нужда отворете страница в изскачащ прозорец, за да я прегледате преди да решите.
Важно: при този подход вграденото търсене на WebsiteX5 не може да се използва. Необходим е моят скрипт за търсене. Настройката е лесна: създайте еднократно специална страница за търсене. В WebsiteX5 отворете „3. Sitemap“ (ляво меню), където страниците са в таблица. От менюто вдясно създайте „ново ниво“ (папка) и го именувайте „seitensuche“. Кликнете върху папката и я преместете с бутоните‑стрелки вдясно на желаната позиция. Натиснете бутона „Скрита“ над таблицата, за да не се показва в менюто на сайта. След това отново изберете папката и вдясно натиснете „нова страница“ — под папката се появява страница. Кръстете я „seitensuche“ (както папката) и пак натиснете „Скрита“, защото страницата ще се отваря само при подадена заявка от малка форма. Отворете „seitensuche“ с двоен клик и изградете търсенето: плъзнете обекта „ HTML-Code“ на мястото за резултати, отворете го с двоен клик, поставете съдържанието на „search.php“ и потвърдете с отметката горе вдясно. Копирайте „indexer.php“ в папката „sitemapchecking“, която вече е създадена от генератора на sitemap.xml, и го качете там чрез FTP. Стартирайте го едва след като сте обходили и конфигурирали всички страници с генератора. Търсенето използва файла „sitemap_settings.json“, който изброява всички страници, активирани за търсачки. „indexer.php“ прочита нужните имена и извлича информацията за търсене, след което създава SQLite база „suche.db“ и я записва в „sitemapchecking“. Накрая добавете формуляра за търсене — най‑добре в хедъра — за да е достъпен на всяка страница. Качете „search_form.php“ в корена (където WebsiteX5 качва страниците). В WebsiteX5 отидете на „2. Шаблон“ (вдясно), изберете „Съдържание на шаблона“, после „Header“. Поставете обекта „ HTML-Code“ на желаното място и го оразмерете приблизително колкото поле за въвеждане с бутон отдясно. Поставете откъса от „suchfeld einbinden.txt“ и запишете с отметката горе. Качете сайта и проверете формата. При нужда коригирайте позицията и се уверете, че обектът не застъпва други елементи. Оразмерете така, че формата да е напълно видима. Оттук нататък можете да ползвате търсенето; с генератора на sitemap.xml ще активирате/деактивирате страници по‑бързо, отколкото в WebsiteX5.
И в двата инструмента изборът се управлява чрез отметки (checkbox). Това е по‑удобно от WebsiteX5, където настройвате всяка страница поотделно. И двата инструмента записват настройките директно в robots.txt и sitemap.xml в корена и позволяват редакция по всяко време. Инструментите автоматично създават папките „botchecking“ и „sitemapchecking“, където се пазят настройките. При нови папки/страници те се зареждат автоматично при стартиране. Първо прочетете „login_information.txt“ в изтегления ZIP, за да настроите потребител и парола за всяка програма (PHP файл). Отворете съответния PHP файл с WordPad/Editor и задайте потребител и парола (редове 12 и 13). Качете само PHP файла на сървъра/FTP, отворете го в браузъра и влезте с въведените данни, за да започнете.
ВАЖНО: Двете HTML страници съдържат съществена информация за всеки инструмент, както и отказ от отговорност, условия за ползване и авторски права. Ако не приемате тези условия, нямате право да използвате инструментите.
Създавате страници без CMS или специален софтуер? Тогава тези два инструмента ще са ви много полезни. За стабилна начална основа за HTML страница използвайте моя генератор (https://www.sgs-visual.de/html-grundgeruest-generator.php), който може дори да „скролира“ дълги заглавия в таба на браузъра и по избор добавя Open Graph и др.
Съвременните системи за управление на съдържание (CMS) като WordPress, Drupal, Joomla и TYPO3 генерират sitemap.xml и robots.txt нативно (WordPress от версия 5.5) или чрез специализирани плъгини/разширения (напр. Yoast SEO за WordPress, cs_seo за TYPO3). Така се елиминира ръчната изработка и файловете се поддържат актуални. Специализирани SEO инструменти като Screaming Frog са полезни и за статични сайтове или собствени разработки.
Ако софтуерът ви автоматично създава robots.txt и sitemap.xml, но не предлага гъвкавостта на моите инструменти, изключете автоматичното създаване и използвайте двата ми инструмента (интерфейс на DE/EN/BG). Как да изключите автоматичното създаване на Sitemap и презаписването на robots.txt в WebsiteX5: отворете проекта, изберете [1 Настройки] от лявото меню, после [SEO – Оптимизиране за търсачки]. В [Общи] махнете отметките от [Автоматично създаване на Sitemap] и [Автоматично включване на robots.txt], за да не се презаписват при следващо качване.
Работите с WebsiteX5? Моите генератори за robots.txt и sitemap могат да са по‑полезни, дори когато WebsiteX5 може да изпълни задачата. Те спестяват време най‑вече при създаването на robots.txt, който иначе въвеждате ръчно. Например, можете с един ход да добавите всички папки с HTML5 анимации (всяка се записва в собствена папка) към robots.txt. Можете да задавате общи правила за всички търсачки или индивидуални правила за всеки робот/бот, посетил сайта. Новопоявилите се ботове се засичат автоматично и могат да получат собствени правила.
В генератора на sitemap.xml, при избора на страниците за включване, можете да управлявате и собствени скриптове в корена като „име-на-файл.php“. При нужда отворете страница в изскачащ прозорец, за да я прегледате преди да решите.
Важно: при този подход вграденото търсене на WebsiteX5 не може да се използва. Необходим е моят скрипт за търсене. Настройката е лесна: създайте еднократно специална страница за търсене. В WebsiteX5 отворете „3. Sitemap“ (ляво меню), където страниците са в таблица. От менюто вдясно създайте „ново ниво“ (папка) и го именувайте „seitensuche“. Кликнете върху папката и я преместете с бутоните‑стрелки вдясно на желаната позиция. Натиснете бутона „Скрита“ над таблицата, за да не се показва в менюто на сайта. След това отново изберете папката и вдясно натиснете „нова страница“ — под папката се появява страница. Кръстете я „seitensuche“ (както папката) и пак натиснете „Скрита“, защото страницата ще се отваря само при подадена заявка от малка форма. Отворете „seitensuche“ с двоен клик и изградете търсенето: плъзнете обекта „ HTML-Code“ на мястото за резултати, отворете го с двоен клик, поставете съдържанието на „search.php“ и потвърдете с отметката горе вдясно. Копирайте „indexer.php“ в папката „sitemapchecking“, която вече е създадена от генератора на sitemap.xml, и го качете там чрез FTP. Стартирайте го едва след като сте обходили и конфигурирали всички страници с генератора. Търсенето използва файла „sitemap_settings.json“, който изброява всички страници, активирани за търсачки. „indexer.php“ прочита нужните имена и извлича информацията за търсене, след което създава SQLite база „suche.db“ и я записва в „sitemapchecking“. Накрая добавете формуляра за търсене — най‑добре в хедъра — за да е достъпен на всяка страница. Качете „search_form.php“ в корена (където WebsiteX5 качва страниците). В WebsiteX5 отидете на „2. Шаблон“ (вдясно), изберете „Съдържание на шаблона“, после „Header“. Поставете обекта „ HTML-Code“ на желаното място и го оразмерете приблизително колкото поле за въвеждане с бутон отдясно. Поставете откъса от „suchfeld einbinden.txt“ и запишете с отметката горе. Качете сайта и проверете формата. При нужда коригирайте позицията и се уверете, че обектът не застъпва други елементи. Оразмерете така, че формата да е напълно видима. Оттук нататък можете да ползвате търсенето; с генератора на sitemap.xml ще активирате/деактивирате страници по‑бързо, отколкото в WebsiteX5.
И в двата инструмента изборът се управлява чрез отметки (checkbox). Това е по‑удобно от WebsiteX5, където настройвате всяка страница поотделно. И двата инструмента записват настройките директно в robots.txt и sitemap.xml в корена и позволяват редакция по всяко време. Инструментите автоматично създават папките „botchecking“ и „sitemapchecking“, където се пазят настройките. При нови папки/страници те се зареждат автоматично при стартиране. Първо прочетете „login_information.txt“ в изтегления ZIP, за да настроите потребител и парола за всяка програма (PHP файл). Отворете съответния PHP файл с WordPad/Editor и задайте потребител и парола (редове 12 и 13). Качете само PHP файла на сървъра/FTP, отворете го в браузъра и влезте с въведените данни, за да започнете.
ВАЖНО: Двете HTML страници съдържат съществена информация за всеки инструмент, както и отказ от отговорност, условия за ползване и авторски права. Ако не приемате тези условия, нямате право да използвате инструментите.
Създавате страници без CMS или специален софтуер? Тогава тези два инструмента ще са ви много полезни. За стабилна начална основа за HTML страница използвайте моя генератор (https://www.sgs-visual.de/html-grundgeruest-generator.php), който може дори да „скролира“ дълги заглавия в таба на браузъра и по избор добавя Open Graph и др.
Die kostenlosen Technischen SEO-Tools als einzelne Programme:
Alle 3 Tools als Trigon
Erstellt: 12.12.2025
Revision 01 vom 16.02.2026 - Erweiterung um Seitensuche auf Grundlage der generierten sitemap.xml