Ondersteunt de Telenet server UTF-8

[gigi]

-Hello, Weet iemand van jullie of de Telenet server de unicode UTF-8 ondersteunt voor het uploaden van webpagina's. ? UTF-8 ondersteunt alle talen in de wereld, maar blijkbaar heeft de Telenet server zich nog niet aangepast aan deze codering. UTF-8 wordt gebruikt als de server dit ondersteunt, anders wordt de lokale tekenset gebruikt . Is dit het geval bij de Telenet server? Microsoft Expressionweb 4 heeft 3 opties bij de Overdracht type : Automatisch, ASCII en Binair. Welke optie moet ik kiezen om met UTF-8 te kunnen üploaden? grtz gigi--------------------------------------------------------------------------------------------------------------------

Titel aangepast door @Tae-Yoon | vorige titel: Ondersteund de Telenet server UTF-8

[igvfer]

@gigi  Raar in elk geval. Ik heb ook een foto hernoemd naar die Cyriliische tekst en dat op een pagina gezet op mijn website als test. En dat geeft blijkbaar geen probleem. Dat is natuurlijk niet de telenetwebruimte.

Ik stuur je de link in PM.

[janne_man]

@gigi 

De meeste systemen vandaag werken intern met UTF-8. Zo ook Windows 10, toestel waarop ik getest heb. Enkel de interface van CMD mode (mogelijk ook PowerShell) wijkt daar van af. Met een Azerty-klavier zal je in cmd cp 850 gebruiken en met een Querty-klavier CP 437. (Je kan dat in UTF-8 zetten door CHCP 65001. Visueel zie je geen verschil, maar als je uitvoert naar een bestand en je hebt in je uitvoer bijvoorbeeld geaccentueerde of Cyrillische tekens, zal je wel een verschil zien.

Mijn testen waren zeer simpel. Vermits je een webbrowser ook kunt gebruiken om te browsen op je computer, heb ik die facikiteit gebruikt. Dat is stukken minder omslachtig dan eerst wat lokaal aan te passen en dat om het op een webpagina te zetten.

Iets zoals %d0%94%d0%be%d0%b1%d1%80%d0%be.png op een webpagina zetten geeft geen enkel probleem. Dat had ik al gedaan. Naar daar browdsen en dat doel te zien krijgen was me niet gelukt. Om die reden probeerde ik eerst lokaal op de pc zelf.

Ook op de pc is het me niet gelukt om de foto met een %-code te visualiseren. Wat welk lukte is als ik de foto een Cyrillische naam gaf. Dan kon ik hem visualiseren als ik de Cyrillische naam ingaf. Als ik de naam in %code ingaf, visualiseerde ik ook de foto en bovendien kreeg ik de naam in het Cyrillisch terug ter vervanging van de %code. Wat was en is mijn conclusie hieruit.

1. Bij de aanvraag gebeurt er een correcte vertaling (het versturen van de opdracht van pc naar server)

2. De ontvanger (de server) zal geen vertaling doen. Meer nog de %-tekens gaat de ontvanger nooit krijgen, deze zijn bij het verzenden immers vertaald naar UTF-8.

3. Vermits enkel een ASCII subset mag gebruikt worden in url's, is het onmogelijjk een UTF-8 url, buiten het ASCII subset, te versturen naar de server.

Gewoon ter informatie, ASCII is (ook) een subset van UTF-8. Indien je echter een UTF-8 teken hebt buiten ASCII is de eerste octade van dat teken altijd niet ASCII.

Welke browser je gebruikt, maakt vandaag niet veel verschil meer. De meeste browsers vertrekken allemaal van Chronium. Om er maar enkel te noemen, Chrome, Firefox en Edge zijn allemaal Chromium met wat toeters en bellen die het verschil maken.

Als in de %code de eerste tetrade (halve octade of byte)een waarde heeft van 8 of meer (a, b, c, d, e, f zijn meer) of als de eerst tetrade nul of één is, dan is die octade geen ASCII-teken.

Als ik iets oplaad naar mijn webpagina gebruik ik FileZilla.

Met dit allemaal te schrijven denk ik aan nog iets. Dat ga ik eerst proberen voor ik deze tekst afwerk.

Laatste idee goed idee. Eureka. Opgelent nog niet getest op browser dat laat ik aan u over.

Ik heb de foto hernoemd. naar tekens buiten het  ascii set. In fuctie van de code page voor de visualisatie van de tekst kan je wat anders zien. Met deze bestandnaam: ╨ö╨╛╨▒╤Ç╨╛.png werkt het. Ik krijg hierdoor dit te zien Добро.png.

Werkwijze: elke octade moet de hexadecimale waarde van elk %teken krijgen.  De decimale omzetting geeft volgend resultaat: 208, 148, 208, 190, 208, 177, 209, 128, 208, 190.

Verander nu de naam van de foto en geef de nieuwe naam op volgende manier:

houd de linkse Alt-toets ingedrukt en geef met het numerieke pad het driecijferig getal in. Laat dan de Alt-toets los en druk hem opnieuw in voor het volgende teken. Met een binaire ftp verplaats je de foto naar je website. Afhangende van de codering gebruikt door de server kan je daar wat anders zien dan je doorgestuurd hebt. Om maar één voorbeeld te geven, wat betekent de hexdecimale waarde AB? Met zekerheid kan gezegd worden dat dit overeenstemt met de decimale waarde 171. Of dit een teken voorstelt of een deel van een teken hangt volledig af van de gebruikte code page. Zonder code page kan je er geen verdere betekenis aan geven.

[janne_man]

@gigi 

De test die ik gedaan had was niet met ftp en evenmin op users.telenet.be. Als ik dat getest heb, stelde ik vast dat niettegenstaande ik binair aanmerkte, er nog steeds om omzetting gebeurde in de tekens. Dus ben ik maar gaan slapen. Zoals nogal eens gebeurt scheen het licht in de duisternis. Welke code gebruikt de webserver van users.telenet.be? Hoe kon ik dezelfde transcriptie krijgen als ftp gedaan had. Nu vond ik dat de norm extend ASCII voorschrijft als 8 bits code. Dit is gekend onder Latin 1 of code page 1252. De codering die Windows intern gebruikte in Windows van vóór Windows 10. In Notepad++ kreeg ik dezelfde vertaalslag als in omzette naar ASCII. Ik bekeek de 1252 tabel en zag me niet direct een Ð intikken. Maar in mijn vorige reactie had ik geschreven hoe je de UTF-8 code kon ingeven met de linker Alt-toets en een drie cijferig getal. Dan zit je wel juit in de CP 437. Als je nu echter van al deze drie cijferige getallen vier cijfers van maakt door er telken nog een nul voor te plaatsen is het resultaat het teken in Latin 1. Na de naam zo ingevoerd te hebben en geFTPed te hebben naar users.telenet.be kon is de afbeelding bekijken door het ingeven van de Cyrillische naam (ik heb het niet ingegeven, maar opy/paste gedaan naar de adres balk). Dat werkt.  De naam van de mijn testfoto is nu Добро.png

[gigi]

Nogmaals bedankt voor uw reactie.

Raar in elk geval. Ik heb ook een foto hernoemd naar die Cyriliische tekst en dat op een pagina gezet op mijn website als test. En dat geeft blijkbaar geen probleem. Dat is natuurlijk niet de Telenetwebruimte.

Ik stuur je de link in PM.

Hiermee zeg je alles. De Telenet server is gewoon niet in staat om de cyrillische code om te zetten naar de ASCII waarmee ze werkt , die niet dezelfde codering capaciteiten heeft als UTF- 8. UTF-8 kan alle talen van de wereld omzetten, en dit kan ASCII niet!!! En je schrijft het zelf: "Dat is natuurlijk niet de Telenetwebruimte." Het is wel raar dat ik met mijn Telenet abonnement  Wigo Home S All Internet 150 Download volume 200 GB krijg, die ik nooit volledig opgebruik; wat in hun voordeel is, niet de mogelijkheid bestaat om de gratis 50 MB te gebruiken met UTF-8. Als je geen problemen hebt om een foto met cyrillische characters op te laden op uw betaalde webruimte, dan vraag ik me af of je met een betaalde webruimte op de Telenet server wel UTF-8 kunt gebruiken? En hieruit volgt dan of het bij Telenet alleen om het geld draait en niet wat meer respect en waardering voor de klanten, die reeds jarenlang gebruik maken van hun diensten. Zo komt het voor mij persoonlijk toch over. Enfin, volgens jouw vaststelling lukt het niet om mijn afbeelding met cyrillische tekens te üploaden, op mijn website dat wordt gehost door Telenet op een gratis ruimte. 

grtz,

gigi

[janne_man]

@gigi 

Kijk eens naar /users.telenet.be/MijnZandbakje

of naar /users.telenet.be/MijnZandbakje/foto/Добро.png

[igvfer]

@gigi  Het is natuurlijk gratis webruimte. Ik denk dat veel providers dit zelfs niet aanbieden. Dat is natuurlijk heel basic. En een gekregen paard kijk je niet in de bek.

Als ik van jou was zou ik zeker gaan uitkijken om webruimte bij een andere provider te huren, inclusief domeinnaam en mailboxen met veel meer mogelijkheden. Voor +- 50€ per jaar zal je al een eind komen hoor. En zoals je ziet op mijn link die ik je gestuurd heb, dat is een site gehost bij one.com, werkt het blijkbaar wel. Bovendien ook veel uitgebreider om bijvoorbeeld webformulieren en dergelijke te plaatsen zodat je niet open en bloot je mailadres moet publiceren.

Het kost natuurlijk geld maar Telenet moet er in de eerste plaats voor zorgen dat je goed internet hebt voor je abonnementsgeld en de rest zijn eigenlijk maar lokkertjes.

[gigi]

Many thanks.
Ik weet dat ASCII niet in staat is om zoals UTF-8 alle talen van de wereld te converteren, dan komt het er alleen op aan of mijn tool Microsoft Expression Web 4 kan werken met UTF-8 en of de Telenet server daar ook toe in staat is.

De Microsoft Expression Web 4 kan werken met UTF-8.

De meeste systemen vandaag werken intern met UTF-8. Zo ook Windows 10, toestel waarop ik getest heb. Welk toestel???

Oké. Dat is een vaststelling door u wat door Telenet dus niet wordt opgemerkt. Want als ze moesten beseffen dat Windows 10 , het O S dat het meest rond circuleert, wel kan werken met UTF-8, dan zouden ze toch de mogelijkheid bieden op hun gratis 50MB webruimte om UTF-8 te kunnen gebruiken.

Mijn testen waren zeer simpel. Vermits je een webbrowser ook kunt gebruiken om te browsen op je computer, heb ik die facikiteit gebruikt. Dat is stukken minder omslachtig dan eerst wat lokaal aan te passen en dat om het op een webpagina te zetten.

Wat is browsen op jouw computer? Hoe doe je dat?

Blijkbaar werk je met een laptop of tablet en ook een pc.
Heb jij Microsoft Expression Web 4 op jouw pc staan?

Heb je een website op de gratis 50 MB ruimte op de Telenet server???

Het is heel interessant wat je allemaal uittest en hebt geprobeerd.

Ik weet alleen dat Microsoft Expression Web 4 over UTF-8 beschikt en dat deze in staat is om alle talen van de wereld te converteren.

Daarnaast is Windows 10 ook geschikt om met UTF-8 te werken.

Blijft alleen de vraag of de Telenet sever in staat is om met UTF-8 om te gaan ?

Weet jij dat Microsoft Expression Web 4 de optie UTF-8 aan boord heeft?

Ik weet ook dat UTF-8 kan samenwerken met ASCII tot 128 characters, natuurlijk is dat niet voldoende voor de cyrillische characters die worden gebruikt.

Als in de %code de eerste tetrade (halve octade of byte)een waarde heeft van 8 of meer (a, b, c, d, e, f zijn meer) of als de eerst tetrade nul of één is, dan is die octade geen ASCII-teken
Eureka.
Met deze bestandnaam: ╨ö╨╛╨▒╤Ç╨╛.png werkt het. Ik krijg hierdoor dit te zien Добро.png.

Waar en hoe kan ik deze code tekens maken die jij hier hebt geplaatst? Of moet ik gewoon kopiëren en plakken ter vervanging van de cyrillische naam op mijn foto die ik wil opladen.
Moet ik dit in de broncode op mijn foto ingeven in de plaats van de cyrillische naam?
Nogmaals bedankt voor de inbreng en inzichten die je hier hebt aangebracht.
grtz,
gigi

[janne_man]

@gigi 

Met hetgeen ik nu weet aanvaard tegenwoordig elke website UTF-8. Heel het probleem zit hem in de beperking van het al dan niet converteren van de bestandsnamen. Ik weet niet of dit komt door iets op de server van Telenet of dit een beperking is of verkeerd functioneren van FileZilla is. Ik stel alleen vast dat zelfs als je een binaire overdracht doet, de bestandsnamen "vertaald" worden. De hexadecimale code van mijn "vertaling" is identiek bit per bit aan de hexadecimale code van dezelfde tekst in UTF-8.

Ik heb enkel Notepad++ en FileZilla gebruikt. Om een elementair lijntje of twee heb je niets anders nodig. De browser die je gebruikt zou geen verschil mogen uitmaken.

Als je op /users.telenet.be/MijnZandbakje gaat, dan zie je een tekstdocument Leesmij.txt. Als je daarop klikt zie je de interpretatie van die tekst volgens code page 1252 (Latin1) of iso 8859 (zie https://nl.wikipedia.org/wiki/ISO_8859-1#Windows-1252 ) Om alle niet gewenste interpretaties te vermeiden, van hetgeen ik ingevoerd heb, geef ik hieronder alle informatie via schermafbeeldingen.

Inhoud hoofdfolder webpagina:

Inhoud Leesmij.txt:

Dus de tekst Добро gecodeerd volgens cp 1292 bevat exact dezelfde bytes als de tekst Добро gecodeerd volgens UTF-8 cp 65001.

De inhoud van de folder foto is:

De inhoud van LinkNaarFoto.htm is:

[gigi]

ASCII heeft 7 bits tekencodering en Extend ASCII 128 -255 characaters en 8 bits code. Daarmee kunnen ook box-drawing characters zoals je toont gebruikt worden.

Gekend onder de naam Latin 1 of code page 1252 voor Windows 10.
Ik bekeek de 1252 tabel en zag me niet direct een Ð intikken. Dit teken staat niet op het azerty toetsenbord.

Is extend ASCII een synoniem voor UF-8 ?

Ik heb een webpagina gevonden met interessante uitleg over de extend ASCII.

Code page 437 (CCSID 437) is the character set of the original IBM PC (personal computer). It is also known as CP437, OEM-US, OEM 437, PC-8, or DOS Latin US.

The set includes all printable ASCII characters, extended codes for accented letters (diacritics), some Greek letters, icons, and line-drawing symbols

Hieruit leid ik af dat niet alle Cyrillische characters met een extend ascii tekencodering kunnen worden geconverteerd. Hier wordt vermeld met wat Griekse letters en betekent dit dat alle cyrillische letters niet worden geconverteerd?

Добро.png = char dec 208 hex DO 148 94 208 DO 190 BE 208 DO 177 BO Light Shade 209 D1 128 80 208 DO 190 BE

Dus represents cp437 alle cyrillische characters? Volgens mij niet als ik de code page van extend ascii in e tabel bekijk.
Dus cp437(extend ascii) = UTF-8 volgens jou.

Als je nu echter van al deze drie cijferige getallen vier cijfers van maakt door er telken nog een nul voor te plaatsen is het resultaat het teken in Latin 1.

U bedoelt hiermee dat u een extend code page met 3 cijfers kunt omzetten naar een ascii 128 characters door er 4 cijfers van te maken.

En dan zou de Telenet server die wel ascii 128 tekens aan kan het foto bestand met de cyrillische naam, wel kunnen üploaden naar mijn website op de gratis 50 MB webruimte.

Na de naam zo ingevoerd te hebben en geFTPed te hebben naar users.telenet.be kon is de afbeelding bekijken door het ingeven van de Cyrillische naam (ik heb het niet ingegeven, maar opy/paste gedaan naar de adres balk).

Dat werkt. De naam van de mijn testfoto is nu Добро.png
Goed gevonden: geFTPed.

Heb je deze ╨ö╨╛╨▒╤Ç╨╛.png gekopiëerd en geplakt in picture properties op de locale webpagina in Microsoft Expression web 4 en daarna met FileZilla geFTPed naar users.telenet.be ?

En kon je de afbeelding dan bekijken op de externe pagina van jouw website? Waar heb je de naam ingevoerd?

Als je geFTPed hebt naar users.telenet.be waar is de afbeelding dan terecht gekomen?

Op de webpagina van jouw website?

Waarom moet je de Cyrillische naam ingeven of kopiëren en plakken als jouw afbeelding al op de webpagina is geüpload?

En dan wordt de naam van jouw testfoto Добро.png dus ascii code .
grtz,
gigi

[gigi]

Weer een heleboel bijgeleerd dankzij jou!

Ik heb opgemerkt dat je een klein foutje hebt gemaakt waardoor de encoding in de unicode converter online niet juist is opgeschreven.

In de plaats van %d0%94 moet het %b4 zijn gevolgd door %d0 en wordt de dec in de plaats van 148 nu 180.

Missen is menselijk zegt het spreekwoord.

Wel verrassend is dat je dit niet ervaart als een fout en dat de UTF-8 tekst Ð´Ð¾Ð±Ñ€Ð¾ wel goed wordt aangeduid ondanks dit foutje. Begrijpe wie begrijpe kan. 

Natuurlijk zal nu bij het hernoemen niet 148 maar 180 als dec getal moeten worden ingetypt met een 0 ervoor.

Wat ook opvallend was dat de Extended character set (128-255): niet de hex 20 in de lijst heeft staan. Ik moest deze hex gaan opzoeken op het internet om de dec te weten te komen.

ИРОНИЯ СУДЬБЫ ИЛИ С ЛЁГКИМ ПАРОМ
%d0%98%d0%a0%d0%9e%d0%9d%d0%98%d0%af%20%d0%a1%d0%a3%d0%94%d0%ac%d0%91%d0%ab%20%d0%98%d0%9b%d0%98%20%d0%a1%20%d0%9b%d0%81%d0%93%d0%9a%d0%98%d0%9c%20%d0%9f%d0%90%d0%a0%d0%9e%d0%9c

Gelukkig kan men copy en paste doen om zulke lange invoer uit te voeren. 

grtz,

gigi

[gigi]

Thank you,

Ja je hebt gelijk. Ik was eerst aangesloten bij Belgacom wat nu Proximus is op http://users.skynet.be/

Daar kostte het toen 25 euro per jaar, maar dat is wel enkele jaren geleden.

grtz,

gigi

[janne_man]

@gigi  Ik ben helemaal geen specialist in de materie. Ik ben een zeer klassieke generalist die een heel klein beetje weet over veel dingen. Zoals je kan zien in mijn reacties was ik overtuigd dat het zou gaan, twijfelde ik, was ik overtuigd dat het nooit zou gaan ... Elke stap gaf me meer inzicht en werd het duidelijker. Mogelijk zijn er FTP programma's die tegen de server niet vertellen dat ze een UTF-8 naam doorgeven als een binaire overdracht gevraagd wordt.

Nog een voorbeeld dat het zichtbare verschil weergeeft van dezelfde tekst. Ik gebruik altijd datzelfde kort stukje Cyrillisch. Ik open mijn opdrachtprompt (cmd). Ik geef volgende bewerkingen:

----------------------------------------------------------

C:\TEMP\magweg>chcp                            de verstek code page in cmd is 437
Active code page: 437

C:\TEMP\magweg>dir *.png /b                 ik doe een dir en ik zie een resultaat in UTF-8
Добро.png

C:\TEMP\magweg>chcp 65001                ik zet de code page op UTF-8
Active code page: 65001

C:\TEMP\magweg>dir *.png /b                 dat heeft geen invloed op wat er uitkomt
Добро.png

C:\TEMP\magweg>dir *.png /b >test.txt   ik zet de uitvoer naar test.txt

C:\TEMP\magweg>type test.txt                ik zie de inhoud van test.txt  in de actuele cp
Добро.png

C:\TEMP\magweg>chcp 1252                   ik zet de code page naar Windows 1252 (latin1)
Active code page: 1252

C:\TEMP\magweg>type test.txt                ik zie de uitvoer in 1252
Добро.png                                   ik kan dit resultaat gebruiken als nieuwe naam

C:\TEMP\magweg>

----------------------------------------------------------

Heel het gedeelte links is gewoon copy paste uit mijn cmd venster.

Deze methode is minder omslachtig en zekerder dan het intikken van viercijferige getallen.

Dat het probleem dat je hebt met UTF-8 niet enkel bij Telenet is, kan je uit dit afleiden.

EDIT: Grrrrr (zeer zware grom). Ik heb weeral geen rekening gehouden met de conversie zodat het nonsens wordt in de gekopiëerde tekst. Er staat niets anders op dan een schermafbeelding weer te geven. Dus hieronder zie je wat ik ook werkelijk zie.

[gigi]

Ja ben je overtuigd dat deze command in CMD de oplossing is om een filename with cyrillic characters te kunnen üploaden op mijn webpagina?

Wat ik hieruit begrijp is dat de norm Windows 1252 en cp 457(IBM PC) blijkbaar nog worden gebruikt op sommige servers, en die utf-8 niet willen aanvaarden als de nieuwe unicode convertor. 

Het is vechten tegen de bierkaai als de Telenet server zich niet heeft aangepast aan de nieuwe utf-8 code page, en halsstarrig de oude Windows 1252 en cp 457 char blijft uitvoeren.

Want je moet opletten voor het addertje onder het gras. Ondanks utf-8 achterwaarts compatibel is met de standaard ASCII (128 char),wil dit niet zeggen dat FileZilla hier gebruik van maakt.

FileZilla maakt enkel gebruik van utf-8 en wil de oorspronkelijke standaard ASCII niet gebruiken.

Dus ondanks jouw goede bedoelingen en kennis om met het dosprogramma een foto met cyrillische naam te üploaden, zal het niets aan de dijk brengen.

Lees gewoon het volgende en je begrijpt meteen dat FileZilla op haar punt staat en utf-8 als de enige echte goede code page norm beschouwd en dus niet mee heult  met niet utf-8 voorstanders.

The problem is that many FTP clients and servers purposely violate the FTP specifications in order to support other, non-standard character sets. Which of these character sets are used is not subject to any negotiation.

For any character set in existence, you can find a server using it with no way of detecting the proper encoding. The result: non-English characters are not transferred correctly.

To solve this problem, the FTP protocol has been extended in a backwards compatible way to use UTF-8 as the character set. (This solution is backwards compatible only with servers in compliance with the original specifications.)

If you have problems with filenames containing any foreign characters, this can have two reasons:

The server or client follows the original specifications by the letter and rightfully rejects those filenames

The server or client violates the specifications and uses a custom encoding that the other party does not understand

Both FileZilla Client and Server are fully compliant with the updated specifications and use UTF-8. FileZilla will not break FTP specifications by supporting non-standard encodings in order to accommodate the user.

If you have problems with other clients or servers, please upgrade (or ask the server to upgrade) to FTP software capable of UTF-8 or refrain from using foreign characters.

Anything else is in violation of the FTP specifications and will only work if you manually ensure that the server and client use the same character encoding (which may not even be possible).

And last but not least: wie heeft het lef van de netweters om te vragen of hun Telenet server ook UTF-8 ondersteund?

grtz,

gigi

[janne_man]

@Suzy 

Met deze draad stelde ik me de de vraag of andere alfabetten kunnen gebruikt worden op de users webserver van Telenet. Ik wist niet of het comform de norm is, en indien van wel waar situeert zich het probleem. Hoe meer men weet hoe gemakkelijker het is om iets te zoeken. Nu heb ik antwoord gevonden om mijn vragen. Dat antwoord vind u gedeeltelijk hier in de laatste paragraaf onder de kop overview. Als men een overdracht wil doen van een bestand met tekens gecodeerd in UTF-8, dan lukt dit niet. Opgelet het gaat hier niet over de inhoud van het bestand, wel over de naam van het bestand. Zoals je in de link die ik doorgeef kan lezen: "If you have problems with other clients or servers, please upgrade (or ask the server to upgrade) to FTP software capable of UTF-8".

Kan je dit via de gepaste weg aan de bevoegden doorgeven?

[gigi]

Aan janne man,

Ik heb vorige week een medewerker van Telenet aan de lijn had. Hij kon me niet helpen op deze vraag en verwees me naar de netweters, voor meer inlichtingen over het al dan niet aanwezig zijn van utf-8 op de Telenet server. 

grtz,

gigi